ML by Murpy #3(편집중..)

2.3 보편적 이산형 분포

2.3.1 이항 분포와 베르누이 분포

• 동전을 n번 던지고, $X\in {0,...,n}$은 앞면의 개수일때
  • $\theta :$앞면이 나올 확률이라 하면 $X$는 이항 분포(Binomial distribution)을 갖는다
    • $X\sim Bin(n,\theta)$로 표현
  • pmf는 $Bin(k|n,\theta)\triangleq {n \choose k}\theta^k(1-\theta)^{n-k}$
  • ${n \choose k}\triangleq \frac{n!}{(n-k)!k!}$ 로 정의 하며 이항계수(Binimial coefficient)라 한다. 'n으로부터 k개의 아이템을 선택하는 방법의 개수'를 의미한다.
• 이항 분포(Binomial distribution)의 평균과 분산은 각각 $mean=\theta, var=n\theta(1-\theta)$로 정의
• 동전을 한번만 던진다고 가정(n=1)할 경우, $X\in{0,1}$는 '앞면' 또는 '성공'의 확률 $\theta$를 갖는 이항 랜덤 변수라 하자
  • 이 경우 $X$는 베르누이(Bernoulli) 분포를 갖는다고 말한다
  • $X\sim Ber(\theta)$로 표기하며 pmf는 $Ber(x|\theta)=\theta^{\mathbb(I)(x=1)}(1-\theta)^{\mathbb{I}(x=0)}$로 정의
  • $Ber(x|\theta)=\begin{cases}\theta&\mbox{if }x=1\\1-\theta&\mbox{if }x=0\end{cases}$
  • n=1인 이항 분포(Binomial distribution)의 특수한 경우이다.

2.3.2 다항 분포와 멀티누이 분포

• K면체 주사위를 던진 결과를 모형화하기 위해서는 다항 분포(Multinomial distribution)을 사용할 수 있다.
  • $X=(\chi_1,...,\chi_K)$를 랜덤 벡터(Random vector)라 하며 $\chi_j$는 주사위에서 $j$면이 발생하는 횟수다
  • $X$의 pmf는 $Mu(X|n,\theta)\triangleq {n \choose {\chi_1...\chi_K}} \prod_{j=1}^K \theta_{j}^{\chi_j}$
  • ${n \choose \chi_1...\chi_K} \triangleq \frac{n!}{\chi_1!\chi_2!\cdots\chi_K!}$로 정의하며 다항계수(Multinomial coefficient)라 한다. '크기가 $n=\sum_{k=1}^{K}\chi_k$인 집합을 크기가 $\chi_1$부터 $\chi_K$를 가진 부분집합으로 나누는 방법의 개수'를 의미한다.
  • n=1로 가정할 경우, K면체 주사위를 한 번 던지는 것과 같다.
    • $\chi$는 0과 1의 벡터로 구성
    • 주사위의 k면이 나타나면 k번째 비트가 1이 된다
    • K=3(3면체 주사위)일 경우 (1,0,0),(0,1,0),(0,0,1)로 상태를 표현한다.
      • one-hot encoding 이라고 표현하며 pmf는 $Mu(X|1,\theta)=\prod_{j=1}^K \theta_{j}^{\mathbb{I}(x_j=1)}$로 표현한다
    • 멀티누이 분포(Multinoulli distribution)이라고 하며 책에서는 다음과 같이 정의한다. $Cat(x|\theta)\triangleq Mu(X|1,\theta)$
    • 편집중..