ML by Murpy #1

2 확률

2.1

• 빈도주의(Frequentist) 해석 : 사건의 장기간에 걸친 발생빈도

  • EX : 동전을 수차례 던진다면 앞면이 나올 확률은 절반정도.

• 베이즈주의(Bayesian) 해석 : 어떤 것에 대한 불확실성(Uncertainty)을 수량화하는것. 그러므로 반복되는 시도 보다는 기본적으로 정보와 연관되어있다

  • EX : 동전을 던지면 앞면이나 뒷면으로 떨어질 확률은 동일하다
  • 장점 : 장기간의 빈도를 갖지 않는 사건에 대한 불확실성을 모형화하는 데 사용 할 수 있다

• 머신러닝에서는 빈도주의보다는 베이즈주의의 해석이 유효하고 자연스러운 접근이다.

2.2

2.2.1 이산 확률 변수(Discrete random variables)

• $p(A)$ 는 A 가 참일 확률을 의미한다.
  • A는 논리적인 표현식도 가능 (e.g. 내일 비가 내릴 것이다)
  • $0\leq p(A) \leq 1$
  • $p(A)=0$ 는 A 사건이 절대 발생하지 않는것을 의미
• $p(\bar{A})$ 는 사건 A가 발생하지 않을 확률
  • $p(\bar{A})=1-p(A)$ 로 정의
• 이산 확률 변수 $X$를 정의해서 이항 사전(Binary event)에 대한 개념을 확장할 수 있다
  • $X$는 유한집합 가산 무한집합 $\chi$로부터 어떠한 값도 가능
  • 사건 $X=x$의 확률은 $p(X=x)$로 또는 $p(x)$ 표현가능
  • $p()$는 확률 질량 함수(Probability mass function) 또는 pmf이다.
    • $0\leq p(x) \leq 1,$그리고 $\sum_{x\in\chi}p(x)=1$의 조건을 만족

2.2.2 근본적 규칙

2.2.2.1 두 사건 합의 확률

• 두 사건 A,B에 대해 A 또는 B(A or B)일 확률

• $$\begin{align}p(A\vee B) &=p(A)+p(B)+p(A \wedge B)\ &=p(A)+p(B)\end{align}$$

2.2.2.2 결합 확률

• 사건 A,B 의 결합 확률

• $$
  \begin{align}p(A,B)=p(A \wedge B)=p(A|B)p(B)\end{align}
  $$

  • 곱의 법칙(Product rule)이라고도 한다

• 두 사건 $p(A,B)$에서 결합 분포(Joint distribution)가 주어질 때 다음과 같은 주변 분포(Marginal distribution)를 정의

• $$
  \begin{align}p(A)=\sum_{b}p(A,B)=\sum_{b}p(A|B=b)p(B=b)\end{align}
  $$

  • B의 모든 가능한 상태에 대해 합을 계산
  • $$p(B)$$도 정의 가능
  • 합의 법칙(Sum rule), 전체 확률 규칙(Rule of total probability) 라고 부른다.

• 곱의 법칙(Product rule)을 여러 번 적용하면 확률의 연쇄 법칙(Chain rule)을 도출할 수 있다

• $$
  \begin{align}p(X_{1:D})=p(X_{1})p(X_2|X_1)p(X_3|X_2X_1)p(X_4|X_3X_2X_1)...p(X_D|X_{1:D-1})\end{align}
  $$

  • $1:D$는 ${1,2,...,D}$을 의미

• Tistory에 어떻게 하면 Typora처럼 출력할수 있을까...