Exponential Family 지수족 (정규분포, 이항분포 증명)

지수족은 다음과 같은 형태의 확률 분포를 말한다.

지수족의 원소로는 정규분포, 베르누이 분포, 지수분포, 베타분포, 감마분포, 푸아송분포, 카이제곱분포 등등 우리가 알고 있는 대부분의 분포 그러나 student-T분포는 지수족이 아니다.

또한, 시행횟수 N이 고정된 이항분포들의 집합은 지수족의 원소가 된다. n이 고정되어야 하고 n과 p가 모두 모수이면 exponential family가 안 된다.

이항분포가 지수족에 속하는지를 증명해보자.

\[f(x) = (nCx) p^{x}\times (1-p)^{n-x}\]

1)take the log of both sides

\[ \log{f(x)} = \log(nCx) + x\log{p} +(n-x)\log{(1-p)} \]

2) take the exponential of both sides

\[ f(x) = \exp{(x\log{p}-x\log{(1-p)}+n\log{(1-p)}+\log{(nCx)})}\]

\[= \exp{(x \log{(p/(1-p)}+n\log{(1-p)}+\log{(nCx)})} \]

Compare to -> \[f(y) = \exp((\theta(y) - b\theta)/a(\phi) +c(y;\phi)) \]

let \[ \theta = \log{p/(1-p)}\], then \[e^{\theta} = p/(1-p)\]

\[p = e^{\theta}/(1+e^{\theta}), 1-p = 1/(1+e^{\theta}) = (1+e^{\theta})^{-1}\]

\[n \log{(1-p)}= n\log{((1+e^{\theta})^{-1})} = -n\log{(1+e^{\theta})}\]

\[f(x) = \exp(x\theta- n\log{(1+e^{\theta})}+\log {(nCx)}) \]

\[b(\theta) = n\log{(1+e^{\theta})} , a(\phi) = 1, c(x;\phi) = \log{(nCx)} \]

다음으로 정규분포가 지수족에 속하는지를 증명해보자.

정규분포

\[f(x|\mu,\sigma^{2}) = \frac{1}{\sqrt{2\pi\sigma^{2}}}\exp(\frac{-(x-\mu)^{2}}{2\sigma^{2}})\]

1) 양변에 로그 취하기

\[\log{f(x|\mu,\sigma^{2})} = -\frac{1}{2}\log{2\pi\sigma^{2}}-(\frac{(x-\mu)^{2}}{2\sigma^{2}})\]

2) 양변에 지수 취하기

\[f(x|\mu,\sigma^{2}) = \exp(-\frac{1}{2}\log{2\pi\sigma^{2}}-\frac{(x-\mu)^{2}}{2\sigma^{2}})\]

\[ f(x|\mu, \sigma^{2}) = \exp{(\frac{-x^{2}+2x\mu-\mu^{2}}{2\sigma^{2}}}- \frac{1}{2}\log{(2\pi\sigma^{2}))} \]

\[ = \exp(\frac{2x\mu-\mu^{2}}{2\pi^{2}} - \frac{x^{2}}{2\sigma^{2}}-\frac{1}{2}\log{(2\pi\sigma^{2})}) \]

\[=\exp(\frac{x\mu-\frac{1}{2}\mu^{2}}{\sigma^{2}} - \frac{ x^{2}}{2\sigma^{2}} -\frac{1}{2}log{(2\pi\sigma^{2})}) \]

\[\theta = \mu, b(\theta) = \frac{1}{2}\theta^{2}, a(\phi)= \sigma^{2}\]

Sleeping Owl