최대 가능성 추정기-다변량 가우스

문맥

다변량 가우스는 머신 러닝에서 자주 나타나며 다음 결과는 많은 ML 서적과 과정에서 파생되지 않고 사용됩니다.

행렬의 형태로 주어진 데이터 치수의 , 우리는 데이터를 따른다고 가정하면 -variate 가우시안 변수와 분포 평균 ( ) 및 공분산 행렬 ( ) 최대 가능성 추정치 는 다음과 같이 제공됩니다.$\mathbf{X}$$m \times p$$p$$\mu$$p \times 1$$\Sigma$$p \times p$

• $\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$
• $\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

나는 다변량 가우시안에 대한 지식이 많은 ML 과정의 전제 조건이라는 것을 이해하지만, 많은자가 학습자가 통계에 대해 튀는 느낌이들 때 한 번에 자체 답변으로 전체 파생을 얻는 것이 도움이 될 것입니다. stackexchange 및 math.stackexchange 웹 사이트에서 답변을 찾습니다.

---

질문

다변량 가우스에 대한 최대 우도 추정값의 전체 도출은 무엇입니까

---

예 :

이 선형 판별 분석에 강의 노트 (11 페이지), 또는 이러한 것들 결과의 활용 및 사전 지식을 가정합니다.

부분적으로 답변되거나 닫힌 게시물도 있습니다.

• 다변량 정규 분포에 대한 최대 우도 추정기
• 다변량 정규 분포에 대한 최대 가능성 추정치를 이해하는 데 도움이 필요하십니까?

최대 가능성 추정값 도출

우리가 가지고 있다고 가정 확률 벡터의 크기의 각각의 : 각 랜덤 벡터는 여기서 일 수 변수에 대한 관측치 (데이터 포인트)로 해석됩니다 . 각 가 다변량 가우스 벡터로 iid 인 경우 :$m$$p$$\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$$p$$\mathbf{X}^{(i)}$

$$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$$

매개 변수 를 알 수없는 경우 추정치를 얻기 위해 최대 우도 방법을 사용하고 로그 우도 함수를 최대화 할 수 있습니다.$\mu, \Sigma$

랜덤 벡터의 독립성에 의해 데이터 밀도는 개별 밀도의 곱임 즉, 입니다. 대수를 취하면 로그 우도 기능이 제공됩니다.∏ m i = 1 f X ( i ) ( x ( i ) ; μ , Σ$\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$$\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$$

$$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$$

파생$\hat \mu$

대한 미분을 취하고 0과 동일하게하기 위해 다음 행렬 미적분 동일성을 사용합니다.$\mu$

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ 경우 에 의존하지 않는 및 대칭이다.$\mathbf{w}$$\mathbf{A}$$\mathbf{A}$

$$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$$

종종 샘플 평균 벡터 라고합니다 .

파생$\hat \Sigma$

공분산 행렬에 대한 MLE를 도출하려면 더 많은 작업과 다음 선형 대수 및 미적분 특성을 사용해야합니다.

• 트레이스는 행렬 곱의 순환 순열에서 변하지 않습니다.$tr[ACB] = tr[CAB] = tr[BCA]$
• 이후 스칼라, 우리는 추적을 동일한 값을 얻을 수있다 :$x^TAx$$x^tAx = tr[x^TAx] = tr[x^txA]$
• $\frac{\partial}{\partial A} tr[AB] = B^T$
• $\frac{\partial}{\partial A} \log |A| = A^{-T}$

이러한 속성을 결합하면 계산할 수 있습니다

$$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$$

이것은 벡터 의 외부 곱입니다 .$x$

이제 로그 우도 함수를 다시 작성하고 미분 wrt 계산할 수 있습니다 (주 는 일정합니다)$\Sigma^{-1}$$C$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$$

0으로 동일하고 대한 해결$\Sigma$

$$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$$

출처

• https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter13.pdf
• http://ttic.uchicago.edu/~shubhendu/Slides/Estimation.pdf

위한 또 다른 증거 에 대해 미분을 취 직접 :$\widehat{\Sigma}$$\Sigma$

위와 같이 로그 우도를 : 여기서 와 의 순환 및 선형 속성을 사용했습니다 . 를 계산하려면 먼저

$$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$$ $S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$$\text{tr}$$\partial \ell /\partial \Sigma$ $$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$$ 위의 네 번째 속성에 의한 . 두 번째 항의 미분을 취하려면 ( 매트릭스 요리 책 , 방정식 63에서). 이것을 적용 그 우리 구 와 는 모두 대칭 이므로 그때 $$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$$ $B=I$ $$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$$ $\Sigma$$S_\mu$ $$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$$ 이것을 0으로 설정하고 재 배열하면 $$\widehat{\Sigma} = \frac{1}{m}S_\mu.$$

이 방법은 대한 파생물을 사용하는 표준 방법보다 더 많은 작업이며 더 복잡한 추적 ID가 필요합니다. 현재 보다 을 사용하는 것이 훨씬 어려운 수정 된 가능성 함수의 파생물을 가져와야하기 때문에 유용하다는 것을 알았습니다 .$\Lambda = \Sigma^{-1}$$\partial/{\partial \Sigma^{-1}}$$\partial/\partial \Sigma$