다변량 정규 밀도의 미분을 얻는 방법?

다변량 정규 밀도 가 있다고 가정 합니다. 두 번째 (부분) 미분 wrt 을 얻고 싶습니다 . 행렬의 미분을 취하는 방법을 모릅니다.$N(\mu, \Sigma)$$\mu$

Wiki는 행렬 내부의 미분 요소를 요소별로 가져옵니다.

Laplace 근사치 모드는 입니다.

$$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$$
$\hat\theta=\mu$

나는 어떻게 이런 일이 일어 났습니까?

$${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$$

내가 한 일 :

$$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$$

그래서 미분 wrt를 가져갑니다 . 먼저 조옮김이 있습니다. 두 번째로 행렬입니다. 그래서 나는 붙어 있습니다.$\theta$

참고 : 교수님이이 문제를 만나면 강의를 언급합니다.

Matrix Cookbook의 2 장 에는 다변량 가우시안 가능성을 구별하는 규칙을 포함하여 확률 및 통계를 수행하는 데 도움이되는 많은 유용한 ID를 제공하는 행렬 미적분학에 대한 좋은 검토가 있습니다.

평균 벡터 및 공분산 행렬 로 다변량 법선 인 랜덤 벡터 가 있는 경우 행렬 요리 책에서 방정식 (86)을 사용하여 로그 우도 에 대하여 이고${\boldsymbol y}$${\boldsymbol \mu}$${\boldsymbol \Sigma}$${\bf L}$${\boldsymbol \mu}$

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$$

이를 다시 구별하고 답변을 찾아 드리겠습니다 .$-{\boldsymbol \Sigma}^{-1}$

"추가 크레딧"으로 방정식 (57) 및 (61)을 사용하여 대한 그래디언트 가${\boldsymbol \Sigma}$

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$$

나는 많은 단계를 생략했지만 매트릭스 요리 책에있는 정체성 만 사용 하여이 파생을 만들었으므로 간격을 메우기 위해 남겨 두겠습니다.

나는 최대 가능성 추정을 위해이 점수 방정식을 사용 했으므로 그것이 정확하다는 것을 알고 있습니다 :)

에서 반복되는 요소를 올바르게 관리해야합니다 . 그렇지 않으면 파생 상품이 올바르지 않습니다. 예를 들어, (141) Matrix Cookbook 은 대칭 에 다음과 같은 파생물을 제공합니다.$\mathbf{\Sigma}$$\mathbf{\Sigma}$

$$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$$

그리고 (14) 공분산 행렬의 함수를 차별화 하면

$$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$$

여기서 는 Hadmard 제품을 나타내며 편의상 .$\circ$$\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

특히 이것은 대칭성이 부과되지 않을 때와 동일 하지 않습니다. 결과적으로 우리는$\mathbf{\Sigma}$

$$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$$

여기서 의 치수이다 , 와 과의 유도체0입니다$D$$\mathbf{x}$$\mathbf{y}$$\mathbf{\mu}$$D\log|2\pi|$

이는 의 요소 가 .$i,j^{th}$$\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$$\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

@Macro의 대답을 계산적으로 확인하려고했지만 공분산 솔루션에서 사소한 오류가있는 것으로 나타났습니다. 그는 그러나 올바른 해결책은 실제로 다음 R 스크립트는 의 각 요소에 대해 유한 차이가 계산되는 간단한 예를 제공합니다 . 그것은 그 보여줍니다

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$$ $${\bf B}=2{\bf A} - \text{diag}({\bf A})$$ ${\boldsymbol \Sigma}$${\bf A}$대각선 요소에 대해서만 정답을 제공하고 는 모든 항목에 대해 정확합니다.${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f