Fisher 지표와 상대 엔트로피 간의 연결

누군가 순수하게 수학적으로 엄격한 방식으로 Fisher 정보 지표와 상대 엔트로피 (또는 KL 분기) 사이의 다음 연결을 증명할 수 있습니까 ?

$$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$$ 여기서 $a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ , $$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$$ 및 $g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ 는 아인슈타인 요약 규칙입니다.

Vasileios Anagnostopoulos가 코멘트에서 그것에 대해 말한 John Baez 의 멋진 블로그에서 위의 내용을 찾았습니다 .

1946 년 지구 물리학 자와 베이지안 통계학자인 Harold Jeffreys는 오늘날 우리가 쿨백-레 블러 발산이라고 부르는 것을 소개했으며, "무한히 가까운"두 분포에 대해 발견했습니다. Kullback-Leibler 분기는 Fisher 정보 매트릭스의 요소에 의해 계수가 제공되는 2 차 형태로 나타납니다. 그는이 2 차 형태를 Riemannian 매니 폴드의 길이 요소로 해석했으며 Fisher 정보는 Riemannian 메트릭의 역할을합니다. 통계 모델의 이러한 형상화에서, 그는 Jeffreys의 사전을 Riemannian 메트릭에 의해 자연적으로 유도 된 측정 값으로 도출했으며,이 측정 값은 매니 폴드에 본질적으로 균일 한 분포로 해석 될 수 있지만 일반적으로 유한 측정 값은 아닙니다.

엄격한 증거를 작성하려면 모든 확장 성 조건을 확인하고 Taylor 확장에서 오류 용어의 순서를 처리해야합니다. 다음은 인수에 대한 간단한 스케치입니다.

두 밀도 와 사이의 대칭 쿨백-레 블러 발산 은 다음과 같이 정의됩니다.$f$$g$

$$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$$

우리는에 의해 파라미터 밀도의 가족이있는 경우 다음$\theta=(\theta_1,\dots,\theta_k)$

$$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$$ 여기서 입니다. 표기법을 소개하면 일부 대수는 자연 로그에 Taylor 확장을 사용하면 $\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$ $$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$$ $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$$ $$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$$ D [ 따라서 그러나 따라서 있는 $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$$ $$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$$ $$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$$ $$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$$

이것은 원본 용지입니다.

제프리, H. (1946). 추정 문제의 사전 확률에 대한 변하지 않는 형태. Proc. 로얄 삭스 런던, 시리즈 A, 186, 453–461.

일반적인 (비대칭) KL 발산에 대한 증거

Zen의 대답은 대칭 KL 발산을 사용하지만 결과는 무한히 가까운 분포에 대해 대칭이되기 때문에 일반적인 형태에도 적용됩니다.

다음은 스칼라 (게으 르기 때문에)로 매개 변수화 된 불연속 분포에 대한 증거 이지만 연속 분포 또는 매개 변수 벡터에 대해 쉽게 다시 작성할 수 있습니다.$\theta$

= ∑ p θ log p θ − ∑ p θ log p θ ⏟ = 0 − d θ ∑ p θ

$$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$$ 마지막 용어 확장 : 일부 규칙 성을 가정하면 두 가지 결과를 사용했습니다. $$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$$ $$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$$

$$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$$

다음 논문의 식 (3)에서 유사한 관계 (1 차원 매개 변수)를 찾을 수 있습니다.

D. Guo (2009), 상대 엔트로피 및 점수 함수 : Proc. 에서 임의의 추가 섭동을 통한 새로운 정보-추정 관계 . 정보 이론에 관한 IEEE 국제 심포지엄 , 814–818. ( 안정적인 링크 ).

저자는

S. 쿨백, 정보 이론 및 통계 . 뉴욕 : 1968 년 도버.

이 결과의 증거.