베이지안 후부가 KL 발산의 최소량에 집중하는 이유는 무엇입니까?

베이지안 후부 고려하십시오 . 무조건 최대 값은 MLE 추정값 에서 발생하며 , 이는 가능성 최대화합니다 .$\theta\mid X$$\hat \theta$$\operatorname{argmin}_\theta\, f_\theta(X)$

이 모든 개념들-베이어 이전의 가능성을 극대화하는 것은 전혀 임의적 인 것이 아니라 매우 원칙적으로 들린다. 로그인이 없습니다.

그러나 MLE은 실제 분포 와 사이의 KL 발산을 최소화합니다 . 즉,$\tilde f$$f_\theta(x)$

$$KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx$$

우와 —이 통나무는 어디에서 왔습니까? 특히 KL 분기가 필요한 이유는 무엇입니까?

예를 들어, 왜 다른 발산을 최소화하는 것이 베이지안 후부의 초 원리적이고 동기 부여 된 개념과 일치하지 않고 위의 가능성을 최대화 하는가?

이 맥락에서 KL 분기 및 / 또는 로그에 특별한 것이있는 것 같습니다. 물론, 우리는 공중에 손을 던질 수 있고 그것이 수학의 방식이라고 말할 수 있습니다. 그러나 나는 더 깊은 직관이나 폭로가 있을지도 모른다고 생각합니다.

이와 같은 계산에서 로그의 사용은 정보 이론 에서 비롯됩니다 . KL 분기의 특별한 경우, 측정 값은 두 분포의 상대 정보로 해석 될 수 있습니다.

$$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$$

여기서 은 IS 엔트로피 의 및 상기 교차 엔트로피 와 . 엔트로피는 밀도에 의해 생성 된 평균 속도의 척도로 간주 될 수 있습니다 (교차 엔트로피는 좀 더 복잡하다고 생각합니다). 고정 값 대한 KL 발산을 최소화하는 것은 (앞서 언급 한 문제에서와 같이) 교차 엔트로피를 최소화하는 것과 동일하므로이 최적화는 정보 이론적 해석을 제공 할 수 있습니다.$H(\tilde{f})$$\tilde{f}$$H(\tilde{f}, f_\theta)$$\tilde{f}$$f_\theta$$\tilde{f}$

짧은 포스트에서 정보 이론과 정보 측정의 속성을 잘 설명 할 수는 없습니다. 그러나 통계와 밀접한 관련이 있으므로 필드를 살펴 보는 것이 좋습니다. 밀도의 로그에 대한 적분과 합을 포함하는 많은 통계 측정은 측정 이론에 사용되는 표준 정보 측정의 간단한 조합이며, 이러한 경우 다양한 밀도 등의 기본 정보 수준에 대한 해석을 제공 할 수 있습니다.