차동 엔트로피

가우스 RV의 차동 엔트로피는 입니다. 이것은 표준 편차 인 에 의존합니다 .$\log_2(\sigma \sqrt{2\pi e})$$\sigma$

랜덤 변수를 정규화하면 단위 분산을 가지므로 차분 엔트로피가 떨어집니다. 나에게 이것은 정규화 상수의 Kolmogorov 복잡성이 엔트로피의 감소에 비해 매우 작아야하기 때문에 반 직관적입니다. 이 랜덤 변수에 의해 생성 된 임의의 데이터 세트를 복구하기 위해 정규화 상수로 분할 / 다중화하는 인코더 디코더를 간단하게 고안 할 수있다.

아마 내 이해가 꺼져있을 것입니다. 내 결함을 지적 해 주시겠습니까?

나는 머리 위로 조금 있지만 이것에 가야 할 것이므로 소금을 뿌려 처리하십시오 ...

당신은 정확히 틀리지 않습니다. 나는 당신의 생각 실험이 떨어지는 곳에서 차동 엔트로피가 엔트로피의 제한적인 사례가 아니라고 생각합니다. 나는 이것 때문에 그것과 Kolmogorov의 복잡성 사이의 유사성이 없어진다고 추측합니다.

불연속 랜덤 변수 가 있다고 가정 해 봅시다 . 가능한 모든 값 , 을 합하여 다음과 같이 Shannon 엔트로피를 계산할 수 있습니다$X$$x_i$

$$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$$

지금까지 지루한. 이제 가 연속 랜덤 변수의 정량화 된 버전 이라고 가정 해 봅시다. 예를 들어 밀도 함수 가 실수 세트에서 샘플을 생성하고 이것을 히스토그램으로 바꿉니다. 밀도 함수가 본질적으로 선형 일 정도로 충분히 히스토그램을 갖습니다. 이 경우 엔트로피를 가질 것입니다. 곳 우리 히스토그램 빈들의 폭과 각각의 중점이다. 우리는 그 로그 안에 곱을 가지고 있습니다-그것을 분리하고 1에 합산되는 확률 분포의 속성을 사용하여 그것을 합산 밖으로 옮기십시오. $X$$p()$

$$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$$ $\delta x$$x_i$ $$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$$

우리가 한계를 취하여 하고 합산을 적분으로 근사값이 정확 해지며 $\delta x \rightarrow dx$

$$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$$

오른쪽의 용어는 차동 엔트로피입니다. 그러나 그 끔찍한 용어를보십시오. 우리는 모든 답변이 NaN이되지 않도록 무시해야합니다. 차분 엔트로피가 Shannon 엔트로피의 제한적인 사례가 아니라는 것을 두려워합니다.$\log \big( dx \big)$

따라서 일부 속성이 손실됩니다. 예, 데이터 크기를 조정하면 차등 엔트로피가 변경됩니다. 차등 엔트로피는 pdf가 얼마나 '밀폐 포장'되어 있는지 측정 한 것입니다. 크기를 조정하면 변경됩니다. 또 다른 재미있는 속성은 Shannon 엔트로피와 달리 음수가 될 수 있다는 것입니다. 정말로 작게 설정 하고 무슨 일이 일어나는지보십시오. Kolmogorov의 복잡성과의 관련성을 잃어버린 것은 또 다른 사상 자라고 생각합니다.$\sigma$

다행히도 우리는 완전히 길을 잃지 않았습니다. Kullback–Leibler은 서로의 정보가 다양하고 모두 취소 되면 상호 정보가 상당히 잘 동작 합니다. 예를 들어, 여기서 는 참조 분포입니다 -균일 한 것. 이것은 항상 양수이며 변수 크기를 조정하면 및 가 모두 변경 되므로 결과가 훨씬 덜 심각합니다.$\delta$

$$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$$ $q(X)$$X$$p(X)$$q(X)$