차동 엔트로피는 항상 무한대보다 작습니까?

와 같은 임의의 연속 랜덤 변수의 경우, 차분 엔트로피는 항상 보다 작 습니까? ( 이면 괜찮습니다 .) 그렇지 않은 경우 보다 작아야하는 충분하고 충분한 조건은 무엇입니까? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
소스

당신은 어떤 예를 시도 했습니까? 마찬가지로, 길이 의 구간에서 균일 한 분포 ?

L

$L$

— Piotr Migdal

실제로, (유한 한 간격으로) 균일 분포의 차분 엔트로피는 항상 유한하며, 즉 log (L)이므로 제한됩니다. 실제로, 나는 엔트로피가 항상 경계가있는 2 가지 연속 분포의 분포를 식별 할 수있었습니다. (1) 유한 간격으로지지가 포함 된 분포와 (2) 2 차 모멘트가 유한 한 분포. 전자는 균일 분포에 의해 구속된다. 후자는 가우스 분포에 의해 제한됩니다.

— syeh_106

사실, 나는 또한 무한한 2 차 모멘트로 분포를 구성 할 수 있으며 여전히 유한 엔트로피를 가지고 있습니다. 예를 들어, f (x) = 3 / (x ^ 2), x> 3을 고려하십시오. 분명히 E [X ^ 2]는 무한하지만 h (X) ~ = -3.1 nats입니다. 그러나 임의의 연속 임의 변수에 대해 이것이 사실인지 확인하거나 반박하기 위해 반대의 예를 생각해 냈습니다. 누군가 이것을 보여줄 수 있다면 정말 감사하겠습니다.

— syeh_106

귀하의 의견과 링크, Piotr에 감사드립니다. 덧붙여서, 나는 또한 나의 강의 자료 중 하나를 점검했고, 셀 수없이 무한히 지원되는 불연속 랜덤 변수의 동일한 예를 발견했습니다. 이로 인해 연속적인 아날로그를 구성하는 것은 어렵지 않습니다. 따라서 첫 번째 질문에 대한 답은 분명합니다. 동일한 질문이있는 다른 사람들을 위해 아래에 요약하겠습니다. BTW, 위의 두 번째 의견에서 특히 수정해야합니다. 특히 f (x) = 3 / (x ^ 2)의 경우 h (X)는 양수이어야합니다. 즉 3.1 nats입니다.

— syeh_106

이 질문과 대답은 어떤 범위를 적용해야하는지 명시하지 않기 때문에 모호합니다. 경우

캠핑카이며, 그것은 엔트로피, 기간이 있습니다. "임의"연속 RV 인 경우 (분명히) 가능한 상한이 없습니다.

에 어떤 제약을가하려고 합니까? 의견과 답변에서

지원을 수정하고 싶거나 그렇지 않을 수도 있습니다 . 아마도 특정 순간에 주어진 경계를 가진 변수로

를 제한하고 싶 습니까? 아마도

가 파라 메트릭 패밀리에 포함 되기를 원합니까? 명확히하려면이 질문을 편집하십시오.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

나는이 질문에 대해 더 많이 생각하고 위의 Piotr의 의견 덕분에 반례를 찾을 수있었습니다. 첫 번째 질문에 대한 답은 '아니오'입니다. 연속 랜덤 변수 (RV)의 차동 엔트로피가 항상 이상인 것은 아닙니다 . 예를 들어, pdf가 인 연속 RV X를 고려하십시오. $\infty$ 에 대한.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

차동 엔트로피가 무한하다는 것을 확인하는 것은 어렵지 않습니다. 그래도 상당히 느리게 자랍니다 (대수적으로).

두 번째 질문의 경우, 나는 단순하고 필요한 조건을 알지 못합니다 . 그러나 한 가지 부분적인 대답은 다음과 같습니다. 연속 RV를 지원에 따라 다음 3 가지 유형 중 하나로 분류하십시오.

유형 1 :지지가 한계가있는 연속 RV, 즉 [a, b]에 포함됨
타입 2 :지지가 반한 연속 RV, 즉 [a, ) 또는 ( , a에 포함) 타입 3 :지지가 무한한 연속 RV. $\infty$ $-\infty$

그런 다음 우리는 다음을 가지고 있습니다-

$\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

타입 2 또는 3 RV의 경우 위의 조건은 충분한 조건 입니다. 예를 들어, 유형 2 RV를 고려하십시오.

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
소스

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

SE 정책에 대한 조언을 주셔서 감사합니다. (예, 나는 분명히 새로운 곳입니다.) 제한된 엔트로피로 이어지는 유한 한 순간에 대해, 당신의 증거를 공유 하시겠습니까? 감사!

— syeh_106

@PiotrMigdal 마지막 질문을 추가 한 후이 질문에 대한 답변을 현재 상태로 남겨 둘 계획입니다. 위의 Piotr의 의견에 동기를 부여하여 유한 평균이 유한 엔트로피를 유발하는지 고려했습니다. 나는 이것을 일반적으로 결론 지을 수 없었다. 내가 찾은 것은 RV의 지원이 반 한계라면 사실이라는 것입니다. 위의 수정 된 답변을 참조하십시오. 언젠가 누군가로부터 더 나은 답변을 기대합니다.

— syeh_106

"차동 엔트로피가 무한하다는 것을 확인하는 것은 어렵지 않습니다." 이를 확인하는 방법을 보여줄 수 있습니까? 리만 적분에 대해서는 사실 인 것처럼 보이지만, 차분 엔트로피는 레베 그 측정과 관련이 있습니다. 해당 Lebesgue 적분이 수렴하지 않는지 확인하는 데 문제가 있습니다.

— cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$