통계 또는 정보 이론에서 수량 에 대한 사용이 있습니까?


답변:


24

시키는 , 양 (베그 또는 카운팅 계수 각각에 대해 하나) 나타내고 확률 밀도 함수를 로 알려진된다 RENYI 엔트로피 순서 . 동일한 속성을 많이 유지하는 것은 Shannon 엔트로피의 일반화입니다. 의 경우 를 로 해석 하며 이는 표준 Shannon 엔트로피 합니다.f

Hα(f)=−1α−1log⁡(∫fαdμ)
α≥0α=1H1(f)limα→1Hα(f)H(f)

Renyi는 그의 논문에서 이것을 소개했다

A. Renyi, 정보 및 엔트로피 측정 , Proc. 제 4 회 버클리 증상 수학, 통계. 그리고 Prob. (1960), 547–561 쪽.

아이디어뿐만 아니라 모범적 인 박람회 스타일에 대한 가치가 있습니다.

케이스 을위한 일반적인 선택 사항 중 하나이다 이 특별한 경우는 종종 RENYI 엔트로피라고 함 (도)이다. 여기에서는 참조 그 에 대한 랜덤 변수 밀도로 분포 .α=2α

H2(f)=−log⁡(∫f2dμ)=−log⁡(Ef(X))
f

참고 볼록 함수이고 따라서 옌센 부등식에 의해 우리가 여기서 오른쪽은 Shannon 엔트로피를 나타냅니다. 따라서 Renyi 엔트로피는 Shannon 엔트로피에 대한 하한을 제공하며 많은 경우 계산하기가 더 쉽습니다.−log⁡(x)

H2(f)=−log⁡(Ef(X))≤E(−log⁡f(X))=−Elog⁡f(X)=H(f)

Renyi 엔트로피가 발생하는 또 다른 자연스러운 예는 불연속 랜덤 변수 와 독립 사본 고려할 때 입니다. 일부 시나리오에서 우리는 확률을 알고 싶어 초등학교 계산하는 것입니다, XX⋆X=X⋆

P(X=X⋆)=∑i=1∞P(X=xi,X⋆=xi)=∑i=1∞P(X=xi)P(X⋆=xi)=e−H2(f).

여기서 는 값 집합 계수 측정에 대한 밀도를 나타냅니다 .fΩ={xi:i∈N}

(일반) Renyi 엔트로피는 열 평형에서 시스템의 자유 에너지와 분명히 관련이 있지만 개인적으로는 그렇지 않습니다. 주제에 관한 (매우) 최근 논문은

JC Baez, Renyi 엔트로피 및 자유 에너지 , arXiv [quant-ph] 1101.2098 (2011 년 2 월).


나는 실제로 Shannon 엔트로피를 대신하여 Renyi 엔트로피를 사용하고 있었다. 내 직감의 확인을 보는 것이 좋습니다. 깨달은 응답에 감사드립니다.
— charles.y.zheng

1
Shannon 엔트로피의 속성과 유용성 중 많은 부분이 (모두는 아닙니다!) 볼록 함에서 비롯됩니다. 정보 이론의 기본 결과를 살펴보면 Jensen의 불평등에 어느 정도 영향을 미칩니다. 따라서, 특정 (모호한) 의미에서, "정보"의 개념으로 이어지는 특정 비선형 성으로서 에 대해 (심하게) 특별한 것은 그리 많지 않습니다 . −log⁡x
— 추기경

1
내가 참조. 특히, 나는 최대 marginals 주어진 만족이 marginals의 제품 공동 유통 엔트로피하는 프로퍼티를 필요로 (당신이 독립에서 얻을 것이 무엇을.)
— charles.y.zheng
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.