통계 또는 정보 이론에서 수량 에 대한 사용이 있습니까?

통계 또는 정보 이론에서 수량

$$\int f(x)^2 dx$$ 에 대한 사용이 있습니까?

시키는 , 양 (베그 또는 카운팅 계수 각각에 대해 하나) 나타내고 확률 밀도 함수를 로 알려진된다 RENYI 엔트로피 순서 . 동일한 속성을 많이 유지하는 것은 Shannon 엔트로피의 일반화입니다. 의 경우 를 로 해석 하며 이는 표준 Shannon 엔트로피 합니다.$f$$\newcommand{\rd}{\mathrm{d}}$

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

Renyi는 그의 논문에서 이것을 소개했다

A. Renyi, 정보 및 엔트로피 측정 , Proc. 제 4 회 버클리 증상 수학, 통계. 그리고 Prob. (1960), 547–561 쪽.

아이디어뿐만 아니라 모범적 인 박람회 스타일에 대한 가치가 있습니다.

케이스 을위한 일반적인 선택 사항 중 하나이다 이 특별한 경우는 종종 RENYI 엔트로피라고 함 (도)이다. 여기에서는 참조 그 에 대한 랜덤 변수 밀도로 분포 .$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

참고 볼록 함수이고 따라서 옌센 부등식에 의해 우리가 여기서 오른쪽은 Shannon 엔트로피를 나타냅니다. 따라서 Renyi 엔트로피는 Shannon 엔트로피에 대한 하한을 제공하며 많은 경우 계산하기가 더 쉽습니다.$- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$

Renyi 엔트로피가 발생하는 또 다른 자연스러운 예는 불연속 랜덤 변수 와 독립 사본 고려할 때 입니다. 일부 시나리오에서 우리는 확률을 알고 싶어 초등학교 계산하는 것입니다, $X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

여기서 는 값 집합 계수 측정에 대한 밀도를 나타냅니다 .$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

(일반) Renyi 엔트로피는 열 평형에서 시스템의 자유 에너지와 분명히 관련이 있지만 개인적으로는 그렇지 않습니다. 주제에 관한 (매우) 최근 논문은

JC Baez, Renyi 엔트로피 및 자유 에너지 , arXiv [quant-ph] 1101.2098 (2011 년 2 월).