최대 엔트로피 분포의 통계적 해석

23

다양한 환경에서 여러 분포의 사용을 정당화하기 위해 최대 엔트로피의 원리를 사용했습니다. 그러나, 나는 최대 엔트로피의 정보 이론적 해석과는 반대로 통계를 공식화 할 수 없었다. 즉, 엔트로피를 최대화하면 분포의 통계적 특성에 대해 무엇을 의미합니까?

누구든지 건너 뛰거나 아마도 최대의 통계적 해석을 발견했습니다. 정보에 호소하지 않고 확률 론적 개념에만 호응하는 엔트로피 분포?

이러한 해석의 예 (실제 일 필요는 없음) : "RV의 도메인에서 임의 길이 L의 간격 (간단 성을 위해 1-d 연속 가정)의 경우이 간격에 포함될 수있는 최대 확률이 최소화됩니다. 최대 엔트로피 분포로

따라서 당신은 "정보 성"이나 다른 철학적 아이디어에 대한 이야기가없고 단지 확률 론적 함의를 볼 수 있습니다.

— 아니카
소스

3

엔트로피는 결국 "통계"로서 분산 등의 척도입니다. 따라서 최대 엔트로피 분포는 엔트로피를 최대화하는 것이 완벽하게 좋은 통계적 설명입니다. 그래서 당신은 "정의"를 내기 위해 통계 밖으로 나가야 할 것 같습니다

— seanv507

1

Seanv : 통계 함수로서의 엔트로피는 분산, 기대 값, 스큐 등의 통계적 통계와 마찬가지로 "통계적"이라는 데 동의합니다. 그러나 평균 및 표준 편차를 예로 사용하면 Markov와 Chebyshev의 이론을 통해 순전히 확률론적인 해석이 가능합니다. 다수의 중심 한계 정리 중 하나이며, 또한 장기 합 (평균의 경우) 및 RMS 오류 (표준 편차의 경우)와 같이 직관적입니다. 아마도 "최대 엔트로피 분포의 확률 론적 해석"을 읽도록 내 질문을 답답해야 할 것입니다.

— Annika

1

아니카 최대 엔트로피 분포는 다음과 같은 해석을 갖는다 : 만약

X_{1}, X_{2}, \dots

$X_1,X_2,\dots$ IID 확률 변수는 다음 조건 probalitity에있는

P (\cdot | X_{1} + \dots + X_{n} = n a) \to P^{*} (\cdot)

$P(\cdot|X_1+\dots+X_n=na)\to P^*(\cdot)$ 로서

n \to \infty

$n\to \infty$ 여기서

P^{*}

$P^*$ 는 세트

의 최대 엔트로피 분포입니다.

{P : E_{P} X = a}

$\{P:\mathbb{E}_PX=a\}$ . 참조 ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1056374&tag=1

— 쇼크

2

감사합니다 Ashok. 그 논문을 좀 더 자세히 살펴 보겠습니다. 이것은 주어진 평균에 대해 엔트로피를 최대화하는 특별한 경우처럼 보이지만 Shanon 엔트로피를 최대화하는 작업이 수학적으로 위의 결과를 유지하도록 무엇을하는지 궁금합니다. 확률 측정의 최대 밀도 또는 평균 농도를 효과적으로 최소화합니까?

— Annika

19

이것은 실제로 내 분야가 아니므로 몇 가지 생각이 있습니다.

나는 놀람 의 개념으로 시작할 것이다 . 놀란다는 것은 무엇을 의미합니까? 일반적으로 예상치 못한 일이 발생했음을 의미합니다. 따라서, 그것은 확률 론적 개념을 놀라게하고 그렇게 설명 할 수 있습니다 (IJ Good이 그것에 대해 썼습니다). Wikipedia 및 Bayesian Surprise 도 참조하십시오 .

예 / 아니오 상황의 특별한 경우를 생각해보십시오. 확률 $p$ 발생합니다 . p = 0.9라고해도 실제로 놀라지 않습니다. 경우 $p=0.05$ 하고 그런 일이, 당신은 다소 놀라게된다. 그리고 $p=0.0000001$ 이고 발생하면 정말 놀랍습니다. 따라서 "관찰 된 결과의 놀라운 가치"에 대한 자연스런 척도는 일어난 일의 확률에 대한 일부 (반) 모노톤 함수입니다. 일어난 일의 확률에 대한 로그를 취하는 것이 자연스럽고 잘 작동합니다. 그런 다음 양수를 얻기 위해 빼기 기호를 넣습니다. 또한, 대수를 취함으로써 우리는 놀라움의 순서에 집중하며, 실제로 확률은 종종 순서 대로만 알려져 있습니다.

따라서

놀람 (에이) = - 로그 피 (에이)

$\text{Surprise}(A) = -\log p(A)$ 여기서

A

$A$ 는 관측 된 결과이고

p (A)

$p(A)$ 는 확률입니다.

이제 우리는 예상되는 놀라운 것이 무엇인지 물어볼 수 있습니다 . 하자 $X$ 확률과 베르누이 확률 변수가 될 $p$ . 가능한 결과는 0과 1입니다. 각각의 놀라움 값은

\begin{aligned} Surprise (0) & = - \log (1 - p) \\ Surprise (1) & = - \log p \end{aligned}

$\begin{align} \text{Surprise}(0) &= -\log(1-p) \\ \text{Surprise}(1) &= -\log p \end{align}$ 관찰 놀랄 정도로

X

$X$ 자체 기대를 가진 확률 변수

p \cdot - \log p + (1 - p) \cdot - \log (1 - p)

$p \cdot -\log p + (1-p) \cdot -\log(1-p)$ 및 그 --- 놀람! ---

X

$X$ 의 엔트로피! 그래서 엔트로피는놀랍습니다!

자,이 질문은 최대 엔트로피 에 관한 것 입니다. 왜 아무도 최대 엔트로피 분포를 사용하고 싶습니까? 글쎄, 그들은 최대로 놀라기를 원하기 때문입니다! 왜 그걸 원할까요?

그것을 보는 방법은 다음과 같습니다. 당신은 무언가에 대해 배우기를 원하며, 그 목표에 대해 몇 가지 학습 경험 (또는 실험 ...)을 설정합니다. 이 주제에 대한 모든 것을 이미 알고 있다면 항상 완벽하게 예측할 수 있으므로 결코 놀라지 않을 것입니다. 그런 다음 새로운 경험을 얻지 못하므로 새로운 것을 배우지 마십시오 (그러나 이미 모든 것을 알고 있습니다-배울 내용이 없으므로 괜찮습니다). 혼란스러워서 완벽하게 예측할 수없는보다 일반적인 상황에서는 학습 기회가 있습니다! 이것은 우리가 예상되는 놀람 , 즉 엔트로피에 의해 "가능한 학습량"을 측정 할 수 있다는 아이디어로 이어진다 . 엔트로피를 극대화하는 것은 학습의 기회를 극대화하는 것 외에는 아무것도 아닙니다. 이것은 유용한 개념처럼 들리는데, 이는 실험 등을 설계하는 데 유용 할 수 있습니다.

시적 예는 잘 알려져있다

Wenn einer eine reise macht, 댄 칸 어 erzählen ...

한 가지 실제적인 예 : 온라인 테스트를위한 시스템을 설계하려고합니다 (온라인은 모든 사람이 동일한 질문을받는 것은 아니며 이전 답변에 따라 질문이 동적으로 선택되므로 각 사람에 대해 어떤 방식 으로든 최적화 됨).

너무 어려운 질문을해서 절대 마스터하지 않으면 아무 것도 배우지 않습니다. 난이도를 낮춰야 함을 나타냅니다. 최적의 난이도, 즉 학습률을 극대화하는 난이도는 무엇입니까? 정답 확률이 $p$ 합니다. 우리 는 Bernoulli 엔트로피를 최대화하는 $p$ 의 값을 원합니다 . 그러나 그것은 $p=0.5$ 입니다. 그래서 당신은 (그 사람으로부터) 정답을 얻을 확률이 0.5 인 질문을 목표로합니다.

그런 다음 연속 랜덤 변수 $X$ . $X$ 를 관찰하면 어떻게 놀랄 까요? 특정 결과의 확률 $\{X=x\}$ 1, 제로 $-\log p$ 정의가 쓸모. 그러나 우리는 $x$ 와 같은 것을 관찰 할 확률 이 작은 경우, 즉 밀도 함수 값 $f(x)$ 이 작은 경우 ( $f$ 가 연속적 이라고 가정 놀랄 것 입니다. 이는 정의로 이어집니다.

Surprise (x) = - \log f (x)

$\DeclareMathOperator{\E}{\mathbb{E}} \text{Surprise}(x) = -\log f(x)$ 이 정의에서

X

$X$ 를 관찰 할 때 예상되는 놀라움 은

E {- \log f (X)} = - \int f (x) \log f (x) d x

$\E \{-\log f(X)\} = -\int f(x) \log f(x) \; dx$ 즉, 관찰로부터 예상 놀람

X

$X$ 의 차동 엔트로피

X

$X$ . 또한 예상 로그 가능성으로 볼 수 있습니다.

그러나 이것은 실제로 첫 번째 사건, 사건과 동일하지 않습니다. 예를 들어, 너무 참조하십시오. 랜덤 변수 $X$ 는 돌 던지기의 길이를 나타냅니다 (예 : 스포츠 경기). 길이를 측정하려면 길이에 대한 고유 스케일이 없기 때문에 길이 단위를 선택해야합니다. 우리는 mm 또는 km 또는 더 일반적으로 미터 단위로 측정 할 수 있습니다. 그러나 놀람에 대한 우리의 정의는 예상되는 놀람은 선택한 단위에 달려 있으므로 불변은 없습니다. 이런 이유로, 차분 엔트로피의 값은 Shannon 엔트로피의 방식과 직접적으로 비교할 수 없습니다. 이 문제를 기억한다면 여전히 유용 할 것입니다.

— 크 제틸 비 할보 르센
소스

5

이것은 내가 본 최대 엔트로피에 대한 가장 직관적 인 설명 중 하나입니다!

— Vladislavs Dovgalecs

3

정보 이론과 최대 엔트로피에 대한 전문가는 아니지만 한동안 관심이있었습니다.

엔트로피는 일련의 기준에 따라 도출 된 확률 분포의 불확실성을 측정 한 것입니다. 그것과 관련 척도는 확률 분포를 특성화합니다. 그리고 그것은 그 기준을 만족시키는 유일한 척도입니다. Jaynes (2003)에서 아름답게 설명 된 것처럼, 확률 자체의 경우와 유사하다. 논리적 진술의 불확실성에 대한 매우 바람직한 기준을 만족시키는 유일한 척도이다.

엔트로피와 다른 확률 분포의 불확실성에 대한 다른 측정은 엔트로피를 정의하는 데 사용되는 하나 이상의 기준을 위반해야합니다 (그렇지 않으면 반드시 엔트로피 일 것임). 따라서 만약 당신이 어떻게 든 최대 엔트로피와 같은 결과를 낼 확률에 대한 일반적인 진술을했다면 그것은 최대 엔트로피 가 될 것입니다 !

지금까지 최대 엔트로피 분포에 대한 확률 진술을 찾을 수있는 가장 가까운 것은 Jaynes의 농도 정리 입니다. Kapur and Kesavan (1992)에서 명확하게 설명되어 있습니다. 느슨한 설명은 다음과 같습니다.

$p$ $n$ $p_i$ $i=1,...,n$ $m$ $m+1$

$S$ $m+1$ $S_{\textrm{max}}$

$N$

2 N (S_{max} - S) \sim χ_{n - m - 1}^{2} .

$2N(S_{\textrm{max}} - S) \sim \chi^2_{n-m-1}.$

(S_{max} - \frac{χ_{n - m - 1}^{2} (0.95)}{2 N}, S_{max}) .

$\left( S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}, S_{\textrm{max}} \right).$

S_{max} - \frac{χ_{n - m - 1}^{2} (0.95)}{2 N}

$S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}$

ET Jaynes (2003) 확률 이론 : 과학의 논리. 케임브리지 대학 출판부.

JN 카 푸르와 .K. Kesavan (1992) 응용 분야의 엔트로피 최적화 원리. Academic Press, Inc.

— jvbraun
소스

3

아마도 당신이 무엇을했는지가 아니라 Rissanen, J. Stochastic Complexity in Statistical Inquiry , World Scientific, 1989, p. 최대 엔트로피, 정규 분포 및 중앙 한계 정리의 흥미로운 연결이 있습니다. 평균 제로 및 표준 편차가있는 모든 밀도 중에서 $\sigma$ 정규 밀도는 최대 엔트로피를 갖습니다.

"따라서이 해석에서 기본 중심 한계 정리는 평균 0과 공통 분산을 갖는 독립적 인 랜덤 변수의 합의 기호 당 엔트로피가 최대가되는 경향을 나타냅니다. 에 딩턴은 열역학 제 2 법칙을 보았습니다.

나는 이것의 의미를 아직 탐구하지 않았으며, 그것들을 완전히 이해하고 있다고 확신한다.

[편집 : 고정 오타]

— F. 터셀
소스