확률 분포가 균일 할 때 엔트로피가 최대화되는 이유는 무엇입니까?

엔트로피는 프로세스 / 변수의 임의성 측정 기준이며 다음과 같이 정의 할 수 있습니다. 랜덤 변수 세트 :$X \in$$A$$H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$ . MacKay의 Entropy and Information Theory에 관한 책에서 그는 Ch2에서이 진술을 제공합니다.

p가 균일하면 엔트로피가 최대화됩니다.

직관적으로, 세트 모든 데이터 포인트 가 동일한 확률 ( 은 카디널리티 세트 카디널리티 )으로 선택되면 임의성 또는 엔트로피가 증가하는 것처럼 이해할 수 있습니다. 그러나 우리가 세트 일부 점을 알고 있다면$A$$1/m$$m$$A$$A$ 보다 확률이 더 높다는 (예를 들어 정규 분포의 경우 데이터 점의 최대 농도가 그 주위의 평균 및 작은 표준 편차 영역 주위에있는 경우 임의성) 엔트로피가 감소해야합니다.

그러나 이것에 대한 수학적 증거가 있습니까? 대한 방정식과 같이 p ( x $H(X)$ 대해 미분$p(x)$ 0 또는 그와 비슷한 것으로 설정합니다.

참고로, 정보 이론에서 발생하는 엔트로피와 화학 (열역학)의 엔트로피 계산 사이에 연결이 있습니까?

경험칙에 확률 밀도 함수 최대 엔트로피를 갖는 x n } 은 { x 1 , x 2 , 에 대한 최소한의 지식에 해당하는 것으로 판명되었습니다 . . , . x n } 즉, 균일 분포입니다.$\{x_1, x_2,..,.x_n\}$$\{x_1, x_2,..,.x_n\}$

이제 더 공식적인 증거를 얻으려면 다음을 고려하십시오.

의 확률 밀도 함수 . . , . x n } 은 음이 아닌 실수 p 1 , 의 집합입니다 . . . , P는 N 1. 엔트로피까지 추가의 연속 함수이며 , N의 -tuples ( P 1 , . . . , P에 해당 ) ,이 점은 컴팩트 서브셋에 놓여 R N 그래서가, $\{x_1, x_2,..,.x_n\}$$p_1,...,p_n$$n$$(p_1,...,p_n)$$\mathbb{R}^n$$n$-tuple where entropy is maximized. We want to show this occurs at $(1/n,...,1/n)$ and nowhere else.

Suppose the $p_j$ are not all equal, say $p_1 < p_2$. (Clearly $n\neq 1$.) We will find a new probability density with higher entropy. It then follows, since entropy is maximized at some $n$-tuple, that entropy is uniquely maximized at the $n$-tuple with $p_i = 1/n$ for all $i$.

Since $p_1 < p_2$, for small positive $\varepsilon$ we have $p_1 + \varepsilon < p_2 -\varepsilon$. The entropy of $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ minus the entropy of $\{p_1,p_2,p_3,...,p_n\}$ equals

증거를 완성하기 위해, 충분히 작은ε에대해 양수로 표시하고 싶습니다. 위의 방정식을 −p1log(1+

$$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$$ $\varepsilon$ $$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$$

그 리콜 작은 대한 X , 상기 식 인 - ε - ε 로그 P 1 + ε + ε 로그 P 2 + O ( ε 2 ) = ε 로그 ( P 2 / P 1 ) + O ( ε 2 ) 때 긍정적 인$\log(1 + x) = x + O(x^2)$$x$

$$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$$ $\varepsilon$p 1 < p 2 이후로 충분히 작음$p_1 < p_2$ .

덜 엄격한 증거는 다음과 같습니다.

먼저 다음의 Lemma를 고려하십시오.

하자 및 Q ( X를 ) 구간에 연속적인 확률 밀도 함수가 될 I 와 실제 숫자, P ≥ 0 및 Q > 0 의 I . 우리는이 - ∫ I 페이지 로그인 페이지 D X ≤ - ∫ I 페이지의 로그 Q D X를 모두 적분이 존재합니다. 또, 항등 경우에만,가 P ( X ) = Q $p(x)$$q(x)$$I$$p\geq 0$$q > 0$$I$

$$-\int_I p\log p dx\leq -\int_I p\log q dx$$ $p(x) = q(x)$모든 $x$ .

이제 는 { x 1 ,의 확률 밀도 함수 라고하자 . . . , x n } , p i = p ( x i ) 입니다. 시키는 q를 나는 = 1 / n은 모든 I , - N Σ는 i가 = 1 P 나 로그 Q를 I를 = N Σ는 i가 = 1 P 나 로그 N을 $p$$\{x_1,...,x_n\}$$p_i = p(x_i)$$q_i = 1/n$$i$ 의 엔트로피 Q를 . 따라서 우리의 Lemma는 h ( p ) ≤ h ( q ) 라고 말하고 p 가 균일 한경우에만 동등합니다.

$$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$$ $q$$h(p)\leq h(q)$$p$

또한 위키피디아는 이것에 대한 간단한 토론을합니다 : wiki

물리학과 정보 이론의 엔트로피는 관련이 없습니다. 그것들은 이름이 제시하는 것보다 더 다르지만 분명히 사이에 연관성이 있습니다. 엔트로피 메트릭의 목적은 정보의 양을 측정하는 것입니다. 엔트로피가 균일 분포에서 험피 한 분포로 어떻게 변하는 지 보여주는 그래프로 내 대답 을 참조하십시오 .

균일 분포에 대해 엔트로피가 최대화되는 이유는 그렇게 설계 되었기 때문입니다! 그렇습니다. 정보 부족에 대한 측정 값을 구성하여 정보가 가장 적은 분포에 최고의 가치를 부여하려고합니다.

예. 나는 당신에게 " 여보 내 차 어 where 어 ?" 당신의 대답은 "미국 대서양과 태평양 사이의 어딘가에 있습니다"입니다. 이것은 균일 분포의 예입니다. 내 차는 미국 어딘가에있을 수 있습니다. 이 답변에서 많은 정보를 얻지 못했습니다.

그러나 "1 시간 전 워싱턴 DC에서 66 번 국도로 향하는 차량을 보았습니다"라고 말하면 더 이상 균일 한 분포가 아닙니다. 자동차는 로스 앤젤레스 근처 어느 곳보다 DC에서 60 마일 거리에있을 가능성이 높습니다. 여기에 더 많은 정보가 있습니다.

따라서 우리의 측정 값은 첫 번째 답에 대해서는 높은 엔트로피를 가져야하고 두 번째 답에 대해서는 낮은 엔트로피를 가져야합니다. 유니폼은 정보 제공이 가장 적어야하며 기본적으로 "모름이 없습니다"라는 대답입니다.

수학적 주장은 오목한 함수에 대한 젠슨의 불평등에 근거합니다. 즉,$f(x)$ 에 오목한 기능입니다 $[a,b]$ 과 $y_1, \ldots y_n$ 에 포인트 $[a,b]$그런 다음 : $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

오목한 기능에 적용 $f(x) = -x \log(x)$ 젠슨 불평등 $y_i = p(x_i)$증거가 있습니다. 참고$p(x_i)$ 불연속 확률 분포를 정의하면 그 합은 1입니다. $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$균일 분포에 대해 동일합니다.

참고로, 정보 이론에서 발생하는 엔트로피와 화학 (열역학)의 엔트로피 계산 사이에 연결이 있습니까?

예, 있습니다! Jaynes 와 다른 많은 사람들이 그의 작업을 따르는 것을 볼 수 있습니다 (예를 들어 여기 와 여기 등).

그러나 주요 아이디어는 통계 역학 (및 과학의 다른 분야도)이 우리가 세계에 대해 추론 하는 것으로 볼 수 있다는 것입니다 .

더 읽어 보면 이 주제에 대한 Ariel Caticha의 책 을 추천 합니다.

직관적 인 설명 :

확률 변수를 확률 변수의 한 사건에 더 넣으면 다른 사건에서 일부를 제거해야합니다. 하나는 정보 내용과 무게가 적고, 다른 하나는 정보 내용과 무게가 적습니다. 따라서 정보 내용이 낮은 이벤트에 가중치가 더 많이 부여되므로 예상 정보 내용 인 엔트로피가 다운됩니다.

극단적 인 경우에 하나의 사건이 거의 하나의 확률을 얻는다고 가정하면, 다른 사건은 거의 0의 결합 확률을 가지며 엔트로피는 매우 낮을 것입니다.

주요 아이디어 : 각각의 부분 미분 $p_i$, 모두 0으로 설정하고 선형 방정식 시스템을 풉니 다.

유한 한 수의 $p_i$ 어디에 $i=1,...,n$예를 들어. 표시$q = 1-\sum_{i=0}^{n-1} p_i$.

$$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$$ $$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$$ 그때 $q = p_i$ 모든 $i$즉, $p_1=p_2=...=p_n$.