관절 엔트로피에 대한 직감

관절 엔트로피에 대한 직관을 세우는 데 어려움을 겪고 있습니다. = 관절 분포의 불확실성 ; = 불확실성 ; = 불확실성 .$H(X,Y)$$p(x,y)$$H(X)$$p_x(x)$$H(Y)$$p_y(y)$

H (X)가 높으면 분포가 더 불확실하고 그러한 분포의 결과를 알고 있으면 더 많은 정보를 얻을 수 있습니다! 따라서 H (X)도 정보를 정량화합니다.

이제$H(X,Y) \leq H(X) + H(Y)$

그러나 를 알고 있다면 와 얻을 수 있으므로 어떤 의미에서 는 와 보다 더 많은 정보를 ' p (x, y)와 관련된 불확실성이 개별 불확도의 합보다 클까?$p(x,y)$$p_x(x)$$p_y(y)$$p(x,y)$$p_x(x)$$p_y(y)$

일반적으로 추가 정보는 엔트로피를 증가시키지 않으며 공식적으로 다음과 같이 표현됩니다.

$$\begin{equation} H(X|Y) \leq H(X) \, \, \, * \end{equation}$$

경우 평등 보유 및 의미하는 독립적 .$X$$Y$$H(X|Y) = H(X)$

이 결과는 관절 엔트로피 을 증명하는 데 사용할 수 있습니다 . 이를 증명하기 위해 간단한 사례 . 연쇄 법칙에 따르면 결합 엔트로피를 아래와 같이 쓸 수 있습니다.$H(X_1, X_2, ..., X_n) \leq \sum_{i=1}^{n} H(X_i)$$H(X,Y)$

$$\begin{equation} H(X,Y) = H(X|Y) + H(Y) \end{equation}$$

고려 부등식 , 절대 변수의 엔트로피 증가하지 , 따라서 . 귀납법을 사용하면이 결과를 두 개 이상의 변수가 관련된 경우로 일반화 할 수 있습니다.$*$$H(X|Y)$$X$$H(X,Y) \leq H(X) + H(Y)$

관절 엔트로피에 대한 모호성 (또는 엔트로피)을 줄이는 데 도움이 되었기를 바랍니다!

Shannon 엔트로피의 또 다른 관점이 있습니다. 변수의 구체적인 가치가 무엇인지 질문을 통해 추측하려고한다고 상상해보십시오. 간단히하기 위해 값은 8 개의 다른 값 만 취할 수 있으며 모두 똑같이 가능하다고 상상해보십시오 .$\left(0,1,..., 8\right)$

가장 효율적인 방법은 이진 검색을 수행하는 것입니다. 먼저 4보다 큰지 아닌지 묻고 2 또는 6과 비교하십시오. 전체적으로 세 가지 질문 (이 구체적인 분포의 비트 수)이 필요하지 않습니다.

우리는 두 변수의 경우에 비유 할 수 있습니다. 그것들이 독립적이지 않다면, 그들 중 하나의 가치를 아는 것은 다음 질문에 대한 더 나은 추측 (평균)을 얻는 데 도움이됩니다 (이것은 omidi가 지적한 결과에 반영됩니다 ). 따라서 엔트로피는 완전히 독립적이 아닌 한 값을 독립적으로 추측 해야하는 경우보다 낮습니다. 엔트로피가 낮다는 것은 (이 구체적인 예에서는) 평균적으로 더 적은 질문을해야한다는 것을 의미합니다 (즉, 자주 추측하지 않을 것입니다).

"알려지면 더 많은 정보가 있다면 알 수 없을 때 더 많은 엔트로피"라는 생각을하고있는 것 같습니다. 입니다 하지 분포를 알 수없는 경우, 우리는 심지어 엔트로피를 모르는 때문에, 정확한 직관. 분포가 알려진 경우 엔트로피 는 무작위 변수의 실현에 대한 불확실성을 설명하는 데 필요한 정보량을 정량화합니다.이 변수는 알려지지 않은 채로 남아 있습니다 (분포를 알고이 불확실성을 둘러싼 구조 만 알고 있습니다). 엔트로피는 분포에서 "현재"정보를 정량화 하지 않습니다 . 반대로, 분포에 "포함 된"정보가 많을수록 불확실성을 설명하는 "필요한"정보가 적어 지므로엔트로피는 균일 분포를 고려하십시오 . 변수의 가능한 모든 값이 동등 할 수 있으므로 정보가 거의 포함되어 있지 않으므로 지원 범위가 제한된 모든 분포 중에서 최대 엔트로피를 갖습니다.

관절 엔트로피의 경우 다음과 같이 생각할 수 있습니다. 관절 분포에는 두 변수의 종속 여부에 대한 정보와 한계 분포를 도출하기에 충분한 정보가 포함됩니다. 한계 분포에는 두 개의 임의 변수가 종속적이거나 독립적인지에 대한 정보가 포함되어 있지 않습니다. 따라서 공동 분포에는 더 많은 정보가 포함되어 있으며 관련된 임의 변수를 둘러싼 불확실성이 줄어 듭니다.

메일에 포함 된 추가 정보 변수 주변 적은 불확실성 불확실성을 설명하는 데 필요한 적은 정보 이하 엔트로피.$\rightarrow$$\rightarrow$$\rightarrow$