상호 엔트로피 란 무엇인가

이 질문 은 수식의 관점에서 교차 엔트로피의 정량적 정의를 제공합니다.

위키피디아는보다 명쾌한 정의를 찾고 있습니다.

정보 이론에서, 두 확률 분포 사이의 교차 엔트로피 는 "진정한"분포 p가 아니라 주어진 확률 분포 q에 기초하여 코딩 방식이 사용되는 경우, 가능성 세트로부터 이벤트를 식별하는데 필요한 평균 비트 수를 측정한다 .

나는 이것을 이해하는데 어려움을 겪는 부분을 강조했다. Entropy에 대한 별도의 (기존) 이해가 필요없는 멋진 정의를 원합니다.

entropy information-theory

— 린든 화이트
소스

동시에 엔트로피 자체 를 정의 할 교차 엔트로피 의 정의를 요청하고 있습니다. 그리고 직관적으로 ... 엔트로피 자체의 개념을 이해하는데 어려움이 있다면, 기본 개념과 그 확장 중 하나를 먼저 이해하는 것이 좋습니다.

— Alecos Papadopoulos

개인적으로 나는 엔트로피에 대한 기본적인 이해를 얻었습니다 (적용한 지 12 개월이 지났지 만). 그러나 엔트로피의 양적인 표현은 짧은 한 단락에 맞아야하며 교차 엔트로피는 한 번만 더 가져와야합니다. 그래서 나는 좋은 대답이 둘 다를 포함 할 수 있다고 생각하므로 독자는 그것을 이해하기 위해 다른 곳을 참조 할 필요가 없습니다.

— Lyndon White

관련 게시물을 참조하십시오 stats.stackexchange.com/questions/66186/... 및 stats.stackexchange.com/questions/188903/...을

— 할보 르센 kjetil B

확률 발생하는 이벤트를 인코딩하려면 최소한 비트가 필요합니다 (왜? "섀넌의 엔트로피에서 로그의 역할은 무엇입니까 ? "에 대한 내 대답 참조 ). $p$ $\log_2(1/p)$

따라서 최적의 인코딩에서 인코딩 된 메시지의 평균 길이는 즉원래 확률 분포의Shannon 엔트로피.

\sum_{나는} 피_{나는} {로그}_{2} (\frac{1}{피_{나는}}),

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$

그러나 확률 분포 경우 다른 확률 분포 최적 인 인코딩을 사용하는 경우 인코딩 된 메시지의 평균 길이는 $P$ $Q$ 인크로스 엔트로피보다 크면,

\sum_{나는} 피_{나는} code_length (나는) = \sum_{나는} 피_{나는} {로그}_{2} (\frac{1}{큐_{나는}}),

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

그런 다음 최적으로 인코딩하려면 A를 0으로, B를 1로 인코딩하므로 한 문자 당 1 비트의 인코딩 된 메시지를 얻습니다. (그리고 그것은 우리의 확률 분포의 Shannon Shannon 엔트로피입니다.)

$P$ $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$ 그런 다음 문자 당 2 비트를 얻습니다 (예 : A는 00, B는 01, C는 10, D는 11로 인코딩합니다).

— 피오트르 미달
소스

좋은 설명 감사합니다. 그러나 위키 백과 정의는 sum_i [p_i * log (q_i)]입니다. 1 / q_i를 사용하면 가능한 상태 수가 많으므로 log_2는이를 단일 기호를 인코딩하는 데 필요한 비트 수로 변환하지만 wikipedia 페이지는 미묘하게 다른 것을 설명합니다.

— redcalx

@locster Wikipedia에서는 합계 앞에 빼기 부호가 있습니다.

1 / q_{i}

$1/q_i$ , 같이

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$ .

— Piotr Migdal