정보 엔트로피가 1보다 큰 이유는 무엇입니까?

엔트로피를 계산하기 위해 다음 기능을 구현했습니다.

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p, 2)

    return - my_sum

결과:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
1.1488348542809168
>>> from scipy.stats import entropy # using a built-in package 
                                    # give the same answer
>>> entropy([1/7.0, 1/7.0, 5/7.0], base=2)
1.1488348542809166

엔트로피는 0과 1 사이이며 0은 매우 확실하고 1은 매우 불확실하다는 것을 이해했습니다. 엔트로피 측정 값이 1보다 큰 이유는 무엇입니까?

로그베이스의 크기를 늘리면 엔트로피 측정 값이 작아 지지만베이스 2가 표준이라고 생각하므로 이것이 문제라고 생각하지 않습니다.

나는 명백한 것을 놓치고 있어야하지만, 무엇?

엔트로피 는 확률 과 같지 않습니다 .

엔트로피는 랜덤 변수의 "정보"또는 "불확실성"을 측정합니다. 베이스 2를 사용하는 경우 비트 2로 측정됩니다. 변수에 둘 이상의 정보 비트가있을 수 있습니다.

이 예에서, 하나의 샘플은 약 1.15 비트의 정보를 "포함한다". 다시 말해, 일련의 샘플을 완벽하게 압축 할 수 있다면 평균적으로 샘플 당 많은 비트가 필요합니다.

엔트로피의 최대 값은 $\log k$, 어디 $k$사용중인 카테고리 수입니다. 숫자 값은 자연스럽게 사용중인 로그의 기초에 따라 다릅니다.

질문에서와 같이 기본 2 로그를 예로 사용하십시오. $\log_2 1$ 이다 $0$ 과 $\log_2 2$ 이다 $1$보다 큰 결과 $1$ 카테고리의 수가 $1$ 또는 $2$. 보다 큰 값$1$ 그것을 초과하면 잘못 될 것입니다 $\log_2 k$.

이를 고려하여 엔트로피를 스케일링하는 것이 일반적입니다. $\log k$결과가 $0$ 과 $1$,

이것을 시도하십시오 (베이스를 참고하십시오 $e$) :

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p)

    return - my_sum

기부:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
0.796311640173813