“전시 적 엔트로피”라는 용어를 만든 사람은 누구입니까?

Shannon의 엔트로피 작업에 대해 알고 있지만 최근에는 경험적 엔트로피가 종종 저장소 분석의 일부로 사용 되는 간결한 데이터 구조를 연구했습니다.

Shannon은 이산 정보 소스에 의해 생성 된 정보의 엔트로피를 다음과 같이 정의했습니다. $-\sum_{i=1}^k p_i \log{p_i}$, 어디 $p_i$예를 들어 특정 문자가 생성되는 이벤트 발생 확률이며 가능한 이벤트가 있습니다.$i$$k$

주석에서 MCH에 의해 지적 된 바와 같이, 경험적 엔트로피는 이러한 사건의 경험적 분포의 엔트로피이며, 따라서 여기서 는 관찰 된 이벤트 이고 은 관찰 된 총 이벤트 수입니다. 이것을 0 차 경험적 엔트로피 라고 합니다 . 조건부 엔트로피에 대한 Shannon의 개념은 비슷한 고차 경험적 버전을 가지고 있습니다.$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$$n_{i}$$i$$n$

섀넌은 경험적 엔트로피라는 용어를 사용하지 않았지만,이 개념에 대한 몇 가지 학점은 분명합니다. 누가이 아이디어를 처음 사용했으며 누가 그것을 설명하기 위해 (매우 논리적 인) 경험적 엔트로피 를 처음 사용 했습니까?

나는 당신과 같은 "임시 엔트로피"에 관심이 있으며 내가 찾은 가장 초기의 논문은 사용자 "Marzio De Biasi"가 Kosaraju에서 자신의 의견에서 말한 것입니다.

그러나 제 생각에 "임시 엔트로피"의 실제 정의는 나중에 이전 개념을 일반화하여 만들어집니다.

1. Travis Gagie의 "대형 알파벳 및 비압축성"(2008)
2. Paul MB Vitányi (2011)의 "제국 엔트로피"

Gagie는 $k$경험적 엔트로피

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

여기서 는 차 Markov 프로세스입니다. 또한이 정의는 이전 정의와 동일하다는 것을 보여주었습니다. Vitányi의 다음 단계는 임의의 프로세스 클래스 (Markov 프로세스뿐만 아니라)에 대한 일반화입니다.$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

여기서 는 허용되는 프로세스 클래스이며 는 Kolmogorov 복잡도입니다. 우리는 선택하는 경우 의 클래스가 될 위해 마르코프 일의 순서를 생산되는 프로세스이것보다 임의의 변수와 Kolmogorov의 복잡성을 무시하면 Gagie의 정의 ( )가 발생합니다.$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$