경험적 엔트로피 란 무엇입니까?

공동으로 전형적인 세트의 정의 ( "정보 요소의 요소", 7.6, p. 195)에서 우리는

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$ 은 의 시퀀스 의 경험적 엔트로피 로 . 나는이 용어를 전에 본 적이 없다. 책의 색인에 따라 명시 적으로 정의되어 있지 않습니다.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

내 질문은 기본적으로 : 경험적 엔트로피가 왜 $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ 가 아닌가? 여기서 $\hat p(x)$ 는 경험적 분포입니까?

이 두 공식의 가장 흥미로운 차이점과 유사점은 무엇입니까? (공유하거나 공유하지 않는 속성의 측면에서).

information-theory entropy

— blubb
소스

두 표현이 대수적으로 같지 않습니까?

— whuber

@ whuber : 아니요, 수량이 다르며 다른 목적으로 사용됩니다. 첫 번째는 선험적으로 알려진 실제 측정 값

사용합니다

p

$p$ . 두 번째는 그렇지 않습니다.

— 추기경

전자는 시간에 따른 엔트로피의 축적과 그것이 시스템의 실제 엔트로피와 어떻게 비교되는지에 관한 것이다. SLLN과 CLT는 동작 방식에 대해 많은 것을 알려줍니다. 두 번째는 데이터에서 엔트로피를 추정 하는 것과 관련 이 있으며 그 특성 중 일부는 방금 언급 한 동일한 두 도구를 통해 얻을 수 있습니다. 그러나 첫 번째는 편견이 없지만 두 번째는

아래에 있지 않습니다

p

$p$ . 도움이 될 경우 세부 정보를 작성할 수 있습니다.

— 추기경

@cardinal : 위의 설명을 답변으로 제공한다면 (SLLN과 CLT가 무엇인지 설명 할 수 있습니까?-나는 이것들을 모르겠습니다) 나는 기꺼이지지 할 것입니다 ...

— blubb

좋아, 나중에 더 게시하려고합니다. 그 동안 SLLN = "큰 숫자의 강력한 법칙"및 CLT = "중앙 한계 정리". 이것들은 당신이 다시 만날 가능성이 매우 높은 표준 약어입니다. 건배. :)

— 추기경

답변:

데이터가 , 즉 샘플 공간 의 시퀀스 인 경우 경험적 포인트 확률은 에 대한 . 여기서 는 이면 1 이고 그렇지 않으면 0입니다. 즉, 는 관측 된 시퀀스에서 의 상대 주파수입니다 . 경험적 점 확률에 의해 주어진 확률 분포 의 엔트로피 는 $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$

\hat{p} (x) = \frac{1}{n} | {i ∣ x_{i} = x} | = \frac{1}{n} \sum_{i = 1}^{n} δ_{x} (x_{i})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

H (\hat{p}) = - \sum_{x \in X} \hat{p} (x) \log \hat{p} (x) = - \sum_{x \in X} \frac{1}{n} \sum_{i = 1}^{n} δ_{x} (x_{i}) \log \hat{p} (x) = - \frac{1}{n} \sum_{i = 1}^{n} \log \hat{p} (x_{i}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$ 후자의 아이덴티티는 두 합계를 교환하고 이로부터 우리가 보는 것을 와 이며 질문의 용어를 사용하면 경험적 확률 분포 의 경험적 엔트로피입니다 . 주석에서 @cardinal이 지적했듯이

\sum_{x \in X} δ_{x} (x_{i}) \log \hat{p} (x) = \log \hat{p} (x_{i}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

H (\hat{p}) = - \frac{1}{n} \log \hat{p} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$ 는 점 확률 가진 주어진 확률 분포의 경험적 엔트로피입니다 .

p

$p$

— NRH
소스

(+1) 이것은 커버와 토마스가 엔트로피의 "이상한 자기 참조 적 특성"이라고 언급 한 것을 잘 보여줍니다. 그러나 나는 그 대답이 실제로 OP의 명백한 관심사를 (직접적으로) 다루고 있는지 확신하지 못한다. :)

— 추기경

@ cardinal, 나는 알고 있으며, 대답은이 특별한 지적을하기위한 긴 의견 일뿐입니다. 나는 당신의 요점을 반복하고 싶지 않았습니다.

— NRH

내 의견이나 다른 사람들의 의견 확대를 포함하여 자신의 답변을 게시하는 것이 나쁘거나 주저해서는 안됩니다. 나는 답변을 게시하는 데 특히 느리고 나쁘고, 당신이나 다른 사람들이 내가 이전에 간략하게 언급 한 것들의 측면을 포함하는 답변을 게시하는 경우 결코 화를 내지 않을 것입니다. 실제로는 그 반대입니다. 건배.

— 추기경

엔트로피는 확률 분포에 대해 정의됩니다. 데이터가없고 데이터 만 있고 확률 분포의 순진한 추정기를 연결하면 경험적 엔트로피가 발생합니다. 이것은 다른 답변에서 볼 수 있듯이 이산 (다항식) 분포에 가장 쉽지만 비닝 등으로 다른 분포에 대해서도 수행 할 수 있습니다.

경험적 엔트로피의 문제점은 작은 샘플에 대해 편향된다는 것입니다. 확률 분포의 순진한 추정치는 샘플링 노이즈로 인한 추가 변동을 보여줍니다. 물론 다항식 매개 변수에 적합한 사전과 같은 더 나은 추정기를 사용할 수 있지만 실제로 편향을 얻는 것은 쉽지 않습니다.

위의 조건부 분포에도 적용됩니다. 또한 모든 것이 비닝 (또는 커널 화)과 관련이 있으므로 실제로 일종의 차동 엔트로피가 있습니다.

— scellus
소스

여기서 우리는 경험적 엔트로피 라고하는 것에주의해야합니다 . 샘플 크기가 증가함에 따라 바이어스가 감소하지만 플러그인 추정기는 모든 샘플 크기에 대해 항상 바이어스가 낮습니다. 그것은 단지 아니다 어려운 엔트로피에 대한 불편 추정량을 얻을 아니라 불가능 일반적인 경우이다. 지난 몇 년간이 분야, 특히 신경 과학 문헌에서 상당히 집중적 인 연구가 이루어졌습니다. 실제로 많은 부정적인 결과가 존재합니다.

— 추기경