다른 종류의 엔트로피에 대한 좋은 소개

18

Sample Entropy 및 Shannon Entropy와 같은 다른 종류의 엔트로피와 그 장단점을 설명하는 서적 또는 온라인 리소스를 찾고 있습니다. 누군가 올바른 방향으로 나를 가리킬 수 있습니까?

references entropy

— 신자
소스

9

Cover and Thomas의 저서 Elements of Information Theory 는 엔트로피와 그 응용에 대한 훌륭한 소스입니다.

— 마크 메케 스
소스

4

또한 Dembo Cover와 Thomas의 "정보 이론적 불평등"이라는 논문은 많은 깊은 측면을 보여줍니다

— Robin

1

그러나 그 책들 중 어느 것도 엔트로피가 두 개 이상 있다고 주장하는 책은 없습니다.

5

이 강의 노트 존슨에 의해 정보 이론의 엔트로피의 다른 종류에 좋은 소개가 포함되어 있습니다.

— 알렉
소스

4

엔트로피와 관련된 수학적 통계에 관심이 있다면이 책을 참조하십시오.

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

그것은 자유롭게 사용할 수 있습니다!

— 로빈 지라드
소스

2

엔트로피는 하나의 개념으로, 어떤 시스템을 설명하는 데 필요한 정보의 양입니다. 일반화는 많이 있습니다. 샘플 엔트로피는 심박수 분석에 사용되는 엔트로피와 유사한 설명 자일뿐입니다.

그러나 샘플 엔트로피 또는 섀넌 엔트로피 또는 다른 종류의 엔트로피를 사용하여 작업중 인 데이터에 적합한 지 여부를 결정하는 데 도움이되지 않습니다.

— Christian

2

내 게시물에 쓴 것은 특정 유형의 데이터 / 프로세스 / 시스템에 대해 하나의 진정한 엔트로피 정의 만 있다는 것입니다 . 샘플 엔트로피는 엔트로피 측정 값 이 아니며 혼동되는 이름의 통계 일뿐입니다. 엔트로피를 계산할 데이터를 정의하고 수식을 얻을 수있는 위치에 질문하십시오.

나는 진실에 관심이 없지만 작동하는 기능을 얻는 데 관심 이 있습니다. 나는 생물 정보 학자이며 교의 적 진실 을 찾지 말고 작동하는 통계를 찾 도록 가르쳤다 . 엔트로피가 가장 잘 작동하는 특정 정보로 작업하려는 작업이 없다고 생각합니다. 그것이 내가 데이터로 작업하고 싶은 이유입니다.

— Christian

2

Right, but this is not a discussion about dogmatic truths but about words. You have asked about entropy, so I answered about entropy. Because now I see that you indeed need an answer about time series descriptors, write a question about time series descriptors, only then you'll get an useful answer.

2

Jaynes shows how to derive Shannon's entropy from basic principles in his book.

One idea is that if you approximate $n!$ by $n^n$ , entropy is the rewriting of the following quantity

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

The quantity inside the log is the number of different length n observation sequences over $d$ outcomes that are matched by distribution $p$ , so it's a kind of a measure of explanatory power of the distribution.

— Yaroslav Bulatov
소스

1

n^{n}

$n^n$ is such a crude approximation of

n!

$n!$ that one would be excused for doubting this approach. However, Stirling's (asymptotic) approximation

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$ also leads to the desired result, at least for large

n

$n$ , because

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$ .

— whuber

2

Grünwald and Dawid's paper Game theory, maximum entropy, minimum discrepancy and robust Bayesian decision theory discuss generalisations of the traditional notion of entropy. Given a loss, its associated entropy function is the mapping from a distribution to the minimal achievable expected loss for that distribution. The usual entropy function is the generalised entropy associated with the log loss. Other choices of losses yield different entropy such as the Rényi entropy.

— Mark Reid
소스

1

So then, sigma is the entropy of N(0,sigma) corresponding to squared error, and min(p,1-p) is the entropy of Bernoulli(p) corresponding to 0,1 prediction loss? Seems like quite a generalization!

— Yaroslav Bulatov

Yes. The entropy for square loss is constant and the entropy for 0-1 loss is min(p,1-p). What's also interesting is that these have strong correspondences to divergences too. The square loss to the Hellinger divergence and 0-1 loss to variational divergence. Since entropies defined like this they are necessarily concave functions and it turns out the f-divergence built using f(p) = -entropy(p). Bob Williamson and I have explored some of this in our paper: arxiv.org/abs/0901.0356 . It's fun stuff.

— Mark Reid

1

Here's something interesting I found about divergences recently -- each step of Belief Propagation can be viewed as a Bregman Projection ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov