Monte Carlo 샘플링을 통한 정보 엔트로피 추정

10

분포에서 샘플링하는 실용적인 방법이 Monte Carlo 방법 일 때 분포의 정보 엔트로피를 추정 할 수있는 방법을 찾고 있습니다.

저의 문제는 일반적으로 Metropolis-Hastings 샘플링의 입문 예제로 사용되는 표준 Ising 모델과 다릅니다. 나는 집합 대한 확률 분포를 가지고있다. 즉, 각각 에 대해 를 가진다 . 요소 Ising 상태와 같은 조합 적 성격을 지니고 있으며 그 수는 매우 많습니다. 이것은 실제로 컴퓨터 에서이 배포판에서 샘플링 할 때 동일한 샘플을 두 번 얻지 못함을 의미합니다. 는 정규화 계수를 모르기 때문에 직접 계산할 수 없지만 비율 $A$ $p(a)$ $a \in A$ $a \in A$ $p(a)$ 는 계산하기 쉽습니다. $p(a_1)/p(a_2)$

I는이 메일의 정보 엔트로피를 추정 할

S = - \sum_{a \in A} p (a) \ln p (a) .

$S = -\sum_{a \in A} p(a) \ln p(a).$

다르게는,이 분배 및 서브 세트로 제한하여 얻어지는 하나의 엔트로피 차이 추정 할 (물론 재 정규화를). $a\in A_1 \subset A$

monte-carlo random-sampling

— 찰스 웰스
소스

3

사용 가능한 정보가 무엇인지 이해하면 원하는 것이 불가능합니다. 사용 가능한 정보가 엔트로피를 결정하기에 충분하지 않습니다. 엔트로피를 근사화하기에는 충분하지 않습니다.

$p(\cdot)$ $p(a_1)/p(a_2)$ $a_1,a_2$

$2^{200}$ $2^{300}$ $p(a_1)/p(a_2)$ 항상 정확히 1이므로 비율은 두 분포를 구별하는 데 도움이되지 않습니다. 생일 역설로 인해 원하는만큼 샘플링 할 수는 있지만 동일한 확률로 두 번 (지수 적으로 작은 확률을 제외하고는 수명이 아닌) 결코 얻을 수 없으므로 샘플링에서 얻은 값은 다음과 같습니다. 임의의 포인트 및 유용한 정보가 포함되어 있지 않습니다.

$p(\cdot)$

— DW
소스

p (a)

$p(a)$

p (a) \propto \exp (θ E (a))

$p(a) \propto \exp(\theta E(a))$

E

$E$

a

$a$

θ

$\theta$

1

p (a)

$p(a)$

2

F = ⟨ E ⟩ - T S,

$F = \langle E \rangle - T S,$

⟨ E ⟩

$\langle E \rangle$

T

$T$

θ

$\theta$

p \propto e^{θ E}

$p \propto \mathrm{e}^{\theta E}$

S

$S$

$\Delta F$ $\Delta S$ $\Delta F$ $\Delta \langle E \rangle$ $A_1$ $A$ $E$ $A_1$

다음은 자유 에너지 계산 알고리즘에 대한 두 가지 추가 참조입니다.

Lelièvre, T., Rousset, M., & Stoltz, G. (2010). 무료 에너지 계산. 임페리얼 칼리지 프레스. http://doi.org/10.1142/9781848162488

Chipot, C., & Pohorille, A. (2007). 무료 에너지 계산. (C. Chipot & A. Pohorille, Eds.) (Vol. 86). 베를린, 하이델베르크 : Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9

— 후안 엠 벨로 리바
소스

자유 에너지 차이를 계산하기위한보다 실용적인 참고 자료를 제공 할 수 있습니까? 그 위키는 그리 멀지 않습니다

— Charles Wells

끝난. 두 개의 참조를 더 추가하고 위키의 사이드 바에있는 링크를 가리 켰습니다.

— Juan M. Bello-Rivas