주어진 평균 및 표준 편차의 양의 연속 변수에 대한 최대 엔트로피 확률 밀도 함수는 무엇입니까?

13

이란 무엇입니까 최대 엔트로피 분포 는 제 1 및 제 2 순간 주어진 양의 연속 변수?

예를 들어 가우스 분포는 평균 및 표준 편차를 고려할 때 제한되지 않은 변수의 최대 엔트로피 분포이고, 감마 분포는 평균 값과 로그의 평균 값을 고려한 양수 변수의 최대 엔트로피 분포입니다.

— 비콘
소스

13

여러분이 가리키는 바로 위키피디아 기사 에 있는 볼츠만의 정리를 간단히 사용할 수 있습니다 .

평균과 분산을 지정하는 것은 처음 두 원시 모멘트를 지정하는 것과 같습니다. 각각은 다른 것을 결정합니다 (실제로이 이론을 적용 할 수 있기 때문에 실제로이를 호출 할 필요는 없습니다).이 방법은 조금 더 간단합니다. ).

정리는 밀도가 다음과 같은 형식이어야 함을 확립합니다.

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

양의 실수 선을 가 제한되며 의 관계에 약간의 제한이 있다고 생각합니다 (원시 모멘트가 아닌 지정된 평균 및 분산에서 시작할 때 자동으로 충족 될 것입니다) ). $\lambda_2$ $\leq 0$ $\lambda$

놀랍게도 (이 대답을 시작할 때 예상하지 못했기 때문에) 이것은 잘린 정규 분포로 우리를 떠나는 것처럼 보입니다.

그것이 일어날 때, 나는이 정리를 전에 사용하지 않았다고 생각하므로, 내가 고려하지 않았거나 배제하지 않은 것에 대한 비판이나 도움이되는 제안은 환영받을 것입니다.

— Glen_b-복귀 모니카
소스

+1 감사합니다. 괜찮아 보인다. Wikipedia 기사를 읽을 때 볼츠만 정리가 모든 닫힌 간격에 적용된다는 사실을 놓친 것 같습니다. 에서 이동하는 변수에만 적용한다고 가정했습니다 .

- \infty

$-\infty$

\infty

$\infty$

— becko

어떤 이유로 균일 한 기본 측정 값과 결과로 잘린 정규 분포는 완전히 확신하지 못합니다. Fred Schoen이 강조한 것처럼 연속적인 경우 최대 (상대) 엔트로피를 찾으려면 기본 측정 또는 기준 확률 분포가 필요합니다. 문제가 되는 연속 변수 는 양수이므로 스케일 변수 일 수 있으며 비례하는 기본 측정 값 은 다양한 이유로 (예 : 그룹 불변; Jaynes의 책 또는 Jeffreys 참조) 권장됩니다.

x

$x$

1 / x

$1/x$

— pglpm

이 기본 척도를 사용하면 결과 분포는 비례 하지만 불행히도 정규화 할 수 없습니다 (이전에는 여전히 부적절한 것으로 사용할 수 있음) ). 문제가되는 변수의 긍정적 인 점을 감안할 때, 로그의 모멘트가 정보 매체와 최대 엔트로피 제약 조건으로 더 의미가 있는지 고려해 볼 가치가 있습니다. 그들은 감마와 같은 최대 엔트로피 분포로 이어질 것입니다.

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

— pglpm

7

@Glen_b의 답변을보다 명확하게하고 싶습니다. 댓글에 맞지 않기 때문에 추가 답변이 있습니다.

형식주의 등은 Jaynes의 책 11 장과 12 장에 잘 설명되어 있습니다. @Glen_b가 말했듯이 일반적인 솔루션은 기본 분포로 균일 분포를 취하는 가우스 제한되지 않은 변수 의 경우 제약 값 ( Wikipedia article의 으로 Lagrange multipliers 및 를 명시 적으로 풀 수 있습니다 . 함께 하면 다음 GET 표준 그래서 가우시안 .

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

경계 변수 경우 파티션 함수를 계산할 때 나타나는 오류 함수 용어 ( wikipedia의 ) 때문에 I (및 수학)는 더 이상 명시 적으로 풀 수 없습니다 . 이는 잘린 가우시안 의 및 매개 변수가 시작한 연속 변수의 평균 및 분산 이 아님 을 의미합니다. 심지어위한 일이 발생할 수 있습니다 , 가우스의 모드가 음! 물론 를 취하면 숫자가 모두 다시 동의합니다 . $x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

대한 구체적인 값이있는 경우 에도 숫자로 솔루션을 일반 방정식에 꽂으면 완료됩니다! 제한되지 않은 경우 의 값은 수치 솔버의 좋은 시작점이 될 수 있습니다. $a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

이 질문은 /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0 의 복제본입니다.

— 프레드 쇼엔
소스