알려진 평균 절대 편차에 대한 최대 엔트로피가있는 분포는 무엇입니까?


10

평균 절대 편차와 같은 다른 메트릭과 달리 표준 편차의 사용에 대한 해커 뉴스 토론을 읽고있었습니다 . 따라서 최대 엔트로피의 원리를 따르면 분포의 평균과 평균 절대 편차 만 알고 있다면 어떤 종류의 분포를 사용합니까?

아니면 중앙값과 중앙값의 평균 절대 편차를 사용하는 것이 더 합리적입니까?

Grechuk, Molyboha 및 Zabarankin의 일반 편차 측정법 을 사용한 최대 엔트로피 원리 라는 논문을 찾았 습니다.


흥미로운 질문; Cross Validated에 오신 것을 환영합니다!
Nick Stauner

답변:


13

이 현명한 신사, Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001). Laplace 배포 및 일반화 : 커뮤니케이션, 경제, 엔지니어링 및 재무에 대한 응용 프로그램을 통한 재 방문 (No. 183). 봄 병아리.

운동으로 우리에게 도전하십시오 :

여기에 이미지 설명을 입력하십시오

증명은 주어진 평균과 분산에 대해 법선이 최대 엔트로피라는 정보 이론적 증거를 따를 수 있습니다. 구체적으로, 상기 라플라스 밀도로하고, 다른 밀도로 두되, 평균 및 평균 절대 편차는 동일합니다. 이것은 다음과 같은 평등을 의미합니다.f(x)g(x)

Eg(|Xc1|)=g(x)|xc1|dx=c2=f(x)|xc1|dx=Ef(|Xc1|)[1]
이제 두 밀도 의 Kullback-Leibler Divergence 를 고려하십시오 .

0DKL(g||f)=g(x)ln(g(x)f(x))dx=g(x)lng(x)dxg(x)lnf(x)dx[2]

첫 번째 적분은 의 (차동) 엔트로피의 음수입니다 . 표시하십시오 . 두 번째 적분은 (명백하게 Laplacian pdf 작성)gh(g)

g(x)ln[f(x)]dx=g(x)ln[12c2exp{1c2|xc1|}]dx
=ln[12c2]g(x)dx1c2g(x)|xc1|dx
첫 번째 적분은 단위에 적분하고 eq도 사용합니다. 우리는 얻는다[1]

g(x)ln[f(x)]dx=ln[2c2]1c2f(x)|xc1|dx=(ln[2c2]+1)
그러나 이것은 라플라시안의 차분 엔트로피의 음수입니다 . 표시하십시오 .h(f)

이 결과를 eq.에 삽입 우리는 가짐 는 임의적 이기 때문에 Laplacian의 밀도는 위의 처방으로 모든 분포에서 최대 엔트로피입니다.[2]

0D(g||f)=h(g)(h(f))h(g)h(f)
g

그런 간단한 배포판과 멋진 글씨도! 나는 0을 제외하고는 분포가 매끄러

감사. 때때로 "동일 함이 동일하다"-라플라스 분포는 절대 값을 포함하기 때문에 주요 용의자였습니다.
Alecos Papadopoulos
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.