알려진 평균 절대 편차에 대한 최대 엔트로피가있는 분포는 무엇입니까?

평균 절대 편차와 같은 다른 메트릭과 달리 표준 편차의 사용에 대한 해커 뉴스 토론을 읽고있었습니다 . 따라서 최대 엔트로피의 원리를 따르면 분포의 평균과 평균 절대 편차 만 알고 있다면 어떤 종류의 분포를 사용합니까?

아니면 중앙값과 중앙값의 평균 절대 편차를 사용하는 것이 더 합리적입니까?

Grechuk, Molyboha 및 Zabarankin의 일반 편차 측정법 을 사용한 최대 엔트로피 원리 라는 논문을 찾았 습니다.

이 현명한 신사, Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001). Laplace 배포 및 일반화 : 커뮤니케이션, 경제, 엔지니어링 및 재무에 대한 응용 프로그램을 통한 재 방문 (No. 183). 봄 병아리.

운동으로 우리에게 도전하십시오 :

증명은 주어진 평균과 분산에 대해 법선이 최대 엔트로피라는 정보 이론적 증거를 따를 수 있습니다. 구체적으로, 상기 라플라스 밀도로하고, 다른 밀도로 두되, 평균 및 평균 절대 편차는 동일합니다. 이것은 다음과 같은 평등을 의미합니다.$f(x)$$g(x)$

$$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$$ 이제 두 밀도 의 Kullback-Leibler Divergence 를 고려하십시오 .

$$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$$

첫 번째 적분은 의 (차동) 엔트로피의 음수입니다 . 표시하십시오 . 두 번째 적분은 (명백하게 Laplacian pdf 작성)$g$$-h(g)$

$$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$$ $$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$$ 첫 번째 적분은 단위에 적분하고 eq도 사용합니다. 우리는 얻는다$[1]$

$$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$$ 그러나 이것은 라플라시안의 차분 엔트로피의 음수입니다 . 표시하십시오 .$-h(f)$

이 결과를 eq.에 삽입 우리는 가짐 는 임의적 이기 때문에 Laplacian의 밀도는 위의 처방으로 모든 분포에서 최대 엔트로피입니다.$[2]$

$$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$$ $g$