이항의 피셔 정보가

12

이항 분포가 비례하는 분산을 가지고 있다는 것을 혼동 / 불쾌하게합니다 . 마찬가지로 Fisher 정보는 비례합니다. $p(1-p)$ . 그 이유는 무엇입니까? 피셔 정보가최소화되는 이유는 무엇입니까? 즉,에서 추론이 가장 어려운 이유는무엇입니까? $\frac{1}{p(1-p)}$ $p=0.5$ $p=0.5$

문맥:

저는 표본 크기 계산기를 만들고 있는데, 필요한 표본 크기 인 대한 공식 은 도출의 분산 추정 결과 인 의 증가 인자입니다 . $N$ $p(1-p)$

variance binomial interpretation

— 캠 데이비슨 필론
소스

3

모수

를 갖는 베르누이 랜덤 변수 의 분산 은

이고

독립 베르누이 랜덤 변수 의 합인 이항 랜덤 변수 는 분산

가지며 , 이는

의 합입니다 차이. 왜

와 관련하여 , 질량 질량

에 대한 관성 모멘트

와

에서

로 분산을 고려하십시오.

p

$p$

p (1 - p)

$p(1-p)$

N

$N$

N p (1 - p)

$Np(1-p)$

N

$N$

p (1 - p)

$p(1-p)$

p

$p$

1 - p

$1-p$

1

$1$ 및

.

0

$0$

— Dilip Sarwate

예, 나는

비례 하여

무시 한다고 말했습니다 . 두 번째 부분을 자세히 설명해 주시면 흥미로운 관점처럼 보입니다.

p (1 - p)

$p(1-p)$

N

$N$

— Cam.Davidson.Pilon

13

$p = 0.5$ $p$ $0.99$ $p = 0.01$ $X \sim \text{Bernoulli}(p)$ $1$ $0$ $0$ $1$

— 옥람
소스

$p=0.5$

p = 0.5

$p=0.5$

3

매우 직관적 인 방법으로 다시 말하면 변형이 많을수록 더 많은 정보가 필요합니다.

— ocram

9

$p$ $\hat p$ $p$ $p$

그래도 분산 용어를 살펴보면 직감이 더 쉽다고 생각합니다.

$p$ $p$

$\text{Var}(\hat p) = p(1-p)/n$ $n$ $p$ $p$

$y$ 여기에 이미지 설명을 입력하십시오

해당 확률 함수 : 여기에 이미지 설명을 입력하십시오

각각의 경우 평균을 표시하는 선에주의하십시오. 평균선이 장벽에 더 '중단'되면 평균 이하의 지점은 아래의 작은 길을 얻을 수 있습니다.

$p = \frac{1}{2}$

여기에 이미지 설명을 입력하십시오

$\hat p$ $p$

[이 직관의 형태는 왜 정확한 기능적 형태를 취해야하는지 알려주지 않지만, 왜 끝이 가까워지면서 분산이 작아야하는지 명확하게 해줍니다.]

— Glen_b-복귀 모니카
소스

결과적으로 평균 이상의 포인트는 일반적으로 평균보다 너무 높아질 수 없습니다 (그렇지 않으면 평균이 이동하기 때문에!). p = 12 근처에서 엔드 포인트는 실제로 같은 방식으로 "밀어 내지"않습니다. 너무 완벽합니다. 이것은 훌륭한 설명입니다.

— Cam.Davidson.Pilon

7

Fisher 정보는 점수 함수의 분산입니다. 그리고 그것은 엔트로피와 관련이 있습니다. 베르누이 (Beroulli) 시험의 경우, 각 시험마다 1 비트 씩 제공됩니다. 따라서 Fisher 정보는 Shannon Entropy와 비슷한 속성을 갖습니다. 특히 엔트로피는 최대 1/2이고 정보는 최소 1/2입니다.

— 제임스
소스

아, 또 다른 위대한 관점. 나는 엔트로피 관점에서 이것에 대해 생각하지 못했습니다!

— Cam.Davidson.Pilon