표본 크기가 증가함에 따라 신뢰 구간이 개선되지 않는 설정은 무엇입니까?

A의 블로그 게시물 , 나는 주장 것을 발견했다

"WG Cochrane은 관측 설정에서 신뢰 구간이 크면 작은 샘플 크기로 인해 거의 0에 가까운 커버리지를 제공하는 충분히 큰 샘플로 더 나은 범위를 커버 할 수있는 첫 번째 지적 (대략 1970 년대)을 믿습니다!"

이제 샘플 크기가 증가함에 따라 CI 너비가 0에 가까워 야한다고 가정하지만 적용 범위가 동시에 악화 될 것이라는 생각은 설득력이 없습니다. 이 주장은 사실이며 어떤 상황에서 이루어 집니까? 아니면 내가 잘못 읽고 있습니까?

10000에서 1000000까지의 표본 크기 (1 표본 t- 검정, 95 % CI)로 임의의 정규 분포 데이터를 사용하여 시뮬레이션을 실행했으며 모든 표본 크기에서 1000 회 실행했으며 더 높은 표본 크기에 대해서는 적용 범위가 더 나 빠지지 않았습니다. (대신, 나는 ~ 5 % 오류율에 가까운 것으로 예상되었습니다).

"관찰 환경에서"자격에 유의하십시오.

당신이 인용 한 문맥 (주석의 의견의 하위 스레드)을 확인하면, 의도는 시뮬레이션이 아닌 "실제 세계에있는"것처럼 보이며 아마도 통제 된 실험을 포함하지 않을 것입니다. 이 경우, 의도는 구간이 도출되는 가정이 실제로는 유효하지 않다는 사실의 결과입니다. 바이어스에 영향을 줄 수있는 많은 것들이 있는데, 이는 작은 샘플의 가변성과 비교할 때 작은 영향을 미치지 만 일반적으로 샘플 크기가 증가함에 따라 크기가 줄어들지 않지만 표준 오차는 줄어 듭니다.

계산에 바이어스가 포함되어 있지 않기 때문에 간격이 줄어들면 ( ), 변동이 크지 않은 바이어스는 아주 작은 직조기가 더 크더라도 간격이 실제 값을 포함 할 가능성이 줄어 듭니다.$1/\sqrt n$

다음은 샘플 크기가 증가함에 따라 CI 범위 확률 축소에 대한 내 생각을 나타내는 바이어스를 과장하는 그림입니다.

물론 특정 샘플에서 간격은 임의적입니다. 다이어그램에 비해 넓거나 좁아지고 왼쪽 또는 오른쪽으로 이동하므로 모든 샘플 크기에서 0과 1 사이의 적용 범위 확률이 있지만 바이어스의 양은 얼마입니까 증가함에 따라 0으로 줄어 듭니다 . 다음은 시뮬레이션 된 데이터를 사용하여 각 표본 크기마다 100 개의 신뢰 구간이있는 예입니다 (투명도로 표시됨).$n$

달콤한 아이러니. 그 단락 이전에, 같은 사람은 "이처럼 광범위한 혼란이있는 것은 당연합니다."라고 말합니다. "관측 환경에서의 신뢰 구간": 그 의미는 무엇입니까?

이것은 다시 한번 추정 과 가설 검정 의 혼동 인 것으로 보인다 .

이제 샘플 크기가 증가함에 따라 CI 너비가 1에 가까워 져야한다는 것을 알고 있습니다.

아니요, 상황에 따라 다릅니다. 원칙적으로 너비는 수렴되어야합니다 . 적용 범위는 다수의 Monte Carlo 시뮬레이션에서 공칭 값에 가까워 야합니다. CI를 구성한 일부 가정에 결함이있는 경우를 제외하고 (범위는 OP가 의미하는 것입니다. "모든 모델이 잘못되었습니다.") 커버리지는 샘플 크기에 의존하지 않습니다.$0$

참조는 개인 블로그 게시물의 주석입니다 . 나는 이런 종류의 참조의 유효성에 대해 너무 걱정하지 않을 것입니다. Larry Wasserman이 소유 한 블로그는 다른 한편으로는 잘 작성되는 경향이 있습니다. 이것은 xkcd 만화를 생각 나게했습니다.

http://xkcd.com/386/