분포 가설 검정-귀무 가설을 "수락"할 수없는 경우이를 수행하는 요점은 무엇입니까?

GOF 검정, Kolmogorov-Smirnov, Anderson-Darling 등과 같은 다양한 가설 검정은 다음 기본 형식을 따릅니다.$\chi^{2}$

$H_0$ : 데이터가 주어진 분포를 따릅니다.

$H_1$ : 데이터가 주어진 분포를 따르지 않습니다.

일반적으로, 주어진 데이터가 일부 주어진 분포를 따른다는 주장을 평가하고, 하면 데이터는 일부 수준 에서 주어진 분포에 적합하지 않습니다 .$H_0$$\alpha$

그러나 거부하지 않으면 어떻게 될까요? 저는 항상 "수락"할 수 없다는 것을 배웠 으므로 기본적으로 을 거부 할 증거는 없습니다 . 즉, 데이터가 주어진 분포를 따른다는 것을 거부한다는 증거는 없습니다.$H_0$$H_0$$H_0$

따라서 제 질문은 데이터가 주어진 분포를 따르는 지 여부를 결정할 수 없다면 그러한 테스트를 수행하는 요점은 무엇입니까?

광범위하게 말하면 (적합한 적합성 테스트뿐만 아니라 다른 많은 상황 에서도) 주어진 샘플 크기에서 널과 효과적으로 구별 할 수있는 대안이 있기 때문에 널이 참이라고 결론을 내릴 수 없습니다 .

표준 정규선 (녹색 실선)과 비슷한 모양 (90 % 표준 정규선, 10 % 표준화 된 베타 (2,2), 빨간색 점선으로 표시)이 있습니다.

빨간색은 정상이 아닙니다. 말에서 대신 빨간색 같은 비 정규 분포에서 무엇을한다면 - 우리가 데이터 주장 정규 분포에서 작성한 할 수 있도록, 우리는 차이를 안보의 작은 기회가?$n=100$

동일하지만 더 큰 매개 변수를 가진 표준화 된 베타의 작은 부분은 정상과 다른 것으로보기가 훨씬 더 어려울 것입니다.

그러나 실제 데이터가 거의 없음을 주어 결코 우리가 완벽한 신탁 (또는 효과적으로 무한 샘플 크기)이 있다면, 몇 가지 간단한 분배에서, 우리는 본질적 것입니다 항상 데이터가 몇 가지 간단한 분배 양식에서 있었다는 가설을 거부합니다.

으로 조지 상자는 유명 넣어 , " 모든 모델은 잘못이지만, 일부는 유용합니다. "

예를 들어, 정규성 테스트를 고려하십시오. 데이터가 실제로 정상에 가까운 것에서 온 것일 수도 있지만 정확히 정상일까요? 그들은 아마 없을 것입니다.

대신, 이러한 형태의 테스트로 기대할 수있는 최선은 설명하는 상황입니다. (참조, 예를 들어, 포스트는 정상이? 본질적으로 쓸모 테스트하고 있지만, 관련 사항을 여기에 다른 게시물의 숫자가 있습니다)

이것은 사람들이 실제로 관심있는 질문에 자주 제안하는 이유의 일부입니다 ( '분류 에 근거하여 적절한 추론을 할 수 있을 정도로 데이터가 충분히 가깝 습니까?'). 적합도 테스트에 의해 정답이 아닙니다. 정상의 경우, 종종 추론 절차는 그들이 (t-테스트, 회귀 분석 등)을 적용 할 큰 샘플에서 아주 잘 작동하는 경향이 - 원래의 분포가 매우 명확하게 비 정상적인 종종 경우에도 - 단지 때 선 (善) 적합 검정은 정규성을 기각 할 가능성이 매우 높습니다 . 질문이 중요하지 않은 경우에만 데이터가 정상적이지 않다는 것을 알려주는 절차가 거의 사용되지 않습니다.$F$

위의 이미지를 다시 고려하십시오. 적색 분포는 비정규이며, 표본이 매우 크면 표본을 바탕으로 정규성 검정을 기각 할 수 있습니다. 게다가)는 비정규성에 대해 조금이라도 걱정할 정도로 무의미하게 행동합니다.

비슷한 고려 사항은 다른 분포뿐만 아니라 더 많은 양의 가설 검정 (일반적으로 의 양측 검정 )까지 확대됩니다. - 하나는뿐만 아니라 질문의 같은 종류 요청할 수 있습니다 우리가 평균이 특정 값을 사용할지 여부를 결론 지을 수없는 경우 이러한 테스트를 수행하는 점은 무엇입니까?$\mu=\mu_0$

특정 형태의 편차를 지정하고 동등성 검정과 같은 것을 볼 수는 있지만, 분포가 가정 된 것과 비슷하지만 다른 방법으로 분포가 다양하기 때문에 적합도에 따라 까다로울 수 있습니다. 차이의 형태는 분석에 다른 영향을 미칠 수 있습니다. 대안이 널 (null)을 특수한 경우로 포함하는 더 넓은 제품군 인 경우 동등성 테스트가 더 의미가 있습니다 (예 : 감마에 대한 지수 테스트). 실제로 "두 개의 일방적 테스트"접근 방식이 수행되며 이는 "충분히 가깝게"공식화하는 방법이어야합니다 (또는 감마 모델이 참인 경우 일 수도 있지만 실제로는 일반적인 적합도 테스트에 의해 거부되는 것이 확실합니다.

적합도 검정 (및 더 광범위하게 가설 검정)은 실제로 제한된 범위의 상황에만 적합합니다. 사람들이 일반적으로 대답하고자하는 질문은 너무 정확하지는 않지만 다소 모호하고 대답하기가 더 어렵습니다. 그러나 John Tukey가 말했듯이 " 올바른 질문에 대한 정확한 답보다 모호한 올바른 질문에 대한 대략적인 대답이 훨씬 낫습니다. " 정확하게 만들 수있는 잘못된 질문입니다. "

더 모호한 질문에 대답하기위한 합리적인 접근법에는 사용 가능한 데이터와 합리적으로 일치하는 다른 상황에 비해 고려중인 가정에 대한 원하는 분석의 민감도를 평가하기위한 시뮬레이션 및 리샘플링 조사가 포함될 수 있습니다.

(또한 이것은 오염을 통한 견고성에 대한 접근 방식의 기초의 일부입니다. 본질적으로 Kolmogorov-Smirnov 의미에서 특정 거리 내에있을 때의 영향을 살펴봄으로써)$\varepsilon$

나는 @Glen_b의 대답을 두 번째로 일반적으로 "증거의 부재는 부재의 증거가 아니다"라는 문제가 가설 검정과 만든다고 덧붙였다.$P$-값이 생각보다 덜 유용합니다. 추정은 적합도 평가에서도 더 나은 접근 방법입니다. Kolmogorov-Smirnov 거리를 측정 값으로 사용할 수 있습니다. 오류의 여지없이 사용하기가 어렵습니다. 보수적 인 접근은 모델링을 안내하기 위해 KS 거리의 신뢰 상한을 취합니다. 이것은 (적절하게) 많은 불확실성을 초래할 것이며, 이는 처음에 강력한 방법을 선택하는 것이 바람직하다고 결론을 내릴 수 있습니다. 이를 염두에두고 원래의 목표로 돌아가서, 경험적 분포를 2 가지 가능한 파라 메트릭 형태와 비교할 때, 최종 적합 분포의 실제 분산은 경험적 누적 분포 함수보다 정밀성이 떨어집니다. 따라서 분포 선택을 주도 할 주제 이론이 없다면,

대부분의 사람들이 공유한다고 생각하는 가설 테스트는 위조 원리 의 확률 론적 적응입니다 .

만약 가설이 계속되고 그것을 위조하려는 진지한 시도에서 살아남는다면, 그것은 "가장 약한"것으로 입증되었고 잠정적으로 받아 들여질 수는 있지만, 결정적으로 확립 될 수는 없다.

따라서 을 거부 하지 않으면 이 참 임을 의미하지 않습니다 . 그것은 단지이다 추가 조사를 위해 살아있다.$H_0$$H_0$$H_0$

나는 이것이 학업과 실제 의사 결정의 차이점을 설명하기에 완벽한 예라고 생각합니다. 학업 환경 (현재있는 곳)에서는 다른 사람들이 합리적으로 간주하는 한 원하는 방식으로 논쟁 할 수 있습니다. 따라서 본질적으로 우리는 끝이없고 때로는 원형이며 Argy Bargy를 갖습니다. 그런 의미에서 이것은 사람들에게 작업 할 무언가를 제공합니다.

그러나 실제로 결정을 내릴 수있는 위치에 있다면, 그 대답은 확실합니다. 결정을 내리면 의사 결정자로서의 명성이 손상 될 수 있습니다. 물론 선택하는 것은 통계뿐만 아니라 도박과 신앙의 도약의 요소이기도합니다. 요약하면, 이런 종류의 연습은 의사 결정에 어느 정도 유용합니다. 그러나이 가설 검정에만 결정을 의존할지 여부는 완전히 다른 이야기입니다.

요점은 순수한 통계적 관점에서 볼 수 는 없지만 실제로는 허용 한다는 것입니다. 예를 들어 위험 가치 또는 이와 유사한 수단을 사용하여 포트폴리오의 위험을 추정하는 경우 포트폴리오 수익 배분이 매우 중요합니다. 위험은 분포의 꼬리에 의해 정의되기 때문입니다.

교과서의 경우 정규 분포가 예를 위해 종종 사용됩니다. 그러나 포트폴리오 수익률에 팻 테일이있는 경우 (정상적인 분포) 정규 분포 근사값이 위험을 과소 평가합니다. 따라서 반품을 조사하고 정규 근사를 사용할지 여부를 결정하는 것이 중요합니다. 이것은 반드시 통계 테스트를 실행하는 것을 의미하지는 않습니다. QQ- 플롯 또는 다른 수단 일 수 있습니다. 그러나 반품 및 반품 모델 분석을 기반으로 특정 시점에서 결정을 내려야하며 정상적인 사용 여부를 결정해야합니다.

따라서 모든 실질적인 목적으로 거부하지 않는 것은 비록 엄밀한 통계적 의미 는 아니지만 받아들이 는 것을 의미합니다. 당신은 당신의 규제, 감사 등으로 정상에 동의하고 매일 경영진에 표시됩니다 귀하의 계산에 사용하는거야 거부하지 가로하므로,이 경우는 지금까지 모든면에서 결과에 도달했다 또는 어리석은 통계적 결과보다 강력합니다.

법정에서 피고인은 무고합니다. 유죄이거나 (무고한 귀무 가설 거부) 무죄 (무죄 추정을 기각하지 않음)입니다.

증거의 부재는 부재의 증거가 아닙니다.

따라서 제 질문은 데이터가 주어진 분포를 따르는 지 여부를 결정할 수 없다면 그러한 테스트를 수행하는 요점은 무엇입니까?

비교할 대체 분포 (또는 분포 세트)를 염두에두면 유용한 도구가 될 수 있습니다.

나는 말할 것이다 : 나는 정규 분포가 될 수 있다고 생각되는 일련의 관찰을 가지고있다. (저도 만족 스러웠던 비슷한 특성의 관찰 결과가 정상 곡선을 따르는 것으로 나타났기 때문에 그렇게 생각합니다.) 또한 정규 곡선을 따르지 않고 일부 정규 비정규 곡선을 따르는 것으로 생각합니다. (정상 곡선을 따르지 않지만 예를 들어 비뚤어진 등의 데이터를 보았 기 때문일 수 있습니다.) 3 다음 줄을 따라 문의합니다. 정규 분포에서 나왔을 때 카이 제곱이 얼마나 자주 발생합니까? 결론은 "백에서 두 번만 아주 드물다"입니다. 그런 다음 진술하고 계산하지 않은 문의를하지만 다음과 같이 유효한 인수를 완료하는 데 절대적으로 필요하다고 생각합니다. 분포가 비정규 인 경우 카이 제곱 차이로 판단되는이 경험은 매우 자주 발생합니다. (비정규 곡선이 분포의 왜곡 된 특성을 가지고 있다고 상상하기 만하면됩니다.) 따라서 나는 경험있는 사건이 더 많은 대안 적 고려 가설 중 하나를 수용한다는 원칙에 대한 정규 가설을 기각합니다. 빈번한. 나는 귀무 가설의 기각이 대안을 기꺼이 받아 들일 의지에 대해서만 유효하다고 말한다 (이 대안은 모든 측면에서 정확하게 정의되지는 않는다). ) 그러므로 나는 경험있는 사건이 더 빈번하게 일어날 대안 적 고려 가설 중 하나에 동의한다는 원칙에 대한 일반적인 가설을 기각한다. 나는 귀무 가설의 기각이 대안을 기꺼이 받아 들일 의지에 대해서만 유효하다고 말한다 (이 대안은 모든 측면에서 정확하게 정의되지는 않는다). ) 그러므로 나는 경험있는 사건이 더 빈번하게 일어날 대안 적 고려 가설 중 하나에 동의한다는 원칙에 대한 일반적인 가설을 기각한다. 나는 귀무 가설의 기각이 대안을 기꺼이 받아 들일 의지에 대해서만 유효하다고 말한다 (이 대안은 모든 측면에서 정확하게 정의되지는 않는다).

이제 내가 묘사 한 추론은 내가 가장 일반적인 것으로 묘사 한 것과 달리 왜 내 결정이 세 번째와 네 번째 경우의 일상적인 결정과 다른지 설명 할 것이다.

세 번째 사례와 관련하여 카이 제곱 검정을 시도한 후 정규 성과의 차이가 없다는 가설에서 카이 제곱이 너무 큰 분포는 거의 발생하지 않을 것이라는 결론에 도달했습니다. 지금까지 우리는 두 번째 경우에이 시점에서와 정확히 같은 위치에 있습니다. 그러나 이제는 원래 공급이 정규 비정규 공급 일 경우이 경험이 발생할 가능성을 살펴 보겠습니다. 이 경험이 더 자주 발생합니까? 그렇게 말할 이유가 없습니다. 분포는 완벽하게 대칭입니다. 즉, 왜도는 0입니다 (평균의 각 측면에 정확히 50 %의 사례가 있음). 다른 등급에서 예상 빈도와의 차이에 대한 객관적인 조사 결과는 시스템이 아닌 것으로 나타났습니다. tematic, 즉 더하기 편차와 빼기 편차는 무작위 순서로 번갈아 나타납니다. 그러한 분포는 타당한 비정규 곡선에서 자주 예상되지 않습니다. 따라서 우리는 법선 곡선을 거부 할 이유가 없습니다.

내 견해로는 대안 가설을 기꺼이 받아들이려는 의지를 제외하고는 귀무 가설을 기각 할만한 정당한 이유가 전혀 없다는 것입니다.

카이-제곱 검정의 적용에서 발생하는 일부 해석의 어려움. 조셉 버크 슨. 미국 통계 협회 저널. Vol. 33, No. 203 (Sep., 1938), 526-536 쪽