단일 통계 검정은 귀무 가설 (H0)이 거짓이므로 대립 가설 (H1)이 참이라는 증거를 제공 할 수 있습니다. 그러나 H0을 기각하지 못한다고해서 H0이 참이라는 의미는 아니기 때문에 H0이 참임을 나타내는 데 사용할 수 없습니다.

그러나 서로 독립적 인 많은 데이터 집합이 있기 때문에 통계 테스트를 여러 번 수행 할 수 있다고 가정 해 봅시다. 모든 데이터 세트는 동일한 프로세스의 결과이며 프로세스 자체에 대해 일부 설명 (H0 / H1)을 작성하려고하며 각 단일 테스트의 결과에 관심이 없습니다. 그런 다음 모든 결과 p- 값을 수집하고 히스토그램 플롯을 통해 p- 값이 명확하게 균일하게 분포되어 있음을 알 수 있습니다.

내 추론은 H0이 참인 경우에만 발생할 수 있다는 것입니다. 그렇지 않으면 p- 값이 다르게 분포됩니다. 그러므로 이것이 H0가 사실이라는 결론을 내릴 수있는 충분한 증거입니까? 아니면 "필자는 H0이 참이라는 결론을 내릴 것"이라는 글을 쓰는 데 많은 의지가 필요했기 때문에 여기에 중요한 것이 빠져 있습니다.

나는 당신의 질문을 좋아하지만 불행히도 내 대답은 아니오입니다 증명하지 못합니다 . 이유는 매우 간단합니다. p- 값의 분포가 균일하다는 것을 어떻게 알 수 있습니까? 당신은 아마도 자신의 p- 값을 돌려 줄 균일성에 대한 테스트를 수행해야 할 것이며, 당신은 피하려고했던 것과 같은 종류의 추론 질문으로 끝날 것입니다. 원래 의 p- 값을 보는 대신 이제 원래 p- 값의 분포 균일성에 대해 다른 의 p- 값을 봅니다.$H_0$$H_0$$H'_0$

최신 정보

여기 데모가 있습니다. Gaussian 및 Poisson 분포에서 100 개의 관측치로 100 개의 표본을 생성 한 다음 각 표본의 정규성 검정에 대해 100 개의 p- 값을 얻습니다. 따라서 문제의 전제는 p- 값이 균일 분포에 의한 것이라면, 귀무 가설이 정확하다는 것을 증명하는데, 이는 통계적 추론에서 일반적인 "거부 실패"보다 더 강력한 진술입니다. 문제는 "p- 값은 균일하다"는 가설 자체이며, 어떻게 든 테스트해야한다는 것이다.

아래 그림 (첫 번째 행)에서 Guassian 및 Poisson 샘플에 대한 정규성 검정의 p- 값 히스토그램을 보여 주므로 하나가 다른 것보다 더 균일한지 말하기 어렵다는 것을 알 수 있습니다. 그것이 나의 요점이었다.

두 번째 행에는 각 분포의 표본 중 하나가 표시됩니다. 샘플은 상대적으로 작으므로 실제로 너무 많은 용지함을 가질 수 없습니다. 실제로,이 특정 가우시안 샘플은 히스토그램에서 그리 많은 가우시안으로 보이지 않습니다.

세 번째 행에서는 히스토그램의 각 분포에 대해 10,000 개의 관측치가 결합 된 표본을 보여줍니다. 여기에 더 많은 쓰레기통을 가질 수 있으며 모양이 더 분명합니다.

마지막으로 동일한 정규성 테스트를 실행하고 결합 된 샘플에 대해 p- 값을 가져 오며 포아송에 대한 정규성을 거부하고 가우시안에 대해서는 거부하지 않습니다. p- 값은 [0.45348631] [0.]입니다.

이것은 물론 증거는 아니지만 하위 샘플에서 p- 값의 분포를 분석하는 대신 결합 된 샘플에 대해 동일한 테스트를 더 잘 실행한다는 아이디어를 보여줍니다.

파이썬 코드는 다음과 같습니다.

import numpy as np
from scipy import stats
from matplotlib import pyplot as plt

def pvs(x):
    pn = x.shape[1]
    pvals = np.zeros(pn)
    for i in range(pn):
        pvals[i] = stats.jarque_bera(x[:,i])[1]
    return pvals

n = 100
pn = 100
mu, sigma = 1, 2
np.random.seed(0)
x = np.random.normal(mu, sigma, size=(n,pn))
x2 = np.random.poisson(15, size=(n,pn))
print(x[1,1])

pvals = pvs(x)
pvals2 = pvs(x2)

x_f = x.reshape((n*pn,1))
pvals_f = pvs(x_f)

x2_f = x2.reshape((n*pn,1))
pvals2_f = pvs(x2_f)
print(pvals_f,pvals2_f)

print(x_f.shape,x_f[:,0])


#print(pvals)
plt.figure(figsize=(9,9))
plt.subplot(3,2,1)
plt.hist(pvals)
plt.gca().set_title('True Normal')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,2)
plt.hist(pvals2)
plt.gca().set_title('Poisson')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,3)
plt.hist(x[:,0])
plt.gca().set_title('a small sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,4)
plt.hist(x2[:,0])
plt.gca().set_title('a small Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,5)
plt.hist(x_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,6)
plt.hist(x2_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.show()

일련의 실험은 훨씬 더 많은 데이터가 포함 된 단일 실험으로 볼 수 있으며 더 많은 데이터가 유리합니다 (예 : 일반적으로 표준 오류는 √로 감소합니다)$\sqrt{n}$독립 데이터의 경우 n이 증가합니다). 그러나 당신은 "이것은 ... HO가 사실이라는 결론을 내기에 충분한 증거입니까?"라고 묻습니다.

$H_0$$H_0$

데이비드 ume과 귀납 문제

$H_0$$H_0$

$\forall_{a \in A} \left[ a \in B \right]$

• 수세기 동안 유럽인이 관찰 한 모든 백조는 흰색이었습니다. 그런 다음 유럽인들은 호주를 발견하고 검은 백조를 보았습니다.

• 수세기 동안 뉴턴의 중력 법칙은 관찰에 동의했으며 올바른 것으로 생각되었습니다. 아인슈타인의 일반 상대성 이론에 의해 전복되었다.

$H_0$

앞으로의 방법에 대한 (불완전한) 목록 :

칼 포퍼와 위조

에서 칼 포퍼의 보기, 과학적인 법률 적 사실이 입증되지 않습니다. 우리는 아직 허위로 입증되지 않은 과학적 법률만을 가지고 있습니다.

포퍼는 가설을 추측하고 엄격한 조사를 받음으로써 과학이 발전한다고 주장했다. 그것은 귀납이 아닌 추론 (이론을 거짓으로 증명하는 관찰)을 통해 진행된다 (반복 된 관찰이 이론을 입증 함). 대부분의 잦은 통계는이 철학에 따라 구성되었습니다.

포퍼의 견해는 크게 영향을 미쳤지 만 쿤 과 다른 사람들이 주장했듯이 경험적으로 관찰 된 성공적인 과학의 실천과는 상당히 일치하지 않는다.

베이지안, 주관적 확률

$\theta$

$\theta$$\theta$$\theta$$P(\theta)$$P(\theta \mid X)$$\theta$$X$. 다양한 상황에서 행동하는 방식은 이러한 주관적 확률과 일치합니다.

이것은 자신의 주관적 신념을 모델링하는 논리적 방법이지만 현실과의 일치 측면에서 진정한 확률을 생성하는 마법의 방법은 아닙니다. 베이지안 해석에 대한 까다로운 질문은 이전의 출처는 어디입니까? 또한 모델이 잘못 지정되면 어떻게됩니까?

조지 P. 박스

George EP Box 의 유명한 격언은 "모든 모델이 허위이지만 일부는 유용합니다"라는 것입니다.

뉴턴의 법칙은 사실이 아니지만 많은 문제에 여전히 유용합니다. Box의 견해는 연구가 너무 강력하여 기본적으로 의미있는 제안을 거부 할 수있는 현대의 빅 데이터 환경에서 매우 중요합니다. 엄밀히 사실 대 거짓은 나쁜 질문입니다. 중요한 것은 모델이 데이터를 이해하는 데 도움이되는지 여부입니다.

추가 댓글

$\theta \approx 0$

여러 연구 결과를 통계적으로 분석하는 것도 관심 대상인 메타 분석 이라고 할 수 있습니다.

좁은 통계 해석을 뛰어 넘을 수있는 것은 어려운 문제입니다.

어떤 의미에서 당신은 몇 가지 작은 경고에 맞습니다 (p- 곡선 참조).

1. $p \leq \alpha$$\alpha$$H_0$
2. $H_0$$H_0$

현실적인 응용 프로그램을 사용하면 추가 문제가 발생하는 경향이 있습니다. 개인 / 실험실 / 연구 그룹은 일반적으로 필요한 모든 연구를 수행 할 수 없기 때문에 이러한 현상이 주로 발생합니다. 결과적으로 많은 그룹의 연구를 살펴 보는 경향이 있습니다.이 시점에서 당신은 부족한보고에 대한 관심을 증가 시켰습니다 (즉, 적어도 관련된 모든 실험을 직접 수행했다면 적어도 알고있을 것입니다). p- 해킹, 다중 테스트 / 여러 테스트 수정 등.

귀무 가설 (H0) : 중력은 우주의 모든 것을 지구 표면으로 떨어 뜨립니다.

대립 가설 (H1) : 아무것도 떨어지지 않습니다.

$p < 0.01$