가설 검정 및 총 변동 거리 대 Kullback-Leibler 발산

내 연구에서 나는 다음과 같은 일반적인 문제를 습니다. 동일한 도메인에 대해 두 개의 분포 $P$ 와 $Q$ 가 있고 그 분포에서 많은 (그러나 유한 한) 샘플 수가 있습니다. 표본은이 두 분포 중 하나에서 독립적으로 동일하게 분포됩니다 (분포는 관련 될 수 있지만, 예를 들어 $Q$ 는 $P$ 와 다른 분포 의 혼합 일 수 있음 ). 귀무 가설은 표본이 $P$ 에서 나온다는 것 입니다. 샘플은 에서 나옵니다 $Q$ .

분포 $P$ 및 알고 샘플을 테스트 할 때 유형 I 및 유형 II 오류를 특성화하려고합니다 $Q$ . 특히, 나는 $P$ 와 대한 지식 외에도 하나의 오류를 다른 오류에 묶는 데 관심이 $Q$ 있습니다.

내가 질문 한 질문 의 관계에 관한 math.SE에 전체 변동 거리 사이의 $P$ 와 $Q$ 가설 검증에를, 내가 수락한다는 답변을 받았다. 그 대답은 의미가 있지만, 여전히 내 문제와 관련하여 Total Variation distance와 가설 검정의 관계에 대한 더 깊은 의미를 내 마음에 감쌀 수 없었습니다. 그래서 저는이 포럼으로 돌아 가기로 결정했습니다.

내 첫 번째 질문은 : 사용 하는 가설 검정 방법과 무관하게 유형 I 및 유형 II 오류의 총합에 대한 총 변동이 있습니까? 본질적으로, 분포 중 하나에 의해 표본이 생성 될 가능성이 0이 아닌 확률이있는 한, 적어도 하나의 오차의 확률은 0이 아니어야합니다. 기본적으로 신호 처리량에 관계없이 가설 테스터가 실수 할 가능성을 피할 수 없습니다. 그리고 Total Variation은 정확한 가능성을 제시합니다. 내 이해가 정확합니까?

타입 I과 II 에러와 기본 확률 분포 $P$ 와 사이에 또 다른 관계가 있습니다 $Q$ : KL 분기 . 따라서 두 번째 질문은 KL- 분산이 하나의 특정 가설 검정 방법에만 적용되거나 (로그 우도 비율 방법을 많이 사용하는 것 같습니다) 일반적으로 모든 가설 검정 방법에 적용 할 수 있습니까? 모든 가설 검정 방법에 적용 할 수있는 경우 왜 전체 변형 한계와 크게 다른 것처럼 보입니까? 다르게 동작합니까?

그리고 내 근본적인 질문은 : 바운드를 사용해야 할 때 정해진 환경이 있습니까, 아니면 순전히 편의상의 문제입니까? 하나의 바운드를 사용하여 파생 된 결과는 언제 다른 것을 사용하여 도출해야합니까?

이 질문이 사소한 경우 사과드립니다. 나는 컴퓨터 과학자입니다 (그래서 이것은 저에게 멋진 패턴 매칭 문제처럼 보입니다 :).) 나는 정보 이론을 합리적으로 잘 알고 있으며 확률 이론에서도 대학원 배경을 가지고 있습니다. 그러나, 나는이 모든 가설 테스트 자료를 배우기 시작했습니다. 필요한 경우 질문을 명확히하기 위해 최선을 다하겠습니다.

— MBM
소스

답변:

문헌 : 당신이 필요로하는 대부분의 대답은 확실히 리먼과 로마노 의 저서에 있습니다. 잉스터 (Ingster)와 술 리나 (Suslina) 의 책 은보다 고급 주제를 다루며 추가 답변을 줄 수 있습니다.

답 : 그러나 일이 매우 간단합니다. (또는 )은 사용될 "참된"거리입니다. 공식적인 계산 (특히 제품 측정의 경우, 즉 크기 의 iid 샘플이있는 경우)에는 편리하지 않으며 다른 거리 ( 의 상한 )를 사용할 수 있습니다. 세부 사항을 알려 드리겠습니다. $L_1$ $TV$ $n$ $L_1$

개발 :로 표시 하자

타입 I 오차 최소 타입 II 오류 대 과 널 및 대안. $g_1(\alpha_0,P_1,P_0)$ $\leq\alpha_0$ $P_0$ $P_1$
는 및 을 갖는 최소 가능한 유형 I + 유형 II 오류의 합과널을 대체합니다. $g_2(t,P_1,P_0)$ $t$ $(1-t)$ $P_0$ $P_1$

분석해야 할 최소한의 오류입니다. 등식 (하한이 아님)은 아래의 정리 1로 표시됩니다 ( 거리 (또는 원하는 경우 TV 거리)로 표시). 거리와 다른 거리 사이의 불평등은 정리 2에 의해 제공됩니다 (오차를 하한하려면 또는 의 상한이 필요합니다 ). $L_1$ $L_1$ $L_1$ $TV$

은 종종 Hellinger, Kullback 또는 보다 계산하기가 어렵 기 때문에 어느 쪽이 사용되어야 하는가 편리합니다 . 때 이러한 차이의 주된 예로 나타나는 과 생성물 대책이다 원하는 경우 테스트를하는 경우에 발생하는 대 크기로 IID 샘플 . 이 경우 $L_1$ $\chi^2$ $P_1$ $P_0$ $P_i=p_i^{\otimes n}$ $i=0,1$ $p_1$ $p_0$ $n$ 및 기타는 ( 및 와동일 에서 쉽게 얻을수 있지만 는 그렇게 할 수 없습니다... $h(P_1,P_0)$ $h(p_1,p_0)$ $KL$ $\chi^2$ $L_1$

$A_1(\nu_1,\nu_0)$ $\nu_1$ $\nu_2$

A_{1} (ν_{1}, ν_{0}) = \int min (d ν_{1}, d ν_{0})

$A_1(\nu_1,\nu_0)=\int \min(d\nu_1,d\nu_0)$

정리 1 만약(TV 거리의 절반) $|\nu_1-\nu_0|_1=\int|d\nu_1-d\nu_0|$

$2A_1(\nu_1,\nu_0)=\int (\nu_1+\nu_0)-|\nu_1-\nu_0|_1$ .
$g_1(\alpha_0,P_1,P_0)=\sup_{t\in [0,1/\alpha_0]} \left ( A_1(P_1,tP_0)-t\alpha_0 \right )$
$g_2(t,P_1,P_0)=A_1(t P_0,(1-t)P_1)$

나는 여기 에 증거를 썼습니다 .

정리 2 용 및 확률 분포 : $P_1$ $P_0$

\frac{1}{2} | P_{1} - P_{0} |_{1} \leq h (P_{1}, P_{0}) \leq \sqrt{K (P_{1}, P_{0})} \leq \sqrt{χ^{2} (P_{1}, P_{0})}

$\frac{1}{2}|P_1-P_0|_1\leq h(P_1,P_0)\leq \sqrt{K(P_1,P_0)} \leq \sqrt{\chi^2(P_1,P_0)}$

이러한 경계는 몇 가지 잘 알려진 통계 학자 (LeCam, Pinsker 등) 때문입니다. 는 Hellinger 거리, KL 분기 및 카이 제곱 분기 입니다. 그것들은 모두 여기에 정의되어 있습니다 . 이 경계의 증거가 주어집니다 ( Tsybacov 책에서 더 찾을 수 있습니다 ). Hellinger에 의한 하한 인 ... $h$ $K$ $\chi^2$ $L_1$

— 로빈 지라드
소스

답변 주셔서 감사합니다, 나는 지금 그것을 소화하려고합니다. 내 문제에서 나는 타입 I 오류를 허용했다. 또한 두 개의 분포 과 있습니다. 나는 그들 사이의 TV와 KL을 알고 있습니다. 당신이 말하는 것은 TV가 KL보다 Type II 오류에 대해 더 엄격한 하한을 제공한다는 것입니다. 즉, 가능한 한 하한을 원한다면 분석에 TV를 사용해야한다는 의미입니까?

P_{0}

$P_0$

P_{1}

$P_1$

— MBM

그리고 Lehmann과 Romano의 책 제안에 감사드립니다. 그것은 매우 도움이되고 내 머리 위로 그리 많지 않습니다. 또한 내 도서관은 사본을 소유하고 있습니다! :)

— MBM

@Bullmoose Theorem 1이 여기서 말하는 것은 TV (또는 L1)가 g_2 또는 g_1 (제어 유형 I의 최소 합계 또는 유형 II 오류의 최소 합)과 관련된 과 동등 하다는 것입니다. 여기에는 불평등이 없습니다. L1에서 Kullback으로 가야 할 때 불평등이옵니다.

A_{1}

$A_1$

— 로빈 지라드

불행히도, 나는 측정 이론에서 최소한의 배경을 가지고 있습니다. 나는 과 가 무엇인지 이해 하지만 대해서는 명확하지 않습니다 . 두 개의 가우스 분포가 있다고 가정 해보십시오. 그들 사이의 TV (또는 L1)는 그러나 은 무엇입니까? 정의상 ...

g_{1}

$g_1$

g_{2}

$g_2$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} | \frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}} - \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}} | d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\left|\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1}-\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right|dx$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} min (\frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}}, \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}}) d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\min\left(\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1},\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right)dx$

— MBM

...하지만 는 정리의 첫 번째 글 머리표에서 어떻게 이것을 매핑합니까?

\int (ν_{1} + ν_{2})

$\int (\nu_1+\nu_2)$

— MBM

첫 번째 질문에 대한 답변 : 예. 총 편차 거리에서 1을 뺀 값은 Type I + Type II 오류율의 합의 하한입니다. 이 하한은 선택한 가설 검정 알고리즘에 관계없이 적용됩니다.

정당성 당신이 Math.SE에있어 대답은 이 사실의 표준 증명을 제공합니다. 가설 검정을 수정하십시오. 하자 이 테스트는 귀무 가설 (예 : 세트는 항상 존재해야합니다)를 거부하는 결과 세트를 나타낸다. 그런 다음 Math.SE 답변의 계산은 하한을 증명합니다. $A$

엄밀히 말하면,이 추론은 가설 검정이 결정 론적 절차라고 가정하지만 무작위 절차를 고려하더라도 동일한 경계가 여전히 적용됨을 보여줄 수 있습니다.

— DW
소스