통계 학습 이론에서 테스트 세트에 과적 합의 문제가 있습니까?

MNIST 데이터 세트 분류에 대한 문제점을 고려해 봅시다.

Yann LeCun의 MNIST 웹 페이지 에 따르면 'Ciresan et al.' Convolutional Neural Network를 사용하여 MNIST 테스트 세트에서 0.23 % 오류율을 얻었습니다.

MNIST 교육 세트를 , MNIST 테스트 세트를 , 을 로 사용하여 얻은 최종 가설 및 을 사용하여 MNIST 테스트 세트에 대한 오류율 을 입니다. $D_{train}$ $D_{test}$ $D_{train}$ $h_{1}$ $h_{1}$ $E_{test}(h_{1}) = 0.0023$

그들의 관점에서, $D_{test}$ 는 관계없이 입력 공간에서 무작위로 샘플링 된 테스트 세트 $h_{1}$ 이기 때문에 최종 가설 샘플 외부 오차 성능 $E_{out}(h_{1})$ 은 다음과 같습니다. Hoeffding의 불평등

P [| E_{o u t} (h_{1}) - E_{t e s t} (h_{1}) | < ϵ |] \geq 1 - 2 e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$
여기서

N_{t e s t} = | D_{t e s t} |

$N_{test}=|D_{test}|$ .

즉, 적어도 확률 $1-\delta$ ,

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$

다른 견해를 고려해 봅시다. 어떤 사람이 MNIST 테스트 세트를 잘 분류하려고한다고 가정하십시오. 그는 먼저 Yann LeCun의 MNIST 웹 페이지 를보고 8 명의 다른 모델을 사용하는 다른 사람들이 얻은 다음과 같은 결과를 찾았습니다.

MNIST 분류 결과

8 가지 모델 중 MNIST 테스트에서 가장 잘 수행 된 모델 $g$ 를 선택했습니다 .

그에게 학습 과정은 가설 세트 에서 테스트 세트 에서 가장 잘 수행 된 가설 $g$ 를 선택했습니다 . $D_{test}$ $H_{trained}=\{h_1, h_2, .. ,h_8\}$

따라서 테스트 세트 의 오류는이 학습 프로세스에서 '샘플 내'오류이므로 유한 가설 세트에 대한 VC 바운드를 다음과 같은 부등식으로 적용 할 수 있습니다. $E_{test}(g)$

피 [| {이자형}_{영형 유 티} (지) - {이자형}_{나는 엔} (지) | < ϵ] \geq 1 - 2 | H_{티 아르 자형 ㅏ 나는 엔 이자형 디} | {이자형}^{2 ϵ^{2} 엔_{티 이자형 에스 티}}

$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$

즉, 적어도 확률 , $1-\delta$

{이자형}_{영형 유 티} (지) \leq {이자형}_{티 이자형 에스 티} (지) + \sqrt{\frac{1}{2 엔_{티 이자형 에스 티}} 엘 엔 \frac{2 | H_{티 아르 자형 ㅏ 나는 엔 이자형 디} |}{δ}}

$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

이 결과는 모델이 여러 모델 중에서 가장 잘 수행되도록 선택하면 테스트 세트에 과적 합이있을 수 있음을 의미합니다.

이 경우, 가장 낮은 오류율 선택할 수 있습니다 . 이후 이 특정 테스트 세트에 8 개 모델 중 가장 가설 , 몇 가지 가능성이있을 수 MNIST 테스트 세트에 과다 적합 가설입니다. $h_{1}$ $E_{test}(h_{1}) = 0.0023$ $h_{1}$ $D_{test}$ $h_{1}$

따라서이 사람은 다음과 같은 불평등을 주장 할 수 있습니다.

{이자형}_{영형 유 티} (h_{1}) \leq {이자형}_{티 이자형 에스 티} (h_{1}) + \sqrt{\frac{1}{2 엔_{티 이자형 에스 티}} 엘 엔 \frac{2 | H_{티 아르 자형 ㅏ 나는 엔 이자형 디} |}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

결과적으로 두 개의 부등식 및 .

피 [{이자형}_{영형 유 티} (h_{1}) \leq {이자형}_{티 이자형 에스 티} (h_{1}) + \sqrt{\frac{1}{2 엔_{티 이자형 에스 티}} 엘 엔 \frac{2}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$

피 [{이자형}_{영형 유 티} (h_{1}) \leq {이자형}_{티 이자형 에스 티} (h_{1}) + \sqrt{\frac{1}{2 엔_{티 이자형 에스 티}} 엘 엔 \frac{2 | H_{티 아르 자형 ㅏ 나는 엔 이자형 디} |}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$

그러나이 두 불평등은 양립 할 수 없음이 분명합니다.

내가 뭘 잘못하고 있니? 어느 것이 옳고 어느 것이 옳습니까?

후자가 틀린 경우,이 경우 유한 가설 세트에 대해 VC를 적용하는 올바른 방법은 무엇입니까?

— asqdf
소스

이 두 불평등 가운데, 나는 나중에 잘못되었다고 생각합니다. 간단히 말해서, 여기서 잘못된 점은 가 테스트 데이터의 함수이고 이 테스트 데이터와 독립적 인 모델 인 경우 입니다. $g=h_1$ $g$ $h_1$

실제로 는 테스트 세트 를 가장 잘 예측하는 의 8 가지 모델 중 하나입니다 . $g$ $H_{trained} = \{ h_1, h_2,..., h_8 \}$ $D_{test}$

따라서 는 의 함수입니다 . 특정 테스트 세트 (예 : 언급 한 것과 같음) 일 수 있지만 일반적으로 테스트 세트에 따라 는 값을 가질 수 있습니다 . 반면 은 값 중 하나 입니다 . $g$ $D_{test}$ $D^*_{test}$ $g(D^*_{test}) = h_1$ $g(D_{test})$ $H_{trained}$ $h_1$ $H_{trained}$

다른 질문 :

후자가 틀린 경우,이 경우 유한 가설 세트에 대해 VC를 적용하는 올바른 방법은 무엇입니까?

를 로 않으면 올바른 범위 (예 : )를 다른 범위 ( ) 와 충돌하지 않습니다 . $g$ $h_1$ $g$ $h_1$

— 쏜 트런
소스