하이퍼 파라미터를 튜닝 할 때 유효성 검사 데이터에 대한 모델 성능을 평가하면 유효성 검사 데이터에 대한 정보가 유출되는 이유는 무엇입니까?

François Chollet의 Python을 사용한 딥 러닝에서는 다음과 같이 말합니다.

결과적으로 유효성 검증 세트의 성능을 기반으로 모델 구성을 조정하면 모델을 직접 학습하지 않아도 신속하게 유효성 검증 세트에 과적 합할 수 있습니다.

이 현상의 핵심은 정보 유출 개념입니다. 유효성 검사 세트에서 모델의 성능을 기반으로 모델의 하이퍼 파라미터를 조정할 때마다 유효성 검사 데이터에 대한 일부 정보가 모델로 누출됩니다 . 하나의 매개 변수에 대해이 작업을 한 번만 수행하면 정보가 거의 유출 되지 않고 유효성 검사 세트가 모델을 평가할 수 있습니다. 그러나이 실험을 여러 번 반복하고 (한 번의 실험 실행, 유효성 검사 세트 평가 및 결과로 모델 수정)이 과정에서 유효성 검사 세트에 대한 정보가 점점 더 많이 유출 될 것입니다.

하이퍼 파라미터를 튜닝 할 때 유효성 검사 데이터에 대한 모델 성능을 평가하면 유효성 검사 데이터에 대한 정보가 유출되는 이유는 무엇입니까?

유효성 검사 데이터를 사용하여 하이퍼 파라미터를 선택하기 때문에 정보가 유출됩니다. 본질적으로 복잡한 최적화 문제를 만들고 있습니다. 하이퍼 매개 변수의 손실을 최소화하십시오.$\phi$ 이러한 하이퍼 파라미터가 파라미터를 갖는 신경망 모델을 정규화하는 검증 데이터에 대해 평가 된 $\theta$ 특정 훈련 세트를 사용하여 훈련합니다.

매개 변수가 $\theta$ 훈련 데이터, 하이퍼 파라미터에 의해 직접 통보됩니다 $\phi$유효성 검사 데이터를 기반으로 선택됩니다. 또한 하이퍼 파라미터 때문에$\phi$ 암묵적으로 영향 $\theta$유효성 검사 데이터의 정보는 선택한 모델에 간접적으로 영향을줍니다.