테스트 세트와 유효성 검사 세트의 차이점은 무엇입니까?

Matlab에서 신경망 도구 상자를 사용할 때 혼란 스럽습니다.
원시 데이터 세트를 세 부분으로 나누었습니다.

1. 훈련 세트
2. 검증 세트
3. 테스트 세트

많은 훈련 또는 학습 알고리즘에서 데이터는 종종 훈련 세트와 테스트 세트의 두 부분으로 나뉩니다.

내 질문은 :

1. 검증 세트와 테스트 세트의 차이점은 무엇입니까?
2. 유효성 검사가 실제로 신경망에만 적용됩니까? 또는 선택 사항입니다.
3. 더 나아가서 머신 러닝의 맥락에서 검증과 테스트 사이에 차이가 있습니까?

일반적으로지도 학습을 수행하려면 두 가지 유형의 데이터 세트가 필요합니다.

1. 하나의 데이터 세트 ( "골드 표준")에서 입력 데이터와 함께 올바른 / 예상 된 출력을 얻을 수 있습니다.이 데이터 세트는 일반적으로 사람에 의해 정식으로 준비되거나 일부 데이터를 반자동 방식으로 수집합니다. 그러나지도 학습을 위해서는 이것이 필요하기 때문에 모든 데이터 행에 대해 예상되는 결과를 얻는 것이 중요합니다.

2. 모델을 적용 할 데이터입니다. 많은 경우에 이것은 모델의 출력에 관심이있는 데이터이므로 아직 여기에 "예상"출력이 없습니다.

기계 학습을 수행하는 동안 다음을 수행하십시오.

1. 교육 단계 : 입력을 예상 출력과 쌍으로 연결하여 "골드 표준"의 데이터를 제시하고 모델을 교육합니다.
2. 검증 / 테스트 단계 : 모델의 훈련 수준 (데이터 크기, 예측하려는 값, 입력 등에 따라 다름)을 추정하고 모델 속성 (숫자 예측 변수의 평균 오차, 분류기의 분류 오류, IR 모델 등의 리콜 및 정밀도)
3. 적용 단계 : 이제 새로 개발 한 모델을 실제 데이터에 적용하고 결과를 얻습니다. 일반적으로이 유형의 데이터에 참조 값이 없으므로 (그렇지 않으면 왜 모델이 필요한가?) 검증 단계의 결과를 사용하여 모델 출력의 품질에 대해서만 추측 할 수 있습니다.

유효성 검사 단계는 종종 두 부분으로 나뉩니다 .

1. 첫 번째 부분에서는 모델을보고 유효성 검사 데이터 (= 유효성 검사)를 사용하여 가장 성능이 좋은 방법을 선택하면
2. 그런 다음 선택한 접근 방식의 정확도를 추정합니다 (= 테스트).

따라서 50/25/25로 분리하십시오.

여러 라이벌 접근 방식에서 적절한 모델을 선택할 필요가없는 경우 훈련 된 모델의 유효성 검사를 수행하지 않고 기본적으로 트레이닝 세트 및 테스트 세트 만있는 세트를 다시 파티션 할 수 있습니다. 나는 개인적으로 그들을 70/30으로 나눕니다.

이 질문 도 참조하십시오 .

훈련 세트 : 학습에 사용되는 일련의 예제 : 분류기의 매개 변수에 맞추기 MLP (Multilayer Perceptron)의 경우 훈련 세트를 사용하여 백프로 프 규칙으로 "최적의"가중치를 찾습니다.

유효성 검사 세트 : 분류기의 매개 변수를 조정하는 데 사용되는 예제 집합 MLP 사례에서 유효성 검사 세트를 사용하여 "최적의"숨겨진 단위 수를 찾거나 역 전파 알고리즘의 중단 점을 결정합니다.

테스트 세트 : 완전히 훈련 된 분류기의 성능을 평가하는 데만 사용되는 예제 세트 MLP 사례에서는 최종 모델 (MLP 크기 및 실제 가중치)을 선택한 후 테스트를 사용하여 오류율을 추정합니다. 테스트 세트의 최종 모델 인 경우 더 이상 모델을 튜닝해서는 안됩니다!

별도의 테스트 및 검증 세트가 필요한 이유 유효성 검사 세트가 최종 모델을 선택하는 데 사용되므로 유효성 검사 데이터에 대한 최종 모델의 오류율 추정값이 실제 오류율보다 작습니다. 테스트 세트에서 최종 모델을 평가 한 후에는 모델을 튜닝해서는 안됩니다 더욱이!

출처 : 텍사스 A & M 대학교 리카르도 구티에레즈-오수 나 텍사스 A & M 대학교 패턴 분석 소개

컴퓨터 과학 분야에서 5 년 동안 일한 경험을 통해 단순성보다 나은 것은 없습니다.

'훈련 / 교차 검증 / 테스트'데이터 세트의 개념은 이처럼 간단합니다. 큰 데이터 세트가 있으면 세 부분으로 분할하는 것이 좋습니다.

++ 훈련 세트 (원본 데이터 세트의 60 %) : 예측 알고리즘을 구축하는 데 사용됩니다. 우리 알고리즘은 훈련 데이터 세트의 단점에 맞춰 조정하려고합니다. 이 단계에서는 일반적으로 교차 검증 단계 동안의 성능을 비교하기 위해 여러 알고리즘을 만듭니다.

++ 교차 검증 세트 (원본 데이터 세트의 20 %) :이 데이터 세트는 트레이닝 세트를 기반으로 작성된 예측 알고리즘의 성능을 비교하는 데 사용됩니다. 최고의 성능을 가진 알고리즘을 선택합니다.

++ 테스트 세트 (원본 데이터 세트의 20 %) : 선호하는 예측 알고리즘을 선택했지만 아직 보이지 않는 실제 데이터에서 어떻게 수행되는지는 아직 모릅니다. 따라서, 우리는 예측 된 알고리즘을 테스트 세트에 적용하여 어떻게 수행 될지 확인하여 보이지 않는 데이터에 대한 알고리즘의 성능에 대한 아이디어를 얻을 수 있습니다.

노트:

교차 검증 단계에서 잘 수행 된 알고리즘이 실제로 가장 좋은 알고리즘을 의미하지는 않기 때문에 테스트 단계를 건너 뛰지 않는 것이 매우 중요합니다. 검증 세트와 그 단점과 소음 ...

-테스트 단계에서 목적은 최종 모델이 어떻게 처리되는지를 확인하는 것입니다. 따라서 성능이 매우 떨어지는 경우 교육 단계부터 전체 프로세스를 반복해야합니다.

의사 결정을 요청하는 각 단계 (예 : 여러 옵션 중에서 하나의 옵션을 선택)에서 무작위의 가장 유리한 결과를 선택하지 않도록 선택한 정확도를 측정 할 수있는 추가 세트 / 파티션이 있어야합니다. 중심에 대한 분포의 꼬리 끝을 실수 ¹ . 왼쪽은 비관론자입니다. 권리는 낙관론자입니다. 중심은 실용 주의자입니다. 실용 주의자가 되십시오.

1 단계) 교육 : 각 알고리즘 유형에는 고유 한 매개 변수 옵션 (신경망의 레이어 수, 임의 포리스트의 트리 수 등)이 있습니다. 각 알고리즘에 대해 하나의 옵션을 선택해야합니다. 그렇기 때문에 훈련 세트가 있습니다.

2 단계) 유효성 검사 : 이제 알고리즘 모음이 있습니다. 하나의 알고리즘을 선택해야합니다. 테스트 세트가있는 이유입니다. 대부분의 사람들은 유효성 검사 세트에서 가장 잘 수행되는 알고리즘을 선택합니다. 그러나 테스트 세트에서 최고 성능의 알고리즘 오류율을 측정하지 않고 유효성 검사 세트에서 오류율과 함께 진행하는 경우 "가장 가능성이 높은 시나리오"에 대해 "가장 가능한 시나리오"를 맹목적으로 잘못 판단한 것입니다. 이것이 재난의 요리법입니다.

3 단계) 테스트 : 알고리즘에 매개 변수가 없으면 세 번째 단계가 필요하지 않다고 가정합니다. 이 경우 유효성 검사 단계는 테스트 단계입니다. 아마도 Matlab은 매개 변수를 요구하지 않거나 매개 변수를 사용하지 않기로 선택했으며 이것이 혼란의 원인입니다.

¹ 모든 옵션이 동일하다는 가정 (널 가설)을 사용하여 각 단계로 들어가는 것이 도움이됩니다 (예 : 모든 매개 변수가 동일하거나 모든 알고리즘이 동일 함).

² 이 이미지는 내 것이 아닙니다. 이 사이트에서 가져 왔습니다 : http://www.teamten.com/lawrence/writings/bell-curve.png

어떤 방식 으로든 데이터를 분리해야한다는 것은 아닙니다. 부트 스트랩은 모델 개발 및 테스트를 위해 전체 샘플을 사용하여 예측 정확도의 평균 제곱 오차 추정값을 작게 제공 할 수 있습니다.

일반적인 기계 학습 작업은 다음과 같은 중첩 루프로 시각화 할 수 있습니다.

while (error in validation set > X) {
    tune hyper-parameters
    while (error in training set > Y) {
        tune parameters
    }
}

통상적으로, 외부 루프에 의해 수행되는 인간 온, 검증 집합 및 내부 루프에 의해 시스템 온, 트레이닝 세트 . 그런 다음 모델의 최종 성능을 평가하려면 세 번째 테스트 세트 가 필요합니다 .

다시 말해, 검증 세트는 인간을위한 훈련 세트입니다.

이 세 세트를 생각하는 한 가지 방법은 두 세트 ( training와 validation)가 과거에서 온 반면 test세트는 "미래"에서 온 것입니다. "과거"( training/ validation데이터)의 데이터를 사용하여 모델을 작성하고 조정해야 하지만 test"미래"의 데이터는 절대 사용하지 마십시오 .

실제적인 예를 들기 위해 앞으로 야구 선수들이 얼마나 잘 할 것인지 예측하는 모델을 만들고 있다고 가정 해 봅시다. 1899-2014의 데이터를 사용하여 test및 validation설정 을 작성합니다 . 모델이 해당 데이터에 구축되고 조정되면 2015 년의 데이터 (실제로 과거에!)를 테스트 세트로 사용합니다. 테스트 세트는 모델의 관점에서 "미래"데이터처럼 보이고 모델 생성에 영향을 미치지 않습니다. . (분명히, 이론상으로, 우리가 정말로 원한다면 2016 년의 데이터를 기다릴 수 있습니다!)

데이터의 실제 시간 순서가 실제 미래와 일치하지 않을 수 있기 때문에 분명히 모든 곳에서 따옴표를 사용하고 있습니다. 실제로, test세트는 단순히 "설정" 하는 training/ validation세트 와 동일한 기간의 데이터 일 수 있습니다. 이런 식으로, 모델 튜닝에는 영향을 미치지 않았지만 실제로 데이터를 보유하는 사람들은 실제로 미래에서 나오지 않습니다.

대부분의 감독 데이터 마이닝 알고리즘은 다음 세 단계를 따릅니다.

1. 트레이닝 세트 모델을 구축하는 데 사용됩니다. 여기에는 사전 분류 된 목표 및 예측 변수가있는 데이터 세트가 포함됩니다.
2. 일반적으로 홀드 아웃 데이터 세트 또는 테스트 세트 는 모델이 트레이닝 세트 외부의 데이터로 얼마나 잘 수행되는지 평가하는 데 사용됩니다. 테스트 세트는 사전 분류 된 결과 데이터를 포함하지만 사전 분류 된 데이터와 모델 결과를 비교할 때까지 테스트 세트 데이터가 모델을 통해 실행될 때 사용되지 않습니다. 테스트 세트의 오류를 최소화하도록 모델이 조정됩니다.
3. 또 다른 홀드 아웃 데이터 세트 또는 검증 세트 는 2 단계에서 조정 된 모델을 평가하는 데 사용되며, 여기서 다시 검증 세트 데이터는 조정 된 모델에 대해 실행되고 사용되지 않은 사전 분류 된 데이터와 비교됩니다.

어떤 사람들은 우리가 유효성 검사 세트를 사용하는 이유에 대해 혼란스러워서 유효성 검사 데이터 세트를 사용하지 않을 때 발생할 일에 대해 간단하고 직관적으로 설명합니다.

유효성 검사 세트를 사용하지 않으면 대신 하이퍼 파라미터를 선택하고 테스트 데이터 세트에서 모델의 성능에 따라 훈련을 중단 할시기를 결정해야합니다. 테스트 데이터 세트에서 모델의 성능에 따라 트레이닝을 중지 할시기를 결정하면 모델이 테스트 데이터 세트에서 잘 수행 될 때 트레이닝을 중지 할 수 있습니다. 그런 다음 결과를보고 할 때 테스트 데이터 집합의 정확성을보고합니다. 이 문제는 실제로 테스트 세트에서 더 잘 수행하는 무작위 변형 일 때 모델이 실제로 잘 작동했다고 말할 수 있습니다.

교육을 중단 할 시점을 결정하기 위해 유효성 검사 세트를 대신 사용하는 경우 테스트 세트의 모델 정확도는 일반적으로 작업의 성능이 얼마나 잘 반영되었는지를 반영한 ​​것이며, 최적화하지 않은 것으로 나타납니다. 테스트 세트에서 잘 수행하기 위해 모델.

"차등 개인 정보 보호"라는 기계 학습에서 비교적 새로운 접근 방식을 지적함으로써 여기에 다른 좋은 답변을 추가하고 싶습니다 (Dwork의 논문 참조). 자세한 내용 Win Vector Blog 참조). 이 아이디어는 최종 모델 성능을 손상시키지 않으면 서 테스트 세트를 실제로 재사용 할 수있게합니다. 일반적인 설정에서 테스트 세트는 최종 성능을 추정하는 데만 사용됩니다. 이상적으로는 그것을 볼 수조차 없습니다.

이 Win Vector 블로그 (다른 항목도 참조 )에 잘 설명되어 있으므로 모델 성능을 편향시키지 않고 테스트 세트를 "사용"할 수 있습니다. 이것은 "차등 개인 정보 보호"라는 특수 절차를 사용하여 수행됩니다. 학습자는 테스트 세트에 직접 액세스 할 수 없습니다.

내 생각은 신경망 도구 상자의 옵션은 과적 합을 피하기위한 것입니다. 이 상황에서 가중치는 훈련 데이터에 대해서만 지정되며 전체 추세를 나타내지 않습니다. 검증 세트를 가짐으로써, 반복은 훈련 데이터 에러의 감소가 검증 데이터의 감소 및 검증 데이터 에러의 증가를 초래할 수있는 곳에 적응 가능하다; 훈련 데이터 오류의 감소와 함께, 이것은 과적 합 현상을 나타냅니다.