임의의 숲 회귀에서 시드를 설정하여 최고 정확도를 얻는 것이 '공평'입니까?

skl을 사용하여 작성된 임의의 포리스트 회귀 분석이 있으며 임의의 시드를 다른 값으로 설정하여 다른 결과를 생성합니다.

LOOCV를 사용하여 어떤 시드가 가장 잘 작동하는지 확인하면 이것이 유효한 방법입니까?

cross-validation random-forest

— 사용자 2723494
소스

사람들은 경쟁에서 그렇게합니다. 학계에서는 정당화하기 어려울 것입니다.

— Firebug

극단적 인 시나리오를 생각해 보자 : 우리는 게임을한다 : 우리는 2 개의 오지와 더 높은 액수를 얻는 사람을 굴린다. 그러나 실제로 주사위를 두 번 굴릴 수 있습니다. 그게 공정한가요? 랜덤 시드 설정은 재현 가능한 연구의 필수 요소이며 항상 수행 해야 함을 지적하겠습니다 . 그렇다고해서 "좋아하는 씨앗"을 찾을 때까지 다양한 씨앗을 시험해야한다는 의미는 아닙니다.

— usεr11852

@ usεr11852 현재 허용되는 답변에 대한 나의 의견은 어떻습니까? 이것이 kmeans와 같은 무작위 재시작과 다른지 확실하지 않습니다. R의 표준 함수에 임의의 재시작이 내장되어있는 시점까지, 우리가하는 첫 번째 실행을 강제로 받아 들여야한다고 생각하는 사람은 아무도 없습니다. 어쩌면 모델보다 100km를 실행하는 것으로 간주하지 않는 한 단 하나의 최고의 클러스터링

— jld

아니요. 실제 임의성에 대한 과적 합의 정의처럼 보입니다.

— 마크 화이트

@Chaconne : 적절한 검증이 필요하다는 점을 전적으로지지합니다. 즉, 두 가지 사용 사례에 핵심적인 차이가 있다고 생각합니다. k- 평균 (또는 일반적으로 확률 적 최적화)의 경우 우리는 매개 변수의 "최적의 세트"를 찾고 CV의 경우 "대표 세트"를 관리합니다 ". 초기의 경우 우리는 "우리가 얼마나 잘 될 수 있는지"를 보여 주려고 노력하는 반면, 후자의 경우에는 "우리가 얼마나 잘 될 것인가"를 보여 주려고 노력합니다.

— usεr11852

대답은 ' 아니요' 입니다.

모델은 사용하는 각 종자에 대해 다른 결과를 제공합니다. 이는 모델의 비 결정적 특성의 결과입니다. 검증 세트에서 성능을 최대화하는 특정 시드를 선택한다는 것은이 세트에 가장 적합한 "배열"을 선택했음을 의미합니다. 그러나 이것이이 시드가있는 모델이 별도의 테스트 세트에서 더 잘 수행된다는 것을 보장하지는 않습니다 . 이는 단순히 검증 세트에서 모델을 과적 합 했다는 것을 의미합니다 .

이 효과는 공개 테스트 세트에서 경쟁 (예 : kaggle)에서 높은 순위를 가진 많은 사람들이 숨겨진 테스트 세트에서 떨어져 나가는 이유입니다. 이 방법은 올바른 방법으로 간주 되지 않습니다 .

— 지브 2011
소스

그렇기 때문에 교차 검증이 강력한 기술이며 사람들이 유효성 검사와 테스트 세트를 사용하는 이유도 있습니다 (하나는 모델 선택을 기반으로하고 다른 하나는 편견없는 평가를 받기 위해).

— Djib2011

나는 확신하지 못한다. 비 볼록 최적화를 사용하면 다른 시드가 매우 다른 모델 매개 변수 추정값을 초래할 수 있고 불운으로 인해 수렴이 나빠질 수 있으므로 무작위로 다시 시작하는 것이 일반적입니다. 예를 들어 kmeans로 이것은 잘 알려져 있습니다. 우연히 임의의 숲을 사용하면 모델이 너무 많은 하위 분할을 만들 수 있습니다. 다른 런이 다른 모델 매개 변수 추정치로 이어지고 일부는 실제로 다른 것보다 더 잘 일반화 될 수 있음을 인식하는 것이 적합하지 않다고 생각합니다. 이것은 물론 샘플 성능에서 적절하게 평가할 때 조건이됩니다.

— jld

@ user2723494 일반화 비용없이 성능을 향상시키려는 하이퍼 파라미터에 유효합니다. 그러나 유효성 검사 세트에서 매개 변수를 반복해서 미세 조정하면 설명 된 것과 동일한 효과가 나타납니다 (유효성 검사 세트에 비해). 랜덤 시딩은 본질적으로 확률론 적이므로 실제로 더 나은 모델을 생산 한 것보다 오버 피팅으로 인해 성능을 향상시킬 가능성 이 훨씬 높습니다.

— Djib2011

@Chaconne 나는 불가능하다고 말하지 않았다. 그러나이 절차를 통해 실제로 더 나은 모델을 생산하는 종자보다 과적 자 종자를 선택할 가능성이 훨씬 높습니다 ...

— Djib2011

솔직히 말해서, 나는 ML 알고리즘을 파종 (및 확률 론적 특성에서 박탈)하는 것이 좋은 습관이라고 생각하지 않았습니다. OP는이 질문을 하는 새로운 질문을 만들었습니다 . 귀하의 답변을 읽고 싶습니다.

— Djib2011