교차 검증을 사용할 때 하나의 표준 오류 규칙에 대한 경험적 근거

parsimony에 찬성하여 하나의 표준 오류 규칙의 사용을 정당화하는 경험적 연구가 있습니까? 분명히 그것은 데이터의 데이터 생성 프로세스에 달려 있지만, 대량의 데이터 세트를 분석하는 것은 매우 흥미로운 읽기 일 것입니다.

"한 가지 표준 오류 규칙"은 교차 유효성 검사를 통해 (또는 일반적으로 임의 추출 기반 절차를 통해) 모델을 선택할 때 적용됩니다.

복잡성 매개 변수 의해 모델이 색인화되어 있다고 가정 하면 , 는 때 보다 "더 복잡합니다" . 교차 검증과 같은 임의의 랜덤 화 프로세스에 의해 모델 의 품질을 평가한다고 가정하자 . 하자 의 "평균"품질 나타내는 예를 들어, 많은 교차 유효성 검사 실행에 걸쳐 평균 밖으로의 가방 예측 오류입니다. 이 수량 을 최소화 하고 싶습니다 . τ ∈ R M τ M τ ′ τ > τ ′ M q ( M ) $M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

그러나 Google의 품질 측정은 일부 임의 추출 절차에서 비롯되므로 변동성이 있습니다. 은 무작위 배정 실행에 걸친 의 품질의 표준 오차 , 예를 들어 교차-검증 실행에 대한 수하물 외부 예측 오차의 표준 편차를 나타낸다고 하자 .M $s(M)$$M$$M$

그런 다음 모델을 선택합니다 . 여기서 는 가장 작은 입니다. τ $M_\tau$$\tau$$\tau$

여기서 는 (평균) 최상의 모델 합니다. Q ( M τ ' ) = 분 τ Q ( M τ$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

즉, 우리 는 무작위 화 과정에서 가장 좋은 모델 M _ {\ tau '} 보다 하나 이상의 표준 오류보다 더 단순한 가장 단순한 모델 ( 가장 작은 $\tau$ )을 선택 합니다.$M_{\tau'}$

이 "하나의 표준 오류 규칙"은 다음과 같은 장소에서 언급되었지만 명시적인 근거는 없습니다.

• Breiman, Friedman, Stone & Olshen의 분류 및 회귀 트리 에서 80 페이지 (1984)
• Tibshirani, Walther & Hastie에 의한 Gap 통계를 통한 데이터 세트의 군집 수 추정 페이지 415 ( JRSS B , 2001) (Breiman et al. 참조)
• Hastie, Tibshirani & Friedman 의 통계 학습 요소에 관한 61 쪽과 244 쪽 (2009)
• Hastie, Tibshirani & Wainwright의 희소성 통계 학습 13 페이지 (2015)

다음은 경험적 연구 가 아니기 때문에 처음에 답변이 아닌 의견으로 게시하고 싶었지만 실제로 의견이 너무 길다는 것이 밝혀졌습니다.

Cawley & Talbot ( J of Machine Learning Research , 2010) 은 모델 선택 단계에서의 과적 합과 모델 피팅 단계에서의 과적 합의 차이에 주목합니다.

두 번째 종류의 과적 합은 대부분의 사람들에게 친숙한 것입니다. 특정 모델을 고려할 때 과적 합 을 원치 않습니다. 즉, 일반적으로 보유한 단일 데이터 세트의 특정 특성에 너무 가깝게 맞추고 싶지 않습니다. ( 여기서는 편차의 큰 감소에 대해 약간의 바이어스 증가를 거래함으로써 수축 / 정규화가 도움이 될 수 있습니다. )

그러나 Cawley & Talbot은 모델 선택 단계에서도 과도하게 적합 할 수 있다고 주장합니다. 결국, 우리는 여전히 단일 데이터 세트 만 가지고 있으며, 다양한 복잡성 모델을 결정하고 있습니다. 모델을 선택하기 위해 각 후보 모델을 평가하려면 일반적으로 정규화를 사용하거나 사용하지 않고 해당 모델을 피팅 해야합니다. 그러나이 평가 자체는 우리가 가진 특정 데이터 세트에 의존하기 때문에 다시 임의 변수입니다. 따라서 "최적의"모델을 선택하면 그 자체가 편견 을 보일 수 있으며 모집단에서 가져올 수있는 모든 데이터 세트의 특정 데이터 세트에 따라 편차 가 나타 납니다 .

따라서 Cawley & Talbot은이 평가에서 가장 잘 수행되는 모델을 선택하는 것이 편향이 적은 선택 규칙 일 수 있지만 편차가 클 수 있다고 주장합니다. 즉, 동일한 데이터 생성 프로세스 (DGP)와 다른 훈련 데이터 세트가 주어지면이 규칙은 매우 다른 모델을 선택할 수 있으며 동일한 DGP를 따르는 새로운 데이터 세트를 예측하는 데 적합합니다. 이러한 관점에서, 모델 선택 절차의 분산을 제한하지만 더 간단한 모델에 대해 작은 편향이 발생하면 샘플 외부 오차가 더 작을 수 있습니다.

Cawley & Talbot은 이것을 하나의 표준 오류 규칙에 명시 적으로 연결하지 않으며 "모델 선택 정규화"섹션이 매우 짧습니다. 그러나 하나의 표준 오류 규칙은이 정규화를 정확하게 수행하고 모델 선택의 편차와 백의 교차 검증 오류의 차이 간의 관계를 고려합니다.

예를 들어, 아래는 Hastie, Tibshirani & Wainwright (2015)의 희소성 통계 학습 에서 나온 그림 2.3입니다 . 모델 선택 편차는 최소 검은 선의 볼록 도로 표시됩니다. 여기서 최소값은 그다지 뚜렷하지 않으며 선이 다소 약하게 볼 수 있으므로 모델 선택이 높은 분산으로 다소 불확실 할 수 있습니다. 그리고 OOB CV 오차 추정치의 분산은 물론 표준 오차를 나타내는 다수의 연한 청색 선에 의해 주어진다.

경험적 타당성을 위해이 Tibshirani 데이터 마이닝 강의 노트 에 대한 12 페이지를 참조하십시오. 이 모델링 노트 에서는 CV 오류를 특정 모델링 문제에 대한 람다의 함수로 표시합니다. 제안은 특정 값 이하에서 모든 람다는 동일한 CV 오류를 발생 시키는 것으로 보입니다 . 능선 회귀와 달리 LASSO는 일반적으로 예측 정확도를 향상시키기 위해 사용되거나 주로 사용되지 않기 때문에 이치에 맞습니다. 주요 판매 포인트는 가장 관련성이 낮고 가치있는 예측 변수를 제거하여 모델을 더 단순하고 해석하기 쉽게 만드는 것입니다.

$\lambda$$L_1$

$\lambda$$\lambda$$\hat S(\lambda)$$\lambda$

$\lambda^ \star$$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$$S_0$

이것은 Bühlmann과 van de Geer의 고차원 데이터 통계에 보고해야합니다 .

$\lambda$