예측이 아닌 모델링에만 관심이있는 경우 정규화가 도움이 될 수 있습니까?

예측이나 예측이 아닌 모형 매개 변수 추정 (및 해석)에만 관심이있는 경우 정규화가 도움이 될 수 있습니까?

새 데이터에 대한 좋은 예측을 내리는 것이 목표 인 경우 정규화 / 교차 유효성 검사가 얼마나 유용한 지 잘 알고 있습니다. 그러나 만약 당신이 전통적인 경제학을하고 있고 당신이 관심있는 모든 것을 추정하는 것이라면 $\beta$ ? 교차 유효성 검사도 해당 컨텍스트에서 유용 할 수 있습니까? 와 개념적 어려움 I 투쟁입니다 우리가 할 수 실제로 계산 $\mathcal{L}\left(Y, \hat{Y}\right)$ 테스트 데이터에 대한,하지만 우리가 할 수 결코 컴퓨팅 때문에 true 는 정의상 절대 관찰되지 않습니다. (진정한 가 있다고 가정 할 때 , 즉 데이터가 생성 된 모델 군을 알고 있다고 가정하십시오.) $\mathcal{L}\left(\beta, \hat{\beta}\right)$ $\beta$ $\beta$

손실이 합니다. 편견-분산 트레이드 오프에 직면하고 있습니까? 따라서 이론적으로는 정규화를 수행하는 것이 좋습니다. 그러나 정규화 매개 변수를 어떻게 선택할 수 있습니까? $\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$

나는 계수와 선형 회귀 모델의 간단한 수치 예제를 참조 드리겠습니다 $\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$ , 연구원의 손실 함수는 예입니다 $\lVert \beta - \hat{\beta} \rVert$ 또는 심지어 $(\beta_1 - \hat{\beta}_1)^2$ 입니다. 실제로 이러한 예에서 예상 손실을 개선하기 위해 교차 검증을 어떻게 사용할 수 있습니까?

편집 : DJohnson 은이 질문과 관련된 https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf를 가리 켰습니다 . 저자들은

기술을 학습 기계 ... 예측하는 훈련 방법을 제공 $\hat{Y}$ (내가)의 매우 풍부한를 통해 바이어스 분산 트레이드 오프 및 (ii) 검색을 가능하게 만드는 방법을 결정하는 데이터 자체를 사용 변수와 기능적 형태. 그러나 모든 것은 비용이 듭니다 : 맞춰져 있기 때문에 $\hat{Y}$ (다른 많은 가정없이) 대해 매우 유용한 보장을 제공하지는 않습니다 $\hat{\beta}$ .

또 다른 관련 논문, DJohnson에 다시 한번 감사 : http://arxiv.org/pdf/1504.01132v3.pdf . 이 백서에서는 위의 문제를 해결했습니다.

인과 관계 추론 문제에 회귀 트리와 같은 머신 러닝 방법을 적용하는 데있어 근본적인 도전은 교차 검증에 기반한 정규화 접근법이 일반적으로 "지상 진실", 즉 실제 결과를 관찰하는 것에 의존한다는 것입니다. 교차 검증 샘플에서. 그러나 우리의 목표가 치료 효과의 평균 제곱 오차를 최소화하는 것이라면, [11]은 "인과 추론의 기본 문제"라고 부르는 것과 마주 치게됩니다. 근거가 있습니다. 우리는 치료의 인과 적 영향에 대한 평균 제곱 오차의 편견없는 추정을 구성하기위한 접근법을 제안함으로써이를 해결한다.

— 아드리안
소스

교차 검증은 데이터 마이닝 및 기계 학습 툴킷에서 하나의 방법 일뿐입니다. ML은 경제학 사용 증가를보고있다 - 또는이 종이 (그녀는 경제에 ML 기술의 통합 학문적 관심) 스탠포드에서 수잔 애시의 웹 사이트를 참조하십시오 예측 정책 문제 . 등, 클라인 베르그에 의해 알, 여기에 ungated 버전 : CS를. cornell.edu/home/kleinber/aer15-prediction.pdf

— Mike Hunter

ML은 많은 사람들에게 머신 러닝을 제안하고 다른 많은 사람들에게는 최대한의 가능성을 제안합니다. (정의 : ML이 자동으로 기계 학습으로 자신을 번역하면 울타리의 기계 학습쪽에 있습니다.)

— Nick Cox

@ Aksakal 내 경험은 학부생과 대학원생 모두에게 가르치는 전통적인 계량 측정법이 교차 검증에 본질적으로 관심을 기울이지 않는다는 것입니다. 고전 교과서 인 하야시를보십시오. 물론 교차 검증 및 편향-분산 트레이드 오프는 예측에 관한 과정에서 언급되지만 모든 학생들이 시작하는 핵심 과정에서는 언급되지 않습니다. 그게 당신에게 맞습니까?

— Adrian

@Adrian 사람들이이 질문을 너무 광범위하게 마무리하기 위해 투표하고있는 것을 본다. 그럴지도 모르지만 기본적으로 "CV가 예측이 아닌 모델링에만 관심이 있다면 CV가 도움이 될 수 있습니까?"라고 묻습니다. -내가 당신을 올바르게 이해한다면, 당신의 질문은 쉽게 편집되고 단순화 될 수 있습니다. 그래서 그것은 명확하고 확실하지 않습니다 (심지어 흥미 롭습니다!).

— Tim

@Adrian이므로 매우 흥미로운 질문입니다! 나는 당신이 그것을 지나치게 복잡하게 만들 것을 두려워하고 여기에서 계량 계량에 대한 언급은 중요하지 않습니다 (통계 방법이 사용되는 다른 영역과 동일하기 때문에). 질문을 간단하게 편집 할 수 있도록 권합니다.

— Tim

그렇습니다. 편향 저 분산 추정을 원할 때. 나는 특히 gung의 게시물을 좋아합니다. 수축 방법으로 어떤 문제가 해결됩니까? gung의 그림을 여기에 붙여 넣으십시오.

여기에 이미지 설명을 입력하십시오 플롯 쿵을 확인하면 왜 정규화 / 축소가 필요한지 명확하게 알 수 있습니다. 처음에는 왜 우리가 편견 추정이 필요한지 이상한 느낌이 듭니다. 그러나 그 수치를 보면 저 분산 모델이 많은 장점을 가지고 있다는 것을 깨달았습니다.

— 하이 타오 뒤
소스

예, 그러나 정규화 매개 변수를 어떻게 선택합니까? 목표가 예측 오류를 최소화하는 것이라면 검증 세트를 사용할 수 있습니다. 실제 모델 매개 변수를 절대 관찰하지 않으면 어떻게 검증 세트를 사용할 수 있습니까?

— Adrian

내 질문의 맨 아래에있는 "인과 적 추론의 기본 문제"에 대한 인용문을 참조하십시오.

— Adrian

예측이 아닌 모델링 (예 : 모수 추정)에만 관심이있는 경우 교차 검증이 도움이 될 수 있습니까?

예, 그럴 수 있습니다. 예를 들어, 다른 날에는 의사 결정 트리를 통한 매개 변수 중요도 추정을 사용하고있었습니다. 나무를 만들 때마다 교차 유효성 검사 오류를 확인합니다. 오류를 최대한 줄이려고하면 매개 변수의 중요도를 추정하는 다음 단계로 넘어갑니다. 빌드 한 첫 번째 트리가 매우 나쁘고 오류를 확인하지 않으면 (정확하지 않은 경우) 대답의 정확도가 떨어질 수 있습니다.

내가 믿는 주된 이유는 각 기술마다 많은 제어 변수가 있기 때문입니다. 하나의 제어 변수를 약간만 변경해도 다른 결과가 나타납니다.

교차 유효성 검사 오류를 확인한 후 모델을 개선하는 방법은 무엇입니까? 글쎄, 그것은 당신의 모델에 달려 있습니다. 바라건대, 몇 번 시도한 후에 가장 중요한 제어 변수에 대한 아이디어를 얻고 오류를 찾기 위해 조작 할 수 있기를 바랍니다.

— PeyM87
소스