인과 추론에 교차 검증을 사용할 수 있습니까?

모든 상황에서 교차 검증에 익숙하며 예측 정확도를 높이기위한 목적으로 만 사용됩니다. 변수 간의 편견없는 관계를 추정 할 때 교차 검증 논리를 확장 할 수 있습니까?

하지만 이 리처드 버크에 의해 용지가 "최종"회귀 모델의 매개 변수 선택을위한 샘플 밖으로 보류를 사용하는 방법을 보여줍니다 (및 계단식 매개 변수의 선택은 좋은 생각이 아니다 이유를 보여줍니다), 난 아직도 어떻게 정확히 보장하지만 표시되지 않습니다 X의 영향에 대한 편견없는 추정은 더 이상 주제에 대한 사전 지식과 논리를 기반으로 모델을 선택하는 것보다 Y에 영향을 미칩니다.

나는 사람들이 인과 관계 유추를 돕기 위해 홀드 아웃 샘플을 사용한 사례 나 내 이해에 도움이 될 수있는 일반적인 에세이를 인용하도록 요청한다. 또한 교차 검증에 대한 나의 개념이 순진한 것이므로 의심의 여지가 없습니다. 홀드 아웃 샘플을 사용하면 인과 추론이 가능할 것 같지만,이 작업을 수행하는 작업이나 수행 방법을 모르겠습니다.

버크 페이퍼 인용 :

모델 선택 후 통계적 추론 작성자 : Richard Berk, Lawrence Brown, Linda Zhao Journal of Quantitative Criminology, Vol. 26, No. 2 (2010 년 6 월 1 일), 217-236 쪽.

여기 PDF 버전

chl의 작은 샘플 연구에서 탐색 적 데이터 분석에 관한 이 질문은 이 질문을 자극했습니다.

교차 유효성 검사에 대해 알고있는 내용을 검토하는 것이 유용하다고 생각합니다. CV에 대한 통계 결과는 효율성과 일관성이라는 두 가지 등급으로 분류됩니다.

효율성은 예측 모델을 구축 할 때 일반적으로 우려하는 사항입니다. 아이디어는 CV를 사용하여 손실 함수에 관한 점근 적 보증이있는 모델을 결정하는 것입니다. 여기에서 가장 유명한 결과는 Stone 1977 때문이며 LOO CV는 AIC와 거의 동일합니다. 그러나 Brett는 인과 메커니즘에 대해 알려주지 않는 예측 모델을 찾을 수있는 좋은 예를 제공합니다.

일관성이 우리의 목표가 "진정한"모델을 찾는 것이라면 우리가 염려하는 것입니다. 아이디어는 CV를 사용하여 모델 공간에 실제 모델이 포함되어 있다는 점을 감안할 때 점근 적으로 보장 된 모델을 결정한다는 것입니다. 여기서 가장 유명한 결과는 선형 모델에 관한 Shao 1993 에 의한 것이지만, 그의 요약에서 볼 때 그의 "충격 발견"은 LOO의 결과와 반대입니다. 선형 모형의 경우 만큼 만큼 LKO CV를 사용하여 일관성을 유지할 수 있습니다 . 선형 mdoels를 넘어 서면 통계 결과를 도출하기가 더 어렵습니다. n → $k/n \rightarrow 1$$n \rightarrow \infty$

그러나 일관성 기준을 충족 할 수 있고 CV 프로 시저가 실제 모델 인 이어진다 고 가정하십시오 . 인과 메커니즘에 대해 무엇을 배웠습니까? 우리는 단순히 와 사이에 잘 ​​정의 된 상관 관계가 있다는 것을 알고 있습니다. 전통적인 관점에서 인과 관계 주장을하기 위해 제어 / 조작 메커니즘을 갖춘 실험 설계를 도입해야합니다. 유대 진주의 틀의 관점에서, 당신은 인과 가정을 구조적 모델로 구울 수 있고 일부 사실을 계산하기 위해 확률에 근거한 반 사실의 미적분학을 사용할 수 있지만 특정 속성 을 만족시켜야 합니다 . Y $Y = \beta X + e$$Y$$X$

아마도 CV는 실제 모델을 식별하여 인과 추론에 도움을 줄 수 있다고 말할 수 있습니다 (일관성 기준을 충족시킬 수 있다면!). 그러나 그것은 지금까지 당신을 얻는다. 이력서는 그 자체로 인과 추론의 틀에서 어떤 작업도 수행하지 않습니다.

교차 유효성 검사로 말할 수있는 것에 더 관심이 있으시면 널리 인용되는 1993 년 논문보다 Shao 1997을 추천합니다.

• 선형 모델 선택을위한 점근 론 이론 (Shao, 1997)

주요 결과를 살펴볼 수는 있지만 다음에 나오는 토론을 읽는 것이 흥미 롭습니다. Rao & Tibshirani와 Stone의 의견은 특히 통찰력이 있다고 생각했습니다. 그러나 일관성에 대해 논의하는 동안 인과 관계에 대한 주장은 없습니다.

이것은 정말 흥미로운 질문이며 구체적인 인용은 제공하지 않습니다. 그러나 일반적으로 NO는 그 자체로 교차 검증은 인과 관계에 대한 통찰력을 제공하지 않습니다. 설계된 실험이 없으면 인과성 문제는 항상 불확실합니다. 제안한대로 교차 유효성 검사는 예측 정확도를 향상시킬 수 있습니다. 이것만으로 인과 관계에 대해서는 아무 것도 말하지 않습니다.

설계된 실험이 없으면 인과 추론은 모든 관련 예측 변수가 포함 된 모형을 필요로합니다. 관측 연구에서는 거의 보장 할 수 없습니다. 또한 간단한 지연 변수 (예 : 예측하려는 결과와 상관 관계가 높은 것)는 좋은 모델과 여러 샘플에서 검증 할 수있는 모델을 생성합니다. 그러나 이것이 인과 관계를 유추 할 수있는 것은 아닙니다. 교차 검증은 예측에서 반복성을 보장하며 그 밖의 것은 없습니다. 인과 관계는 디자인과 논리의 문제입니다.

편집 : 여기에 예가 있습니다. 도시가 쓰레기 제거에 소비하는 금액을 기반으로 도시의 인구를 예측하는 예측 정확도가 좋은 모델을 만들 수 있습니다. 교차 검증을 사용하여 해당 모델의 정확도와 다른 방법을 테스트하여 예측 정확도를 높이고 더 안정적인 매개 변수를 얻을 수 있습니다. 이제이 모델은 예측에 적합하지만 인과 논리는 잘못되었습니다. 인과 방향이 반대로되어 있습니다. 공공 사업부의 사람들이 주장하는 것에 상관없이, 쓰레기 제거 예산을 늘리는 것이 도시 인구를 늘리는 좋은 전략이 아닐 수 있습니다 (인과 적 해석).

모델의 정확성과 반복성 문제는 우리가 관찰 한 관계에 대한 인과 적 추론 능력과는 별개입니다. 교차 유효성 검사는 후자가 아닌 전자에 도움이됩니다. 이제 우연한 관계를 지정하는 관점에서 "올바른"모델을 추정하는 경우 (예 : 내년 예상 쓰레기 수를 기준으로 쓰레기 제거 예산을 결정하려는 경우) 교차 검증을 통해 더 큰 수익을 올리는 데 도움이 될 수 있습니다 그 효과에 대한 우리의 추정에 대한 확신. 그러나 교차 유효성 검사는 인과 관계와 관련하여 "올바른"모델을 선택하는 데 도움이되지 않습니다. 여기서도 연구의 설계, 주제 전문 지식, 이론 및 논리에 의존해야합니다.

귀하의 질문은 일반적으로 예측 모델에 대한 다양한 유효성 검사를 다루는 것 같습니다. 교차 유효성 검사는 내부 유효성 또는 적어도 초기 모델링 단계와 더 관련이 있지만 더 많은 인구에 인과 관계를 그리는 것은 더 관련이 있습니다. 에 외부 타당성. 이것에 의해 (그리고 @Brett의 좋은 말에 따른 업데이트로서), 우리는 가상의 개념적 모델을 가정하여 (예를 들어 예측 자와 관심 결과 사이의 관계를 지정) 일반적으로 작업 샘플에 모델을 구축한다는 것을 의미합니다. 최소 분류 오류율 또는 최소 예측 오류로 신뢰할 수있는 추정치를 얻으려고합니다. 모델이 더 잘 수행 될수록 보이지 않는 데이터에 대한 결과를 더 잘 예측할 수 있기를 바랍니다. 그럼에도 불구하고 CV는 가정 된 인과 관계의 "유효성"이나 적절성에 대해서는 아무 것도 말하지 않습니다. 우리는 일부 중재 및 / 또는 중재 효과가 무시되거나 단순히 미리 알려지지 않은 모델로 확실히 괜찮은 결과를 얻을 수있었습니다.

내 요점은 모델을 검증하는 데 사용하는 방법이 무엇이든 (그리고 홀드 아웃 방법은 확실히 최선의 방법은 아니지만 단계적 모델 구축으로 인해 발생하는 문제를 완화하기 위해 역학 연구에서 널리 사용됨) 동일한 샘플로 작업한다는 것입니다 (우리는 더 많은 인구를 대표한다고 가정합니다). 반대로, 결과를 일반화하고 새로운 표본이나 그럴듯하게 관련된 집단에 대해 이러한 방식으로 추론 한 인과 관계는 일반적으로 복제 연구에 의해 수행됩니다 . 이를 통해 더 큰 범위의 개별 변형을 특징으로하고 다른 잠재적 인 관심 요소를 나타낼 수있는 "슈퍼 포퓰 레이션"에서 모델의 예측 능력을 안전하게 테스트 할 수 있습니다.

모델은 작업 샘플에 대한 유효한 예측을 제공 할 수 있으며 생각할 수있는 모든 잠재적 혼란자를 포함합니다. 그러나 초기 모델을 구축 할 때 식별되지 않은 인과 관계 경로에 다른 요인이 나타나기 때문에 새로운 데이터로는 잘 수행되지 않을 수 있습니다. 예를 들어, 일부 예측 변수와 그로 인한 인과 관계가 환자가 모집 된 특정 시험 센터에 의존하는 경우 발생할 수 있습니다.

유전자 역학에서, 우리는 DNA 마커와 관찰 된 표현형 사이의 인과 관계에 대한 지나치게 단순화 된 견해를 가지고 복잡한 질병을 모델링하려고 시도하기 때문에 많은 게놈 차원의 연관성 연구 를 복제하지 못합니다. 유전자 질환 (다발성), 유전자 환경 및 집단 하부 구조가 모두 작용하지만 , 예를 들어 게놈-전체 연관 신호의 검증, 증강 및 정제(Ioannidis et al., Nature Reviews Genetics, 2009 10). 따라서, 유전자 마커 세트 (매우 낮고 희박한 효과 크기를 갖는)와 관찰 된 표현형의 다변량 패턴 (예 : 백색 / 회색질의 부피 또는 fMRI를 통해 관찰 된 뇌의 국소 활동, 신경 심리학 적 평가 또는 성격 목록에 대한 반응)에도 불구하고 여전히 독립적 인 샘플에서 예상대로 수행되지 않습니다.

이 주제에 대한 일반적인 참고 자료 는 EW Steyerberg (Springer, 2009)의 17 장과 임상 예측 모델의 III 부를 추천 할 수 있습니다 . 나는 또한 Ioannidis의 다음 기사를 좋아합니다.

Ioannidis, JPA, 가장 많이 발표 된 연구 결과가 거짓 인 이유는 무엇입니까? PLoS Med. 2005 년 2 (8) : e124

이것은 좋은 질문이지만 그 대답은 확실하지 않습니다. 교차 검증은 인과 추론을 향상시키지 않습니다. 증상과 질병간에 매핑이있는 경우 교차 유효성 검사는 모델을 전체 원시 데이터 세트에 간단히 맞추는 것보다 모델이 관절 분포와 더 잘 일치하는지 확인하는 데 도움이되지만 인과 관계의 방향성.

교차 유효성 검사는 매우 중요하고 공부할 가치가 있지만 데이터 집합에서 노이즈에 과도하게 맞추는 것을 막을 수 있습니다. 더 이해하고 싶다면 ESL의 7 장을 제안합니다 : http://www-stat.stanford.edu/~hastie/Papers/ESLII.pdf

후속 조치에 응답하기 위해 @Andy는 여기 에 답변으로 게시되었습니다 ...

어떤 추정이 정확하고 어느 쪽이 틀린지 말할 수는 없었지만, 어썰트 유죄 판결과 총기 유죄 판결의 불일치가 문장 길이에 실제 인과 적 영향을 미쳤다고 의심하지 않습니까?

나는 당신이 의미하는 것은 모수 추정치의 불일치가 모수 추정치가 진정한 인과 관계 효과를 나타내지 않는다고 믿는 이유를 제공한다고 생각합니다. 우리는 이미 그러한 모델이 진정한 인과 적 효과를 낳을 것이라는 회의론에 충분한 이유가 있었음에도 동의합니다.

여기에 내 취지가 있습니다 : 과적 합 데이터는 치우친 모수 추정치의 원천이며,이 치우침이 특정 인과 관계 효과를 추정 할 때 다른 치우침의 원인을 상쇄한다고 믿을 이유가 없으므로 평균적으로 인과 관계 효과를 추정하는 것이 더 좋습니다 데이터를 과도하게 맞추지 않고 교차 검증은 과적 합을 방지하므로 평균적으로 인과 관계 추정치를 개선해야합니다.

그러나 누군가 관측 데이터에 의한 인과 적 영향에 대한 추정치를 믿도록 설득하려는 경우 모델링 전략이 의심 될만한 강력한 이유가없는 한 데이터에 너무 적합하지 않다는 것이 낮은 우선 순위임을 증명합니다 과적 합.

내가 사용하는 사회 과학 응용 프로그램에서는 실질적인 문제, 측정 문제 및 민감도 검사에 훨씬 더 관심이 있습니다. 민감도 검사 란 용어가 추가되거나 제거되는 모형의 변동을 추정하고 상호 작용을 통해 모형을 추정하여 하위 그룹에 따라 관심 효과가 달라질 수 있음을 의미합니다. 통계 모델에 대한 이러한 변경은 인과 적으로 해석하려는 모수 추정치에 얼마나 영향을 줍니까? 이 매개 변수의 불일치가 모델 사양 또는 하위 그룹 전체에서 추정하려는 원인과 관련하여 이해할 수 있거나 선택과 같은 영향을 암시합니까?

실제로, 이러한 대체 스펙을 실행하기 전에. 모수 추정치가 어떻게 변할 것이라고 생각하는지 기록하십시오. 관심있는 매개 변수 추정치가 하위 그룹 또는 사양에 따라 크게 달라지지 않으면 내 작업의 맥락에서 교차 유효성 검사보다 더 중요합니다. 그러나 내 해석에 영향을 미치는 다른 실질적인 문제가 여전히 더 중요합니다.

나는 그들의 답변에 대해 모두에게 감사를 표하지만, 의문의 여지가없는 것으로 발전했다. 주로 정답이없는 인과 추론의 일반적인 개념에 대한 에세이이다.

나는 처음에 인과 관계 추론을위한 교차 검증의 사용에 대한 예를 들어 청중을 조사하기위한 질문을했다. 효과 평가의 반복성을 평가하기 위해 테스트 샘플을 사용하고 샘플을 보유한다는 개념이 나에게 논리적으로 보였기 때문에 그러한 방법이 존재한다고 가정했습니다. John이 지적했듯이, 내가 제안한 것은 부트 스트랩과 다르지 않으며 서브셋 특이성 테스트 또는 동등하지 않은 종속 변수와 같은 결과를 검증하는 데 사용하는 다른 방법과 비슷하다고 말하고 있습니다 (bootstrapping은 모델의 파라 메트릭 가정을 완화시키고 서브셋을 완화시킵니다) 보다 일반적인 방식의 테스트는 결과가 다양한 상황에서 논리적 인 검사로 사용됩니다). 이 방법들 중 어느 것도 인과 추론에 대한 다른 답변 표준을 충족시키지 못하지만 인과 추론에 여전히 유용하다고 생각합니다.

chl의 의견은 교차 유효성 검사에 대한 내 주장이 인과 적 추론을 돕기위한 내부 유효성 검사라는 점에서 정확합니다. 그러나 지금은 내부와 외부의 타당성을 구분하지 말아야합니다. 논쟁을 진전시키는 데 아무런 도움이되지 않기 때문입니다. 역학에서의 게놈 전체 연구의 chl의 예 나는 내부 타당성이 열악한 주요한 예를 고려하여 본질적으로 모호한 강력한 추론을한다. 게놈 연관성 연구는 실제로 내가 요청한 것의 예라고 생각합니다. 교차 검증을 사용하여 유전자와 질병 사이의 추론이 향상되었다고 생각하십니까? (모든 마커를 하나의 모델로 던지고 p- 값을 적절히 조정하는 것이 아니라)

아래에 제가 질문에서 인용 한 Berk 기사에 테이블 사본을 붙여 넣었습니다. 이 표는 동일한 모델에서 단계적 선택 기준과 인과 추론을 사용하는 잘못된 논리를 보여 주지만 모델 선택 기준을 사용하지 않은 척하고 훈련 및 홀드 아웃 샘플의 매개 변수를 결정했습니다 .. 이것은 비현실적인 결과가 아닙니다. 어떤 추정이 정확하고 어느 쪽이 틀린지 말할 수는 없었지만, 어썰트 유죄 판결과 총기 유죄 판결의 불일치가 문장 길이에 실제 인과 적 영향을 미쳤다고 의심하지 않습니까? 해당 변형을 아는 것이 유용하지 않습니까? 모델을 테스트하기 위해 홀드 아웃 샘플을 가지고도 아무것도 잃지 않으면 인과 관계 추론을 개선하기 위해 교차 검증을 사용할 수없는 이유는 무엇입니까?

나는 이것이 CV와 인과 추론의 관계를 생각할 수있는 직관적 인 방법이라고 생각합니다. (잘못된 경우 수정하십시오)

저는 항상 CV를 예측에서 모델의 성능을 평가하는 방법으로 생각합니다. 그러나 인과 적 추론에서 우리는 Occam 's Razor (parsimony)와 동등한 것에 더 관심이 있으므로 CV는 도움이되지 않습니다.

감사.