모델 정제를 언제 중단해야합니까?

지난 3 년간 많은 책에서 통계를 연구 해 왔으며이 사이트 덕분에 많은 것을 배웠습니다. 그럼에도 불구하고 하나의 근본적인 질문은 여전히 답이 남아 있습니다. 매우 간단하거나 어려운 답변이있을 수 있지만 통계에 대한 깊은 이해가 필요하다는 것을 알고 있습니다.

모델을 데이터에 맞출 때 (빈번주의 또는 베이지안 접근법), 우리는 가능성, 이전 또는 커널 (비모수 적) 등을위한 기능적 형태로 구성 될 수있는 모델을 제안합니다. 문제는 모든 모델입니다 좋은 수준의 샘플에 적합합니다. 현재 진행중인 것과 비교하여 항상 더 나은 또는 더 나쁜 모델을 찾을 수 있습니다. 어떤 시점에서 우리는 결론을 내리고 결론을 내리고, 모집단 모수로 일반화하고, 신뢰 구간을보고하고, 위험을 계산합니다. 따라서, 결론을 내리는 모든 것은 우리가 결정하기로 결정한 모델에 항상 조건부입니다. AIC, MDL 등과 같은 예상 KL 거리를 추정하기 위해 도구를 사용하더라도 절대 기준 위치에 대해서는 말하지 않고 상대적 기준으로 추정을 향상시킵니다.

이제 모델을 빌드 할 때 모든 데이터 세트에 적용 할 단계별 절차를 정의한다고 가정합니다. 중지 규칙으로 무엇을 지정해야합니까? 적어도 객관적인 정지 점을 제공하는 모델 오류를 바인딩 할 수 있습니까? (이것은 검증 샘플을 사용하여 훈련을 중지하는 것과 다릅니다. 실제 DGP가 아닌 평가 된 모델 클래스 내에 중단 점을 제공하기 때문에)

modeling inference aic

— 카 다스 오즈 겐크
소스

질문에 추론 이외의 다른 태그 (예 : 일부 모델링 태그 및 모델 선택)를 추가해야한다고 생각합니다. 나는 이것과 관련이 있다고 Occam의 면도기 라고 생각합니다 . 여기 에 나와있는 그것이 베이지안 모델링 WRT하는 논문도있다.

— Gumeo

전체 분포가 정확하다고 생각하지 않고 (M 추정, 일반화 된 추정 방정식 참조) 등이 아니라 특정 모수를 추정하는 데 특히 좋기 때문에 특정 모델을 작성하는 경우도 있습니다. 따라서 적절한 위치 추정에 관심이있는 경우, 잘못된 모델이지만 노이즈가 쉽게 발생하지 않는 모델을 사용하는 것이 좋습니다 (관심 매개 변수의 경우). 일반적으로 강력한 추정을 참조하십시오.

매우 흥미로운 질문입니다. 최소한 베이지안 설정에서 하나를 선택하는 것보다는 그 모델의 그럴듯한 부분 집합에 대한 질문을 제기한다는 의견 일뿐입니다. 나는 OP의 질문에 대한 이론적 인 방법을 확신하지 못하고 실제로 선택한 모델이 우리가 해결하려는 문제에 충분한 지 여부에 의해 수행되는 것으로 추측합니다. 아마도 MCMC 방법 또는 이와 유사한 방법으로 모델을 선택해야합니다! 이를 위해 중첩 된 MCMC 접근 방식을 구상 할 수 있습니다.

— Luca

@Luca이 작업이 완료되었습니다. 그러나 이전 베이지 안에서 정의한 모형의 공간이 실제 모형을 포함하거나 포함하지 않을 수 있으므로 문제가 남아 있습니다. 모델 오류가 발생한 경우에도 실제 DGP에 대한 평균 모델의 오류입니다.

— Cagdas Ozgenc

질문에 +1 많은 부분에서 문제는 철학적 또는 epistemiological 있습니다 즉,뿐만 아니라 "우리가 알고 우리가 알고 어떻게 무엇을"하지만 "무엇을 할 수 우리가 알고있는 방법을 수있는 우리가 알고?" 물리학 자 Richard Feynman은 다음과 같이 말했습니다 : "언젠가 틀린 것으로 보이지 않는 답을 찾는 것은 불가능합니다." 다시 말해서, 당신이 종교적이지 않다면, 무엇 을 정박해야하는지에 대한 명백하고 영원한 근거가 존재하는지는 의심의 여지가 있습니다 . .

— Mike Hunter

답변:

불행히도이 질문에는 좋은 대답 이 없습니다 . 가능성을 불이익을주는 몇 가지 기준 (예 : AIC, BIC)을 사용하여 절대 오차, 제곱 오차를 최소화하고 가능성을 최대화한다는 사실을 기반으로 최상의 모델을 선택할 수 있습니다. 문제는 이러한 기준 중 어느 것도 객관적으로 가장 좋은 모델을 선택할 수는 없지만 비교하는 가장 좋은 모델을 선택할 수 있다는 것입니다. 또 다른 문제는 최적화하는 동안 항상 로컬 최대 / 최소로 끝날 수 있다는 것입니다. 또 다른 문제는 모델 선택에 대한 기준 선택이 주관적이라는 것 입니다. 많은 경우에, 당신은 의식적으로, 또는 반 의식적으로 당신이 관심있는 것을 결정하고 이것에 기초하여 기준을 선택합니다. 예를 들어, AIC 대신 BIC를 사용하면 매개 변수가 더 적은보다 포용적인 모델이됩니다. 일반적으로 모델링의 경우 우주에 대한 일반적인 결론을 이끌어내는보다 포용적인 모델에 관심이있는 반면, 예측할 때는 필요하지 않으며 때로는 더 복잡한 모델이 더 나은 예측력을 가질 수 있습니다. 그렇지 않습니다). 또 다른 경우에는, 때로는 더 복잡한 모델을 선호하는 실용적인 MCMC와 베이지안 모델을 추정 예를 들어, 이유, 계층을 가진 모델 hyperpriors는 하나의 간단한보다 시뮬레이션에 더 잘 작동 할 수 있습니다. 반면에 일반적으로 우리는 과적 합을 두려워합니다모델이 단순할수록 과적 합의 위험이 적으므로 더 안전한 선택입니다. 이에 대한 좋은 예는 자동 단계적 모델 선택 으로, 일반적으로 권장 치가 과도하게 적합하고 편향되어 있기 때문에 권장되지 않습니다. Occam의 면도칼 이라는 철학적 인 주장도 있습니다 . 가장 간단한 모델이 선호되는 모델입니다. 우리는 여기서 다른 모델을 비교하면서 논의하고 있지만 실제 상황에서는 다른 통계 도구를 사용하면 다른 결과를 초래할 수 있으므로 방법을 선택하는 추가 계층이 있습니다!

이 모든 것은 우리가 결코 확신 할 수 없다는 슬프지만 재미있는 사실로 이어집니다. 우리는 불확실성으로 시작하고, 그것을 다루기 위해 방법을 사용하며, 결국 불신으로 끝납니다. 이것은 역설적 일 수 있지만, 우리 는 세계가 불확실하고 확률 적이 라고 믿기 때문에 (그렇지 않으면 선지자의 직업을 선택할 것이므로) 통계를 사용한다는 것을 기억 하십시오. 그러면 어떻게 다른 결론을 내릴 수 있을까요? 객관적인 중지 규칙이 없으며 가능한 여러 모델이 있습니다. 모두가 복잡하고 (일관 적으로 변경되고 확률이 높은) 현실을 단순화하려고하기 때문에 모두 잘못되었습니다 (클 리치에 미안합니다!). 우리는 그들 중 일부가 우리의 목적에 다른 것보다 더 유용하다는 것을 알고 때로는 $\theta$ $\mu$

더 깊이 들어가서 현실에 "확률"과 같은 것은 없다는 것을 알 수 있습니다. 그것은 우리 주변의 불확실성의 근사치 일뿐 아니라 퍼지 논리와 같은 근사치의 대안도 있습니다 (1993 년 코스코 참조). 토론을 위해). 우리의 방법에 기초한 매우 기본적인 도구와 정리조차도 근사치이며 가능한 유일한 도구는 아닙니다. 우리는 그러한 설정을 확신 할 수 없습니다.

찾고있는 중지 규칙은 항상 문제 별적이고 주관적입니다. 즉 소위 전문적인 판단에 근거합니다. 그건 그렇고, 전문가 (에 의해 논문과 책에 부흥 예를 들어 일반인보다는 자신의 판단에 종종 더 나은 때로는 더 나쁜 것으로 나타났습니다 연구 사례가 많이있다 대니얼 카너먼은 하는 경향하면서), 지나친 자신감 (이 실제로 모델에 대해 "확실히" 하지 말아야하는 이유에 대한 논쟁 ).

B. 코스코 (1993). 퍼지 사고 : 퍼지 논리의 새로운 과학. 뉴욕 : Hyperion.

— 팀
소스

μ

$\mu$

그 주장은 그 가정이 만족 될 때 사실이다 (예를 들어 우리는 고정 된 표본을 받는다). 맥락에서 벗어나 가정을 위반하면 물론 거짓이 될 수 있습니다.

— Richard Hardy

@CagdasOzgenc은 규칙을 중지하거나 모델 오류를 측정 할 필요가없는 것보다 현실을 완벽하게 반영하는 모델을 만드는 방법이있는 모델입니다. 모델은 정의에 의해 완벽합니다. 당신이 알고있는 경우 같은 모델을 구축하기위한 규칙을 진정한 DGP는 바로 그러한 지식을 활용 알고 있기 때문에, 사실 DGP에서 해당 모델의 차이를 측정 할 필요가 없다. 반면, 모델이 보유한 데이터를 기반으로 단순화 된 경우 내 대답에 설명 된 것처럼 일반적인 통계 규칙이 적용됩니다.

— 팀

@CagdasOzgenc, "진실" 을 알고 있다면 중지 규칙보다 간단합니다. 모델이 "진실"에 맞으면 중지하십시오. 진실이 무엇인지 모르는 경우 "모든 모델이 [똑같이] 잘못되었습니다 ..."보다 통계를 사용해야합니다. 모르는 경우에는 발산을 측정 할 수 없습니다.

— Tim

@Luca 그것은 매우 의미 가 있지만 추상입니다.

— 팀

강력한 모수를 사용하지 않는 비모수 통계라는 필드가 있습니다. 그러나 피팅 모델 자체에 대한 우려는 유효합니다. 불행히도, "최적의"것으로 보편적으로 받아 들여지는 모델에 대한 기계적 절차는 없습니다. 예를 들어, 데이터의 가능성을 최대화하는 모델을 정의하려는 경우 경험적 분포 함수가 표시됩니다.

그러나 우리는 일반적으로 유한 한 첫 번째 순간과 두 번째 순간으로 연속되는 것과 같은 배경 가정과 제약이 있습니다. 이러한 경우에 한 가지 방법은 Shannon Differential Entropy와 같은 측정 값을 선택하고 경계 제약 조건을 만족하는 연속 분포 공간에서 최대화하는 것입니다.

내가 지적하고자하는 것은 ECDF를 기본값으로 사용하지 않으려면 데이터를 넘어서서 거기에 도달하기 위해 가정을 추가해야하며 주제 전문 지식이 필요하다는 것입니다. , 두려운 ..... 전문적인 판단

따라서 모델링의 보장 된 중단 점이 있습니까? 답은 '아니요'입니다. 멈출 수있는 충분한 장소가 있습니까? 일반적으로 그렇습니다. 그러나 그 점은 단순한 데이터와 통계적 요구 사항 이상에 달려 있습니다. 일반적으로 다양한 오류의 위험, 모델 구현에 대한 기술적 한계 및 추정치의 견고성을 고려합니다. 기타

@Luca가 지적했듯이 항상 모델 클래스를 평균화 할 수는 있지만 올바르게 지적했듯이 질문을 다음 수준의 하이퍼 매개 변수로 끌어 올릴 수 있습니다. 불행하게도, 우리는 무한하게 층을 이루는 양파 안에 살고있는 것처럼 보입니다 ... 양방향으로!