파시 모니가 여전히 황금 표준이어야합니까?

그냥 생각 :

Parsimonious 모델은 항상 모델 선택에서 기본으로 사용되었지만이 방법은 어느 정도 구식입니까? parsimony에 대한 우리의 경향이 abaci와 슬라이드 규칙의 시간 (또는 더 심각하지 않은 현대 컴퓨터)의 유물인지 궁금합니다. 오늘날의 컴퓨팅 성능을 통해 예측 능력이 더욱 강화 된 복잡한 모델을 구축 할 수 있습니다. 이러한 컴퓨팅 성능의 상한이 높아짐에 따라 우리는 여전히 단순성으로 나아가 야합니까?

물론 더 간단한 모델은 이해하고 해석하기가 더 쉬워 지지만 점점 더 많은 변수를 가진 데이터 세트 시대와 예측 기능에 더 중점을두고있는 시대에는 더 이상 달성 할 수 없거나 필요하지 않을 수도 있습니다.

생각?

@Matt의 원래 답변 은 parsimony의 이점 중 하나를 설명하는 데 큰 도움이되지만 실제로 귀하의 질문에 대답하지는 않습니다. 실제로, parsimony는 금본위 제가 아닙니다. 지금도 아니었다. parsimony와 관련된 "골드 표준"은 일반화 오류입니다. 우리는 지나치게 적합하지 않은 모델을 개발하고 싶습니다. 이는 샘플에서와 같이 샘플에서 예측 (또는 해석 가능하거나 최소 오류)에 유용합니다. parsimony는 실제로 일반화 오류에 대한 훌륭한 대리자라는 것이 밝혀졌습니다 (그러나 위에 배치 된 것들 때문에).

실제로 교차 검증 또는 부트 스트랩 또는 교육 / 테스트 세트를 사용하는 이유를 생각해보십시오. 목표는 일반화 정확도가 좋은 모델을 만드는 것입니다. 많은 시간 동안, 샘플 성능을 추정하는 이러한 방법은 복잡성이 낮지 만 항상 그런 것은 아닌 모델을 선택하게됩니다. 극단적 인 예로 오라클이 우리에게 진실하지만 매우 복잡한 모델과 가난하지만 포만적인 모델을 제시한다고 상상해보십시오. 만약 parsimony가 정말로 우리의 목표라면 우리는 두 번째를 선택하지만 실제로는 첫 번째가 우리가 할 수 있는지 배우고 싶은 것입니다. 불행히도 마지막 문장은 "우리가 할 수 있다면"키커입니다.

Parsimonious 모델은 컴퓨팅 요구 사항뿐만 아니라 일반화 성능으로 인해 바람직합니다. 샘플 공간을 완벽하고 정확하게 커버하는 무한한 데이터의 이상을 달성하는 것은 불가능합니다. 이는 비 유례 적 모델이 샘플 모집단에서 노이즈 또는 특유성을 과적 합하고 모델링 할 가능성이 있음을 의미합니다.

수백만 개의 변수로 모델을 만들 수는 있지만 출력에 영향을 미치지 않는 변수를 사용하여 시스템을 모델링 할 수 있습니다. 훈련 데이터 세트에서 예측 성능을 크게 달성 할 수 있지만 관련이없는 변수는 보이지 않는 테스트 세트에서 성능을 저하시킬 가능성이 높습니다.

출력 변수가 실제로 백만 개의 입력 변수의 결과 인 경우 충분한 데이터가있는 경우에만 예측 모델에 모두 넣는 것이 좋습니다 . 이 크기의 모델을 정확하게 구축하려면 최소한 수백만 개의 데이터 포인트가 필요합니다. 많은 실제 시스템에서이 크기의 데이터 집합을 사용할 수없고 결과는 상대적으로 적은 수의 변수에 의해 결정되므로 Parsimonious 모델은 유용합니다.

이전 답변이 중요한 지적을하는 데 도움이된다고 생각합니다.

• Parsimonious 모델은 일반화 특성이 더 나은 경향이 있습니다.
• Parsimony는 진정한 황금 표준이 아니라 고려 사항입니다.

나는 일상적인 업무 경험에서 나오는 몇 가지 의견을 추가하고 싶습니다.

예측 정확도 논증의 일반화는 물론 강력하지만, 학문적으로 초점이 맞습니다. 일반적으로 통계 모델을 생성 할 때 경제는 예측 성능이 완전히 지배적 인 고려 사항이 아닙니다. 주어진 응용 프로그램에 유용한 모델이 어떻게 보이는지에 대한 큰 외부 제약이 종종 있습니다.

• 모델은 기존 프레임 워크 또는 시스템 내에서 구현할 수 있어야합니다 .
• 비 기술적 실체가 모델을 이해할 수 있어야합니다 .
• 모델은 계산적 으로 효율적 이어야합니다 .
• 모델은 문서화 가능 해야합니다 .
• 모델은 규제 제약 조건을 통과해야합니다 .

실제 응용 프로그램 도메인에서 모든 이러한 고려 사항의 경우 많은 사람들이 와서 전에 하지, 후 및 모델의 형태와 매개 변수의 최적화한다 - 예측 성능, 제약 이 욕망에 의해. 이러한 각 제약 조건은 과학자를 파시 모니쪽으로 편향시킵니다.

많은 영역에서 이러한 제약이 점차 높아지고있는 것이 사실 일 수 있습니다. 그러나 그것들을 무시하게 된 것은 운이 좋게 과학자 인 것이 일반화 오류를 최소화하는 데 전적으로 초점을 맞추고 있습니다.

이것은 처음으로 과학자에게 매우 실망 스러울 수 있습니다. 학교 밖에서 새로 온 것입니다. 그러나 결국 허용 할 수없는 제품을 생산하기 위해 열심히 노력하는 것은 낭비이며 이는 과학적 자부심에 대한 욕구보다 더 나쁘게 느껴집니다.

나는 이것이 매우 좋은 질문이라고 생각합니다. 제 생각에는 parsimony가 과대 평가되었습니다. 자연이 거의 포용 적이 지 않으므로 정확한 예측 또는 설명 모델이 반드시 필요한 것은 아닙니다. 해석의 문제와 관련하여 현실을 이해할 수 있기 때문에 현실에만 적합하도록 단순한 모델을 선택하면 정확히 무엇을 이해하고 있습니까? 더 복잡한 모형이 더 나은 예측력을 가졌다 고 가정하면 실제 사실에 더 가까운 것으로 보입니다.

Parsimony는 금빛 시작이 아닙니다. 모델링의 한 측면입니다. 모델링 및 특히 예측은 스크립팅 할 수 없습니다. 즉, 스크립트를 모델러에게 전달하여 수행 할 수는 없습니다. 모델링 프로세스의 기반이되는 원칙을 정의하십시오. 따라서, parsimony는 이러한 원칙 중 하나이며, 적용 할 수 없습니다 (다시!). 모델러는 모델을 선택할 때 복잡성을 고려합니다.

계산력은 이와 관련이 없습니다. 업계에 종사하는 경우 비즈니스 담당자, 제품 담당자, 전화를 건 사람이 모델을 소비하게됩니다. 당신은해야한다, 그들에게 모델을 설명해야 감각을 그들에게. parsimonious 모델을 갖는 것은 이와 관련하여 도움이됩니다.

예를 들어 제품 판매를 예측하고 있습니다. 영업 의 원동력 과 그 작동 방식 을 설명 할 수 있어야합니다 . 비즈니스와 관련된 개념과 관련이 있어야하며 비즈니스가 상관 관계 를 이해하고 수용해야합니다. 복잡한 모형을 사용하면 모형의 결과를 해석하거나 실제와의 차이를 나타내는 것이 매우 어려울 수 있습니다. 비즈니스에 모델을 설명 할 수없는 경우 가치가 없습니다.

예측에 특히 중요한 것이 하나 더 있습니다. 모델이 N 외인성 변수에 의존한다고 가정 해 봅시다. 즉, 종속 변수를 예측하려면 먼저 이러한 변수의 예측을 얻어야합니다. N이 작을수록 삶이 더 쉬워 지므로 더 간단한 모델을 사용하는 것이 더 쉽습니다.

어제 세렌디피티에 의해서만 발견 된 개념 인 Akaike Information Criterion에 대한 리뷰가있을 것 입니다. AIC는 기본적인 Occam 's Razor 또는 parsimony 접근법보다는 현재 관측에 가장 적합한 설명이되는 모델과 몇 개의 매개 변수를 식별하려고합니다.