상대 비교 대신 절대적으로 사용할 수있는 모형 적합 통계 (예 : AIC 또는 BIC)가 있습니까?

나는이 문헌에 익숙하지 않기 때문에 이것이 명백한 질문이라면 용서해주십시오.

AIC와 BIC는 가능성을 최대화하는 데 의존하기 때문에 주어진 데이터 세트에 맞추려고 시도하는 모델 세트를 상대적으로 비교하는 데만 사용할 수 있습니다. 내 이해에 따르면 데이터 세트 1에서 모델 A의 AIC를 계산하고 데이터 세트 2에서 모델 B의 AIC를 계산 한 다음 두 AIC 값을 비교하고 (예 :) 판단하는 것은 의미가 없습니다. 모델 A는 데이터 세트 1이 데이터 세트 2보다 적합합니다. 또는 실수로 잘못했을 수도 있습니다. 알려주세요.

내 질문은 이것입니다 : 상대 비교 대신 절대적으로 사용할 수있는 모델 적합 통계가 있습니까? 선형 모델의 경우 와 같은 것이 작동합니다. 그것은 "좋은"가치가 무엇인지에 대한 정의 된 범위와 규율적인 아이디어를 가지고 있습니다. 좀 더 일반적인 것을 찾고 있으며 여기에서 전문가를 핑함으로써 시작할 수 있다고 생각했습니다. 누군가 전에 이런 종류의 생각을했을 것이라고 확신하지만 Google Scholar에서 생산적인 검색을 수행 할 올바른 용어를 잘 모르겠습니다. $R^2$

도움을 주시면 감사하겠습니다.

model-selection aic bic

— 나단 반 호우 노스
소스

모델 A가 데이터 세트 1에 적합하고 모델 B가 데이터 세트 2에 적합하면 모델과 데이터가 완전히 다릅니다. 정확히 무엇을 달성하려고합니까? BTW, 는 이와 관련하여 쓸모없는 것보다 나쁩니다. 비판에 대해서는 stats.stackexchange.com/questions/13314/…를 참조하십시오 .

R^{2}

$R^2$

— whuber

'더 일반적인'무엇을 의미합니까? 확장하려는 다른 유형의 모델에 대한 예를들 수 있습니까? 일부 모델은 접근 방식 (예 : lowess fit)에 쉽게 적용 할 수 있지만 다른 모델 (예 : 이항 데이터 적합)은 매우 어려울 수 있습니다.

R^{2}

$R^2$

— russellpierce

@ whuber 와우, 질문에 대한 멋진 답변입니다 ! 그러나 는 부적절 함을 제쳐두고 모델이 "절대"라는 의미에서 "좋은"상태라고 말하는 데 사용됩니다 (예 : "My 는 일반적으로 보는 것보다 낫습니다. "). 같은 목적을 달성하기 위해 보다 더 정당한 (그리고 일반적인) 통계를 찾고 있습니다 (예 : "My MagicStatistic은 더 좋을 것입니다 ..."). k- 폴드 교차 검증 점수를 정규화하지만, 누군가가 그런 일을 한 것처럼 보이지는 않습니다 (아마도 좋은 생각은 아닙니다)

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos

@Nathan 나는 어떤 점에서 강탈하거나 그것에 집착하는 것처럼 들리고 싶지 않다. 그러나 나는 그렇지 않다. 그러나 를 사용 하여 모델을 주장하는 사람들은 절대적으로 훌륭하다고 주장한다. 감각은 종종 잘못 될 수 있습니다. 의 한 가지 교훈은 모형 적합 통계량은 데이터 세트의 상황에서만 해석 할 수 있다는 것입니다. 두 데이터 세트에 공통점이없는 경우 두 통계를 비교한다는 것은 실제로 무엇을 의미합니까? 따라서 귀하의 질문에 대한 답변을 시작하려면 두 데이터 세트가 서로 어떻게 관련 될 수 있는지 가정해야합니다. 어떤 제안?

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

내가 말하고있는 영역에서 내가 상상할 수있는 유일한 것은 예측 정확도를 측정하는 것입니다. 두 개의 서로 다른 데이터 세트에서 두 모델의 품질을 비교할 수는 있지만 어느 것도 완벽하지는 않습니다.

— 매크로

Macro가 제안한 내용에 따라 찾고자하는 용어가 성능 측정이라고 생각합니다. 예측력을 평가하는 안전한 방법은 아니지만 다양한 모델의 피팅 품질을 비교하는 데 매우 유용한 방법입니다.

측정 값의 예는 평균 평균 백분율 오류이지만 더 많은 것을 쉽게 찾을 수 있습니다.

도로의 구멍 수를 설명하기 위해 ModelA와 함께 SetA를 사용하고 국가의 인원 수를 설명하기 위해 SetB와 modelB를 사용한다고 가정하면 물론 한 모델이 다른 모델보다 낫다고 말할 수는 없지만 더 정확한 설명을 제공하는 모델을 확인하십시오.

— 데니스 예허 루딘
소스

당신이 찾고있는 것을 정확하게 탐구하는 새로운 논문이 있습니다. Nakagawa와 Schielzeth (2013) 는 모델에서 설명 할 수없는 분산의 양을 정의하기 위해 "R2 GLMM"이라는 혼합 효과 모델에 대한 R² 통계량을 제시합니다.

조건부 R²GLMM은 고정 및 랜덤 요인 모두에 의해 설명 된 분산으로 해석됩니다.

한계 R²GLMM은 고정 계수로 설명 된 분산을 나타냅니다.

2014 년 Johnson 은 랜덤 슬로프 모델을 설명하기 위해 방정식을 업데이트했습니다.

행복하게도 R의 패키지 "MuMIn"을 사용하여 한계 및 조건부 R²GLMM을 쉽게 계산할 수 있습니다 ( Barton, 2015 ).

— 신성
소스