모델 복잡성 측정

19

동일한 수의 매개 변수로 두 모델의 복잡성을 어떻게 비교할 수 있습니까?

편집 09/19 : 명확히하기 위해 모델 복잡성은 제한된 데이터에서 배우기가 얼마나 어려운지를 측정합니다. 두 모델이 기존 데이터에 동일하게 적합 할 경우 복잡성이 낮은 모델은 향후 데이터에 대한 오류를 줄입니다. 근사값을 사용하는 경우 기술적으로 항상 사실은 아니지만 실제로 적용되는 경향이 있으면 괜찮습니다. 다양한 근사치로 복잡한 측정 방법이 다릅니다

model-selection

— 야로슬라프 불라 토프
소스

모델에서 사용할 수있는 속성에 대한 자세한 정보를 제공 할 수 있습니까?

— shabbychef

이것은 일종의 공개 질문이므로 내 질문은 복잡성을 측정하기 위해 어떤 종류의 속성이 필요합니까? 가장 기본적인 수준에서 확률 모델은 확률 분포의 집합이며, 가장 적합한 멤버를 선택하여 모델에 데이터를 적합시킵니다

— Yaroslav Bulatov

3

"복잡성"이란 무엇입니까? (이것은 플립 팬트 질문이 아닙니다!) 공식적인 정의가 없으면, 우리는 무언가의 유효한 비교를 할 수 없습니다.

— whuber

그것이 본질적으로 요구하는 것입니다

— Yaroslav Bulatov

2

그러나 "복잡성"이라는 단어로 캡처하려는 모델의 측면에 대한 힌트를 적어도 우리에게 줄 수는 없습니까? 그것 없이는,이 질문은 단지 하나의 합리적인 대답을 인정하기 위해 모호하다.

— whuber

12

최소 설명 길이 (예 : 정규화 된 최대 가능성, Fisher 정보 근사) 의 다양한 측정 외에 언급 할만한 두 가지 다른 방법이 있습니다.

파라 메트릭 부트 스트랩 . 까다로운 MDL 측정보다 구현이 훨씬 쉽습니다. 좋은 논문은 Wagenmaker와 동료들에 의해 작성되었습니다 :
Wagenmakers, E.-J., Ratcliff, R., Gomez, P. & Iverson, GJ (2004). 파라 메트릭 부트 스트랩을 사용하여 모델 모방을 평가합니다 . 수학 심리학 저널 , 48, 28-50.
초록 :

우리는 경쟁 모델에 의해 생성 된 데이터를 설명하는 모델의 능력으로 정의 된 모델 모방을 정량화하기위한 일반적인 샘플링 절차를 제시한다. 파라 메트릭 부트 스트랩 교차 피팅 방법 (PBCM; cf. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23) 참조)이라고하는이 샘플링 절차는 적합도 차이의 분포를 생성합니다. 각 경쟁 모델에서 예상됩니다. PBCM의 데이터 정보 버전에서, 생성 모델은 실험 데이터를 고려하여 얻은 특정 파라미터 값을 갖는다. 데이터에 따른 차이 분포는 모델 적합성의 정량화를 위해 적합도의 관측 된 차이와 비교 될 수 있습니다. PBCM의 정보가없는 버전의 데이터에서 생성 모델은 사전 지식에 기초하여 비교적 광범위한 파라미터 값을 갖는다. 정보가 제공되는 데이터와 정보가없는 PBCM이 모두 적용되는 예는 몇 가지 예와 함께 설명됩니다.

업데이트 : 일반 영어로 모델 흉내를 평가합니다. 경쟁하는 두 가지 모델 중 하나를 선택하고 해당 모델에 대한 매개 변수 세트를 임의로 선택합니다 (정보 제공 여부). 그런 다음 선택한 매개 변수 세트를 사용하여이 모델에서 데이터를 생성합니다. 다음으로 두 모델이 생성 된 데이터를 맞추고 두 후보 모델 중 어느 것이 더 잘 맞는지 확인하십시오. 두 모델이 모두 유연하거나 복잡한 경우 데이터를 생성 한 모델이 더 적합해야합니다. 그러나 다른 모델이 더 복잡한 경우 데이터가 다른 모델에서 생성되었지만 더 적합 할 수 있습니다. 두 모델 모두에서이 작업을 여러 번 반복합니다 (즉, 두 모델 모두 데이터를 생성하고 두 모델 중 어느 것이 더 적합한 지 확인하십시오). 다른 모델에서 생성 된 데이터를 "과적 합"하는 모델이 더 복잡합니다.
교차 검증 : 구현하기도 쉽습니다. 이 질문에 대한 답변을 참조하십시오 . 그러나 문제는 샘플 절단 규칙 (leave-one-out, K-fold 등) 중에서 선택할 수없는 규칙입니다.

— 헨릭
소스

나는 "모델 모방"을 이해하지 못하지만 교차 검증은 복잡성 평가 작업을 연기하는 것 같습니다. 교차 검증에서 와 같이 데이터를 사용하여 매개 변수 와 모델 을 선택 하는 경우 관련 질문은이 "메타"피팅이 제대로 수행하는 데 필요한 데이터 양을 추정하는 방법이됩니다.

— Yaroslav Bulatov

@ Yaroslaw : 교차 유효성 검사와 관련된 문제를 실제로 이해하지 못하지만 정직하게 말하면 전문가는 없습니다. 그러나 모델 모방을 측정하기위한 포인트를 만들고 싶습니다. 따라서 업데이트 된 답변을 참조하십시오.

— Henrik

4

실제 모델 피팅 절차에 달려 있다고 생각합니다. 일반적으로 적용 가능한 측정의 경우 Ye 1998에 설명 된 일반화 된 자유도 ( 기본적으로 관측치 교란에 대한 모델 추정값의 변경 민감도)를 고려할 수 있습니다. 이는 모델 복잡성 측정에 매우 효과적입니다.

— Ars
소스

흠 ...이 논문은 모든 회귀에 관한 것입니다. 이것이 불연속 확률 추정에 사용될 수 있는지 궁금합니다. 또한 나는 그가 동기를 부여하는 동기를 이해하지 못한다. gdf는 데이터의 작은 변화에 대한 매개 변수의 민감도이지만 왜 중요한가? 원래 매개 변수화에서 매개 변수의 작은 변화가 새로운 매개 변수화의 큰 변화에 해당하는 다른 매개 변수화를 선택할 수 있으므로 데이터에 더 민감 해 보이지만 동일한 모델입니다.

— Yaroslav Bulatov

Yaroslav :> * 원래 매개 변수화에서 매개 변수의 작은 변화가 새로운 매개 변수화에서 큰 변화에 해당하는 다른 매개 변수화를 선택할 수 있습니다. 따라서 데이터에 더 민감하게 보일 것입니다. * 예를들 수 있습니다 (아핀 등변 량 추정기를 포함)? 감사합니다

— user603

1

선형 회귀 분석의 DoF는 모자 매트릭스의 흔적 또는 감도의 합으로 해결되므로 동기 부여 / 개념이 그다지 멀지 않습니다. Tibshirani & Knight는 감도 대신 모형 추정치의 공분산을 조사하는 공분산 인플레이션 기준을 제안했습니다. GDF는 카트 및 웨이블릿 임계 값 (예 : 적응 형 모델 선택에 대한 논문에 자세한 내용이 있음) 및 복잡성을 제어하기위한 앙상블 방법과 같은 여러 모델 절차에 적용된 것으로 보이지만 이산 적 추정 사례는 알 수 없습니다. 시도해 볼만한 가치가있을 것입니다.

— ars

"동종 등변 량 추정값"에 대해 모르지만 대신 최대 가능성 추정값에 의존한다고 가정합니다. 여기서 q는 f입니다. p0, q0이 해당 매개 변수화에서 MLE 추정값을 나타내도록하십시오. p0, q0은 다른 점근 적 분산을 가지지 만 모델링 데이터 측면에서 동등합니다. 문제는 매개 변수화가 예상되는 위험을 나타내는 매개 변수의 민감도에 달려 있다는 것입니다.

— Yaroslav Bulatov

4

최소 설명 길이 (MDL) 및 최소 메시지 길이 (MML)는 확실히 확인할 가치가 있습니다.

MDL에 관한 한, NML (Normalized Maximum Likelihood) 절차와 점근 적 근사를 나타내는 간단한 논문은 다음과 같습니다.

S. de Rooij & P. Grünwald. 무한 파라 메트릭 복잡성을 가진 최소 설명 길이 모델 선택에 대한 경험적 연구. 수학 심리학 저널, 2006, 50, 180-192

여기에서는 기하 형 대 포아송 분포의 모형 복잡성을 살펴 봅니다. MDL에 대한 훌륭한 (무료) 튜토리얼은 여기 에서 찾을 수 있습니다 .

또는 MML과 MDL로 조사한 지수 분포의 복잡성에 관한 논문을 여기 에서 찾을 수 있습니다 . 불행히도 MML에 대한 최신 자습서는 없지만이 책 은 훌륭한 참고 자료이며 적극 권장됩니다.

— Emakalic
소스

1

나는 그 논문을 읽었으며 확률 론적 복잡성은 같은 차원의 모델을 구별 할 수없는 문제를 해결하지만 때로는 다른 차원의 모델을 구별 할 수없는 문제를 야기하는 것처럼 보인다. 기하 분포에는 무한한 복잡성이 부여되는데, 이러한 단순한 모델에 대해 기대하지 않는 것은 확실합니다!

— 야로슬라프 불라 토프

무한 확률 론적 복잡성 (SC)에 관한 아주 좋은 지적. 무한 SC 문제에 대한 해결책은 존재하지만 그다지 우아하지는 않다. 리사 넨의 재 정규화는 선형 모델에서는 잘 작동하지만 포아송 / 기하학적 문제에는 쉽지 않습니다. Poisson / Geometric 데이터의 MML (또는 SMML) 인코딩은 괜찮습니다.

— emakalic

3

최소 설명 길이 는 추구 할만한 가치가 있습니다.

— 콜라 사
소스

2

간단한 참고 사항 : 최소 설명 길이는 매우 강력하고 유용하지만 특히 큰 데이터 세트와 함께 표준화 된 최대 가능성을 사용하는 경우 결과를 얻는 데 오랜 시간이 걸릴 수 있습니다. 나는 한 번에 하나 개의 모델을 얻기 위해 FORTRAN 코드를 실행 십일했다

— 데이브 캘런에게

2

"모델 복잡성"은 일반적으로 모델 공간의 풍부함을 의미합니다. 이 정의는 데이터에 의존하지 않습니다. 선형 모형의 경우 모형 공간의 풍부함은 공간의 축소로 사소하게 측정됩니다. 이것은 일부 저자들이 "자유도"라고 부르는 것입니다 (역사적으로 자유도는 모형 공간과 표본 공간의 차이를 위해 예약되었습니다). 비선형 모델의 경우 공간의 풍부함을 정량화하는 것이 쉽지 않습니다. 일반화 된 자유도 (ars의 답변 참조)는 그러한 척도입니다. 실제로 매우 일반적이며 나무, KNN 등과 같은 "이상한"모델 공간에 사용할 수 있습니다. VC 차원이 다른 척도이다.

위에서 언급 한 것처럼, "복잡성"에 대한이 정의는 데이터에 독립적입니다. 따라서 동일한 수의 매개 변수를 가진 두 모델은 일반적으로 동일한 "복잡성"을 갖습니다.

— 존 로스
소스

1

Yaroslav의 의견에서 Henrik의 답변까지 :

그러나 교차 유효성 검사는 복잡성 평가 작업을 연기하는 것 같습니다. 교차 검증에서와 같이 데이터를 사용하여 매개 변수와 모델을 선택하는 경우 관련 질문은이 "메타"피팅이 제대로 수행하는 데 필요한 데이터 양을 추정하는 방법이됩니다.

$k$ $k$ $k$ $CV(k)$ $k$ $k$

절차의 결과가 표본 예측 오차와 차이가있는 용어 (단위)이므로 직접적으로 '의미'풍미를 줄 수 있습니다.

— 사용자 603
소스

1

Cross Validation이 모델 복잡성 측정 문제를 해결한다는 데 동의합니다. 실제 질문은 피팅 절차의 샘플 복잡성이므로 잘못된 질문을 할 수도 있습니다. 교차 검증 된 학습자는 다른 모델을 시도하고 교차 검증 오류가 가장 낮은 모델을 선택합니다. 이제 문제는이 학습자가 단일 모델에 맞는 것보다 최대 가능성에 비해 과잉 적합 할 가능성이 있습니까?

— 야로슬라프 불라 토프

Yaroslav Bulatov :> 예. ML을 사용하여 중첩 모델 만 비교할 수 있습니다. 동일한 수의 매개 변수로 모델을 언급 한 한 (네 질문에서) 중첩 할 수 없습니다.

— user603

또 다른 문제는 교차 검증이 모델 복잡성에 대한 이해에 추가되지 않는다는 것입니다. AIC / BIC와 같은 측정법을 사용하면 많은 매개 변수가 과적 합을 촉진한다는 것이 분명해집니다. 이제 차원 이외의 모델의 어떤 부분이 과적 합 능력을 증가 시키는가에 대한 의문이 생깁니다.

— 야로슬라프 불라 토프

Yaroslav :> 다시 한 번, 아주 좋은 지적입니다.

— user603

오버 피팅이 신호에 더해 노이즈를 맞추기위한 모델 피팅 절차의 경향 인 경우 해당 절차가 어디에서 발생할 수 있는지 살펴볼 수 있습니다. 아마도 상상력이나 지식이 부족하기 때문에 몇 가지 다른 절차를 고려하면서 이것을 "매개 변수 수"(또는 "유효한 매개 변수 수")로 복원 할 수없는 것으로 줄일 수 없었습니다. 우리는 이것을 머리 위로 뒤집어 놓고 물어볼 수 있습니다. 그런 다음 Ye의 GDF와 같은 조치에 도달합니다.

— ars

0

모델 비교를위한 정보 기준은 어떻습니까? 예를 들어 http://en.wikipedia.org/wiki/Akaike_information_criterion을 참조하십시오

모델 복잡도는 모델의 매개 변수 수입니다.

— Brause42
소스

AIC는 모델 복잡성의 척도가 아닙니다.

— Sven Hohenstein

@SvenHohenstein은 그의 마지막 문장에서 AIC 자체 가 모델 복잡성의 척도 라고 제안하지 않는다고 주장합니다 . Brause42,이 질문은 특히 같은 수의 매개 변수가있는 모델에 대해 묻습니다. 따라서 AIC는 SSE 또는 이탈 또는 기타로 줄어 듭니다.

— gung-Monica Monica 복원