변수 선택과 모델 선택

따라서 변수 선택은 모델 선택의 일부라는 것을 알고 있습니다. 그러나 모델 선택은 정확히 무엇으로 구성됩니까? 다음 이상입니다 :

1) 모형의 분포를 선택하십시오

2) 설명 변수를 선택하십시오.

나는 Burnham & Anderson : AIC vs BIC 기사를 읽고 모델 선택에서 AIC와 BIC에 대해 이야기 하기 때문에 이것을 묻습니다 . 내가 '변수 선택'과 같은 '모델 선택'의 생각이었다 실현이 기사를 읽기 (심판. 코멘트 합니까 BIC 진정한 모델을 찾으려고? )

기사에서 발췌 된 "일반성"수준이 높은 12 개 모델에 대한 발췌문에서 이러한 모델은 KL 정보가 12 개 모델에 대해 표시 될 때 "테이핑 효과"(그림 1)를 보여줍니다.

다른 철학과 목표 모델 ... BIC의 목표는 AIC의 목표 모델보다 더 일반적인 모델 임에도 불구하고, n 이 매우 크지 않으면 BIC가 가장 자주 선택한 모델은 모델 7보다 덜 일반적 입니다. 모델 5 또는 6 일 수 있습니다. 수많은 논문과 논문의 시뮬레이션에서 테이퍼링 효과 컨텍스트 (그림 1)에서 AIC가 BIC보다 우수한 것으로 알려져 있습니다. 이것이 실제 데이터 분석의 맥락이라면 AIC를 사용해야합니다.

어떻게 BIC 수 이제까지 내가 이해하지 못하는 모델 선택에서 AIC보다 더 복잡한 모델을 선택! "모델 선택"이란 무엇이며 BIC는 언제 AIC보다 "일반적인"모델을 선택합니까?

변수 선택에 대해 이야기하고 있다면 BIC는 항상 가장 적은 양의 변수가있는 모델을 선택해야합니다. 맞습니까? BIC 의 항은 항상 AIC 의 항 보다 추가 된 변수에 불이익을 줍니다. 그러나 " BIC의 목표가 AIC의 목표 모델보다 더 일반적인 모델 "인 경우에는 이것이 합리적이지 않습니까? $2ln(N)k$ $2k$

편집 :

의 주석에 대한 논의에서 다른 이상 AIC 또는 BIC를 선호 할 이유가 있습니까? 우리는 의견에서 @Michael Chernick과 @ user13273 사이의 작은 토론을 보았습니다.

이 토론을 "특징"선택 또는 "공변량"선택이라고 부르는 것이 더 적절하다고 생각합니다. 저에게 모델 선택은 오류 분포, 링크 함수 형태 및 공변량 형태를 지정하는 것보다 훨씬 광범위합니다. AIC / BIC에 관해 이야기 할 때, 일반적으로 공변량의 선택을 제외하고 모델 구축의 모든 측면이 고정 된 상황에 있습니다. – user13273 8 월 13 일 12시 21:17

모델에 포함시킬 특정 공변량을 결정하는 것은 일반적으로 모델 선택이라는 용어로 진행되며 제목에 모델 선택이 포함 된 많은 책이 모델에 포함시킬 모델 공변량 / 파라미터를 주로 결정합니다. – Michael Chernick 8 월 24 '12시 14:44

— 에로 신
소스

좋은 질문! 해상도의 적어도 일부는이 논문의 용어에서 BIC의 "목표"를 구별하는 것입니다. 실제 모델은 매우 큰 표본 크기로 선택합니다.-특정 표본으로 선택하는 모델입니다. 크기. 증가하는 번호를 가진 중첩 된 모델 시퀀스를 고려할 때 모순이 없습니다. 매개 변수 는 BIC 의 목표가 9 개의 매개 변수를 가진 모델이라고 말하지만, 중간 크기의 샘플에서는 BIC가 4 개의 매개 변수를 가진 모델과 AIC를 6을 가진 모델로 선택합니다.

— Scortchi-Reinstate Monica

@Scortchi : 좋은 예입니다. 그러나 중첩 모델에 대해 이야기 할 때 대상 모델 의 개념이 완전히 중복되지는 않습니까? 컨텍스트가 중첩 된 모델 세트 인 경우 (변수 선택에 대해 이야기하는 경우) : BIC는 더 복잡한 대상 모델을 가질 수 있지만 AIC보다 더 복잡한 모델을 선택 하지는 않습니다 . 다른 맥락에서 (모델 선택에 대해 이야기하고 있음) (큰 표본 크기)이 논문은 BIC가 AIC보다 더 복잡한 ( "일반적인") 목표 모델을 선택할 것이라고 주장합니다. 이것이 어떻게 구체적으로 일어나는지는 여전히 명확하지 않습니다.

— Erosennin

@Erosennin 당신은이 일반적인 질문에 대한 답변을 찾은 적이 있습니까?

— zipzapboing

때때로 모델러는 모델 선택에서 변수 선택을 별개의 단계로 분리합니다. 예를 들어, 그들은 먼저 탐색 적 분석을 수행하고 학술 문헌 및 산업 관행을 연구 한 다음 후보 변수 목록을 제시합니다. 이 단계 변수 selection 이라고 부릅니다 .

y_{i} = \sum_{j_{m}} X_{i j_{m}} β_{j_{m}} + ε_{i},

$y_i=\sum_{j_m} X_{ij_m}\beta_{j_m}+\varepsilon_i,$

j_{m}

$j_m$

j

$j$

m

$m$

m

$m$

이것은 기계 학습에서 변수를 생각 해낼 때 기능 공학 에 대해 이야기하는 방식과 유사 합니다. 이러한 기능 (변수)을 사용하여 모델을 빌드하는 LASSO 또는 유사한 프레임 워크에 기능을 연결합니다. 이 문맥에서 변수 선택을 별개의 단계로 분리하는 것이 합리적입니다. 알고리즘에서 변수에 대한 올바른 계수를 선택하고 변수를 제거하지 않기 때문입니다. 변수 선택 단계에서 (변수가 모델에 들어가는 것에 대한) 판단이 분리되고 나머지는 피팅 알고리즘에 달려 있습니다.

$m$

— 악사 칼
소스