Firth 로지스틱 회귀 분석을 통한 모델 선택

내가 작업하고 있는 작은 데이터 세트 ( )에서 여러 변수가 완벽한 예측 / 분리를 제공 합니다. 따라서 Firth 로지스틱 회귀 를 사용하여 문제를 해결합니다. $n\sim100$

AIC 또는 BIC에 의해 최상의 모델을 선택할 경우 이러한 정보 기준을 계산할 때 Firth 페널티 항을 가능성에 포함시켜야합니까?

— StasK
소스

변수 선택이 "너무 많은 변수, 너무 작은 표본 크기"문제에 도움이되지 않기 때문에 불가피한 이유를 설명해 주시겠습니까?

— Frank Harrell

그것은 얻는만큼 나쁘다.

— Frank Harrell

이 문제를 베이지안 추론 문제로 취급하는 것을 고려 했습니까? Firth 로지스틱 회귀는 jeffreys가있는 MAP과 같습니다. 완전 라플라스 근사법을 사용하여 한계 확률을 평가할 수 있습니다.-조정 된 BIC와 유사합니다 (AICc와 유사)

— 확률 론적

@user, 이러한 변수는 일반적으로 소수의 사례 만 예측하므로 재현 할 수 없습니다. 해당 셀의 실제 확률은 90 %에 가깝지만 두 건의 사례 만 있으면 81 %의 시간을 얻을 수 있습니다. .

— StasK

다운로드 K & K 링크는 (1996) 논문은 Google 학술 검색에서 찾을 bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Alecos 파파도풀로스

BIC의 사용을 정당화하려는 경우 : 최대 우도를 최대 사후 측정 (MAP) 추정값으로 대체 할 수 있으며 결과 'BIC'유형 기준은 무조건 유효한 상태로 유지됩니다 (샘플 크기 로 제한 ). @probabilityislogic에서 언급했듯이 Firth의 로지스틱 회귀는 Jeffrey의 이전 회귀를 사용하는 것과 같습니다 (따라서 회귀 적합도에서 얻은 것은 MAP입니다). $n \to \infty$

p_{y} (y) = \int L (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

측설로서 Firth 회귀는 지수 패밀리에서 1 차 편향을 제거합니다.

— 난민
소스