로지스틱 회귀 분석의 표본 크기?

설문 조사 데이터에서 물류 모델을 만들고 싶습니다. 응답자 154 명만 인터뷰 한 4 개의 거주지 식민지에 대한 소규모 조사입니다. 내 종속 변수는 "만족스러운 전환으로 작동"입니다. 154 명의 응답자 중 73 명은 만족스럽게 직장으로 전환했지만 나머지는 그렇지 않다는 것을 알았습니다. 따라서 종속 변수는 본질적으로 이진이며 로지스틱 회귀를 사용하기로 결정했습니다. 7 개의 독립 변수가 있습니다 (3 개의 연속 및 4 개의 명목). 한 지침은 각 예측 변수 / 독립 변수에 대해 10 개의 사례가 있어야한다고 제안합니다 (Agresti, 2007). 이 지침을 바탕으로 로지스틱 회귀 분석을 실행해도된다고 생각합니다.

내가 맞아? 그렇지 않은 경우 독립 변수의 수를 결정하는 방법을 알려주십시오.

여기 몇 가지 문제가 있습니다.

일반적으로 최소 허용 가능한 통계적 수준을 달성하기 위해 최소 표본 크기를 결정하려고합니다 . 필요한 샘플 크기는 여러 요소, 주로 0과 구별 할 수있는 효과의 크기 (또는 사용하는 null이지만 0이 가장 일반적 임)와 해당 효과를 잡을 수있는 최소 확률의 함수입니다. 갖고 싶다. 이러한 관점에서 볼 때 표본 크기는 검정력 분석에 의해 결정됩니다.

또 다른 고려 사항은 @cbeleites 메모와 같이 모델의 안정성입니다. 데이터의 수를 추정 매개 변수의 비율이 1에 가까이 가져 기본적으로, 모델이 포화 될 것이며, 할 필요는 있을 overfit (이 없다면, 사실, 시스템의 어떤 랜덤). 엄지 손가락의 1 대 10 비율은이 관점에서 비롯됩니다. 적절한 힘을 가짐으로써 일반적으로이 문제를 해결할 수 있지만 그 반대의 경우는 아닙니다.

1에서 10까지의 규칙은 선형 회귀 세계에서 나 왔으며 로지스틱 회귀에는 추가 복잡성이 있음을 인식하는 것이 중요합니다. 한 가지 문제는 로지스틱 회귀 분석이 1과 0의 백분율이 약 50 % / 50 % 일 때 가장 잘 작동한다는 것입니다 (@andrea 및 @psj가 위의 설명에서 설명 함). 또 다른 문제는 분리 입니다. 즉, 1의 모든 것을 독립 변수 (또는 이들의 조합)의 극단에 모으고 싶지 않고 다른 모든 극단에 0을 모으고 싶지 않습니다. 이것은 좋은 상황처럼 보이지만 완벽한 예측을 쉽게 할 수 있기 때문에 실제로 매개 변수 추정 프로세스가 폭발합니다. (@Scortchi는 로지스틱 회귀 분석에서 분리를 처리하는 방법에 대한 훌륭한 토론을했습니다.로지스틱 회귀 분석에서 완벽한 분리를 처리하는 방법은 무엇입니까? ) IV가 많을수록 효과의 실제 크기가 일정하게 유지되는 경우, 특히 반응의 균형이 맞지 않는 경우에도 더욱 가능성이 높아집니다. 따라서 IV 당 10 개 이상의 데이터가 쉽게 필요할 수 있습니다.

이 경험 법칙의 마지막 문제는 IV가 직교 라고 가정한다는 것 입니다. 이것은 설계된 실험에는 합리적이지만 귀하와 같은 관찰 연구를 통해 IV는 거의 직교하지 않습니다. 이러한 상황을 처리하기위한 전략이 있습니다 (예 : IV의 결합 또는 삭제, 주요 구성 요소 분석 수행 등). 그러나 해결되지 않으면 (일반적인) 더 많은 데이터가 필요합니다.

그렇다면 합리적인 질문은 최소 N이 무엇이고, 샘플 크기가 충분한가? 이 문제를 해결하기 위해 @cbeleites가 논의하는 방법을 사용하는 것이 좋습니다. 1에서 10까지의 규칙에 의존하는 것만으로는 충분하지 않습니다.

나는 일반적으로 15 : 1 규칙 (최소 (이벤트, 비 이벤트)의 비율 대 모델 의 후보 매개 변수 수 )을 사용합니다. 보다 최근의 연구 는보다 엄격한 검증을 위해서는 20 : 1이 필요하다는 것을 발견했습니다. 더 자세한 정보는 http://biostat.mc.vanderbilt.edu/rms 에서 링크 된 나의 과정 유인물 , 특히 가로 채기를 추정하기위한 최소 샘플 크기 96에 대한 인수에서 찾을 수 있습니다 . 그러나 샘플 크기 요구 사항이 더 미묘 해졌으며 훨씬 더 최근의 논문 이이를보다 포괄적으로 다룹니다.

일반적으로 너무 적은 경우가 있습니다. 모델 복잡도 (매개 변수 수)는 모델이 불안정 함을 의미합니다 . 따라서 표본 크기 / 모델 복잡성이 올바른지 알고 싶다면 합리적으로 안정적인 모델을 얻을 수 있는지 확인하십시오.

적어도 두 가지 종류의 불안정성이 있습니다.

1. 모델 매개 변수는 학습 데이터 만 약간의 변화와 많이 다릅니다.

2. 훈련 데이터의 약간의 변화로 훈련 된 모델 의 예측 (같은 경우)은 매우 다양합니다.

훈련 데이터가 약간 혼란 스러울 경우 모델 계수가 얼마나 변하는 지 살펴봄으로써 1을 측정 할 수 있습니다. 적합한 모델 묶음은 예를 들어 부트 스트랩 또는 (정격 된) 교차 검증 절차 중에 계산 될 수 있습니다.

일부 유형의 모델 또는 문제의 경우 다양한 매개 변수가 다양한 예측을 암시하지 않습니다. 부트 스트랩 외 또는 반복 교차 검증 중에 계산 된 동일한 사례 (정확한지 여부에 상관없이)에 대한 예측 변동을 확인하여 불안정성을 직접 확인할 수 있습니다.

엄격한 규칙은 없지만 명목 변수에 범주가 너무 많지 않은 한 모든 독립 변수를 포함 할 수 있습니다. 각 명목 변수에 대한 클래스 중 하나를 제외하고 모두 하나의 "베타"가 필요합니다. 따라서 명목 변수가 "작업 영역"이라고 말하고 30 개의 영역이 있다면 29 개의 베타가 필요합니다.

이 문제를 극복하는 한 가지 방법은 베타를 정규화하거나 큰 계수에 대한 처벌을하는 것입니다. 이를 통해 모형이 데이터에 과적 합하지 않도록 할 수 있습니다. L2 및 L1 정규화는 널리 사용되는 선택입니다.

고려해야 할 또 다른 문제는 샘플이 얼마나 대표적인지입니다. 어떤 인구를 추론하고 싶습니까? 모집단에있는 모든 유형의 사람들이 표본에 있습니까? 표본에 "구멍"이있는 경우 정확한 추론을하기가 어려울 것입니다 (예 : 표본에 35-50 세의 여성이 없거나 고소득 근로자가없는 경우 등)

다음은 MedCalc 웹 사이트 사용자의 실제 답변입니다.

http://www.medcalc.org/manual/logistic_regression.php

샘플 크기 고려 사항

로지스틱 회귀 분석을위한 표본 크기 계산은 복잡한 문제이지만 Peduzzi et al. (1996) 연구에 포함 할 최소 사례 수에 대한 다음 지침을 제안 할 수 있습니다. 모집단에서 p가 음수 또는 양수인 경우의 비율 중 가장 작고 k가 공변량 수 (독립 변수 수) 인 경우 포함 할 최소 수는 다음과 같습니다. N = 10 k / p 예를 들면 다음과 같습니다. 모형에 포함 할 공변량이 3 개이고 모집단의 양성 사례 비율이 0.20 (20 %)입니다. 필요한 최소 사례 수는 N = 10 x 3 / 0.20 = 150입니다. 결과 수가 100보다 작 으면 Long (1997)에서 제안한대로 100으로 늘려야합니다.

Peduzzi P, Concato J, Kemper E, Holford TR, Feinstein AR (1996) 로지스틱 회귀 분석에서 변수 당 이벤트 수에 대한 시뮬레이션 연구. 임상 역학 저널 49 : 1373-1379.

최소 5에서 9까지의 독립 변수 당 관측치 수가있는 모든 로지스틱 모델의 결과는 신뢰할 수 있습니다. 특히 결과가 통계적으로 유의하면 (Vittinghoff & McCulloch, 2007).

Vittinghoff, E., & McCulloch, CE 2007. 로지스틱 및 콕스 회귀 분석에서 변수 당 10 개의 이벤트 규칙을 완화합니다. 미국 역학 저널, 165 (6) : 710–718.