다중 회귀 분석을위한 최소 표본 크기의 경험 법칙

사회 과학 연구 제안의 맥락에서 나는 다음과 같은 질문을 받았다.

다중 회귀 분석을위한 최소 표본 크기를 결정할 때 항상 100 + m (여기서 m은 예측 변수 수)만큼 줄었습니다. 이것이 적절합니까?

나는 종종 다른 규칙에 따라 비슷한 질문을 많이 받는다. 또한 다양한 교과서에서 그러한 경험 법칙을 많이 읽었습니다. 인용과 관련하여 규칙의 인기가 표준 설정 수준에 따라 결정되는지 궁금합니다. 그러나 의사 결정을 단순화하는 데있어 우수한 휴리스틱의 가치도 알고 있습니다.

질문 :

• 응용 연구자들이 연구 연구를 설계하는 상황에서 최소 표본 크기에 대한 간단한 경험 법칙의 유용성은 무엇입니까?
• 다중 회귀 분석을위한 최소 표본 크기에 대한 대체 경험 법칙을 제안 하시겠습니까?
• 또는 다중 회귀 분석을위한 최소 표본 크기를 결정하기 위해 어떤 대체 전략을 제안 하시겠습니까? 특히, 비 통계 전문가가 전략을 쉽게 적용 할 수있는 정도에 가치를 부여하면 좋을 것입니다.

나는 최소 샘플 크기를 생성하는 간단한 공식의 팬이 아닙니다. 최소한 모든 공식은 효과 크기와 관심있는 문제를 고려해야합니다. 그리고 컷오프 양쪽의 차이는 최소화됩니다.

최적화 문제로서의 샘플 크기

• 더 큰 샘플이 더 좋습니다.
• 표본 크기는 종종 실용적인 고려 사항에 의해 결정됩니다.
• 추가 참가자 확보에 소요되는 시간, 비용, 노력 등의 비용이 추가 참가자 보유의 이점과 비교되는 최적화 문제에서 표본 크기는 하나의 고려 사항으로 간주해야합니다.

대략적인 규칙

능력 테스트, 태도 척도, 성격 측정 등과 같은 것들을 포함하는 관찰 심리학 연구의 전형적인 맥락에서 매우 거친 경험 법칙의 관점에서, 나는 때때로 다음을 생각합니다.

• 적절한 n = 100
• n = 200만큼 좋음
• n = 400 + 이상

이 경험 법칙은 이러한 각 수준의 상관 관계와 관련된 95 % 신뢰 구간과 이론적으로 관심 관계를 이해하고자하는 정밀도의 정도에 기초합니다. 그러나 이는 휴리스틱 일뿐입니다.

지 파워 3

• 나는 일반적으로 다양한 가정을 기반으로 전력을 계산하는 G-전원 3를 사용하여 내 게시물을 참조 .
• 다중 회귀와 관련된 G Power 3 사이트 에서이 자습서를 참조하십시오.
• 전원 프라이머는 또한 적용 연구를위한 유용한 도구입니다.

다중 회귀 테스트는 여러 가설을 검정합니다.

• 모든 전력 분석 질문에는 효과 크기를 고려해야합니다.

• 다중 회귀에 대한 검정력 분석은 전체 r- 제곱 및 각 개별 계수에 대한 효과를 포함하여 여러 가지 효과가 있다는 사실로 인해 더 복잡해집니다. 또한 대부분의 연구에는 여러 회귀 분석이 포함됩니다. 나에게 이것은 일반적인 휴리스틱에 더 의존하고 감지하려는 최소 효과 크기에 대해 생각하는 또 다른 이유입니다.

• 다중 회귀 분석과 관련하여 나는 종종 기본 상관 행렬을 추정 할 때 정확도의 정도에 대해 더 많이 생각할 것입니다.

모수 추정의 정확도

나는 또한 Ken Kelley와 동료들의 정확성 추정에 대한 토론을 좋아합니다.

• 간행물 은 Ken Kelley 웹 사이트 를 참조하십시오
• @Dmitrij가 언급했듯이 Kelley and Maxwell (2003) 무료 PDF 에는 유용한 기사가 있습니다.
• Ken Kelley MBESS는 R 에서 패키지를 개발하여 매개 변수 추정에서 샘플 크기와 정밀도를 분석합니다.

나는 전력 문제로 생각하는 것을 선호하지만, 오히려 질문은 "어떻게 큰해야 묻지 않는 너무 명백한 것일 신뢰할 수있는"? 이 접근 방법 중 하나는 사이의 비율 또는 차이를 고려하는 및 , 후자 인 조정 에 의해 주어진 이고보다 편향되지 않은 "true" 추정치를 형성합니다 .$n$$R^2$$R^2$$R_{adj}^{2}$$R^2$$1 - (1 - R^{2})\frac{n-1}{n-p-1}$$R^2$

일부 R 코드의 인자에 대해 해결하기 위해 사용될 수있다 되도록되어야 만 계수 인 보다 작은 또는들만 작은 . $p$$n-1$$R_{adj}^{2}$$k$$R^2$$k$

require(Hmisc)
dop <- function(k, type) {
  z <- list()
  R2 <- seq(.01, .99, by=.01)
  for(a in k) z[[as.character(a)]] <-
    list(R2=R2, pfact=if(type=='relative') ((1/R2) - a) / (1 - a) else
         (1 - R2 + a) /  a)
  labcurve(z, pl=TRUE, ylim=c(0,100), adj=0, offset=3,
           xlab=expression(R^2), ylab=expression(paste('Multiple of ',p)))
}
par(mfrow=c(1,2))
dop(c(.9, .95, .975), 'relative')
dop(c(.075, .05, .04, .025, .02, .01), 'absolute')

범례 : 에서 표시된 상대 계수 (왼쪽 패널, 3 가지 요소) 또는 절대 차이 (오른쪽 패널) 로 에서 로의 상대적 드롭을 달성하는 저하 6 감소).$R^{2}$$R^{2}$$R^{2}_{adj}$

누군가 이미 이것을 인쇄본으로 본 적이 있으면 알려주십시오.

(+1) 실제로 제 생각에는 중요한 질문입니다.

거시 경제학에서는 일반적으로 마이크로, 재무 또는 사회학 실험보다 샘플 크기가 훨씬 작습니다. 연구원은 적어도 적절한 추정치를 제공 할 수 있다고 생각합니다. 내 개인적으로 가능한 최소한의 경험 법칙은 ( 한 개의 추정 된 매개 변수에서 자유도)입니다. 다른 응용 연구 분야에서는 일반적으로 데이터가 더 운이 좋으며 (너무 비싸지 않으면 더 많은 데이터 포인트를 수집하십시오) 샘플의 최적 크기 (최소한의 값이 아닌)를 물어볼 수 있습니다. 후자의 문제는 더 낮은 품질의 (잡음) 데이터가 더 작은 고품질의 샘플보다 좋지 않다는 사실에서 비롯됩니다.$4\cdot m$$4$

대부분의 표본 크기는 다중 회귀 모형을 적합시킨 후 검정 할 가설에 대한 검정력과 연결됩니다.

다중 회귀 모델과 장면 뒤의 수식에 유용한 멋진 계산기 가 있습니다 . 나는 그런 통계 계산기가 비 통계 학자에게 쉽게 적용될 수 있다고 생각합니다.

아마도 K.Kelley와 SEMaxwell 기사 가 다른 질문에 대답하는 데 도움이 될 수 있지만 문제를 연구하기 위해 더 많은 시간이 필요합니다.

이 매우 크면 경험치가 특히 좋지 않습니다 . 취 하십시오. 규칙에 따르면 관측치 만으로도 변수 에 적합하다고 합니다. 나는 그렇게 생각하지 않는다!$m$$m=500$$500$$600$

다중 회귀 분석의 경우 최소 표본 크기를 제안하는 이론이 있습니다. 보통 최소 제곱을 사용하려는 경우 "진정 잔차"가 독립적이라는 가정이 필요합니다. 이제 최소 제곱 모형을 변수에 맞추면 경험적 잔차 (최소 제곱 또는 "정상"방정식으로 제공됨)에 선형 구속 조건이 적용됩니다. 이것은 경험적 잔차가 독립적이지 않다는 것을 의미합니다. 일단 우리 가 그것들의 을 알게 되면, 남은 을 추론 할 수 있습니다. 여기서 은 표본 크기입니다. 따라서 우리는이 가정에 위배됩니다. 이제 의존성 순서는 입니다. 따라서 당신이 선택한다면$m$$m+1$$n-m-1$$m+1$$n$$O\left(\frac{m+1}{n}\right)$$n=k(m+1)$어떤 수 대해 이면 순서는 됩니다. 선택하여 그래서 , 당신은 당신이 용납 기꺼이 얼마나 의존 선택하고있다. "중앙 한계 정리"를 적용 할 때와 거의 같은 방식으로 를 선택합니다. 이 적합하고 "통계 계산"규칙 (예 : 통계학 자의 계산 시스템은 ).$k$$O\left(\frac{1}{k}\right)$$k$$k$$10-20$$30\equiv\infty$$1,2,\dots,26,27,28,29,\infty$

심리학에서 :

녹색 (1991)은 다중 상관 관계 검정에 (여기서 m은 독립 변수의 수임)이 필요하고 개별 예측 변수 검정에 이 필요함을 나타냅니다 .N > 104 + $N > 50 + 8m$$N > 104 + m$

사용할 수있는 다른 규칙은 다음과 같습니다.

Harris (1985)는 참가자 수가 예측 자 수를 이상으로 초과해야한다고 말합니다 .$50$

6 명 이상의 예측자를 사용하는 Van Voorhis & Morgan (2007) ( pdf ) 참가자의 절대 최소값은 이어야합니다 . 변수 당 명씩 참여 하는 것이 좋습니다 .$10$$30$

나는 전력 계산기가 특히 전력에 대한 다른 요인의 영향을 보는 데 유용하다는 데 동의합니다. 그런 의미에서 더 많은 입력 정보를 포함하는 계산기가 훨씬 좋습니다. 선형 회귀 분석의 경우 X의 오류, X 간의 상관 관계 등과 같은 요인을 포함 하는 회귀 계산기가 여기 에 있습니다.

추정 된 회귀 계수의 정확도와 표준 오차 (및 결과 신뢰 구간의 경험적 범위)에 관심이있는 한 변수 당 2 개의 관측치만으로도 충분하다고 평가 한이 최신 논문 (2015)을 발견했습니다. 사용 조절 :$R^2$

( pdf )

물론, 논문에 의해 인정 된 바와 같이, (상대적인) 편견이 충분한 통계적 힘을 갖는 것을 반드시 의미하는 것은 아니다. 그러나 검정력 및 표본 크기 계산은 일반적으로 예상되는 효과를 지정하여 수행됩니다. 다중 회귀 분석의 경우 회귀 계수 값 또는 회귀 변수 간의 상관 행렬에 대한 가설을 내포하고 결과를 작성해야합니다. 실제로, 그것은 회귀와 결과와의 상관 관계의 강도에 달려 있습니다 (물론, 결과와의 상관 관계가 더 강할수록 더 강하고 결과는 다중 공선성에 의해 악화됩니다). 예를 들어, 완전 공 선형 변수가 두 개인 극단적 인 경우 관측 수에 관계없이 회귀 분석을 수행 할 수 없으며 공변량이 2 개인 경우에도 회귀를 수행 할 수 없습니다.