계수 간 유의 한 차이를 테스트하는 올바른 방법은 무엇입니까?

18

누군가 나를 혼란스럽게 만들 수 있기를 바랍니다. 다음과 같은 두 가지 회귀 계수 세트가 서로 크게 다른지 테스트하고 싶다고 가정 해보십시오.

$y_i = \alpha + \beta x_i + \epsilon_i$ , 5 개의 독립 변수가 있습니다.
크기가 대략 2 개의 그룹 $n_1, n_2$ (이것은 다를 수 있음)
수천 개의 유사한 회귀 분석이 동시에 수행되므로 일종의 다중 가설 보정이 수행되어야합니다.

나에게 제안 된 한 가지 접근법은 Z- 테스트를 사용하는 것입니다.

$Z = \frac{b_1 - b_2}{\sqrt(SEb_1^2 + SEb_2^2)}$

이 보드에서 제안한 또 다른 것은 그룹화를위한 더미 변수를 도입하고 모델을 다음과 같이 다시 작성하는 것입니다.

$y_i = \alpha + \beta x_i + \delta(x_ig_i) + \epsilon_i$ (여기서, $g$ 는 0, 1로 코딩 된 그룹화 변수

내 질문은이 두 가지 접근 방식이 어떻게 다른가 (예 : 다른 가정, 유연성)입니까? 하나가 다른 것보다 더 적절합니까? 나는 이것이 매우 기본적이라고 생각하지만 모든 설명은 크게 감사하겠습니다.

regression hypothesis-testing multiple-regression

— 캐슈
소스

비슷한 질문에 대한 답변과 의견이 귀하가 원하는 설명을 제공 할 수 있다고 생각합니다 .

— whuber

whuber 감사합니다. 나는 그 대답에 익숙했다. 아래의 토론에서 허용 된 답변 (및 귀하의 의견)에서 2 개의 개별 적합 계수를 비교하는 것이 적절하지 않다는 인상을 받았습니다. 별도의 적합치에서 계수에 적용된 z- 검정이 부정확합니까, 아니면 더미 변수 코딩이 간단하고 동등한 해답을 제공합니까?

— cashoes

1

답장의 마지막 단락 ( "주요 제한 사항 ...")을 참조하십시오. Z- 검정은

가 크고 (그렇지 않은 경우 시험에 사용) 추정 표준 편차

가 서로 다르지 않다고 가정하면 유효합니다 . 표준 편차가 크게 다를 때 (대략 3 : 1의 비율 이상) 두 방법 모두 최적이 아닙니다.

n_{i}

$n_i$

S E b_{i}

$SEb_i$

— whuber

13

두 가지 접근 방식이 다릅니다.

두 회귀의 추정 표준 오차를 과 하자 . 그런 다음 결합 된 회귀 (모든 계수-더미 상호 작용)는 동일한 계수에 적합하기 때문에 표준 오차를 다음과 같이 계산할 수있는 경우 동일한 잔차를 갖습니다. $s_1$ $s_2$

s = \sqrt{\frac{(n_{1} - p) s_{1}^{2} + (n_{2} - p) s_{2}^{2})}{n_{1} + n_{2} - 2 p}} .

$s = \sqrt{\frac{(n_1-p) s_1^2 + (n_2-p) s_2^2)}{n_1 + n_2 - 2 p}}.$

파라미터의 개수 동일 다섯 개 슬로프 각 회귀 절편 : 예이다. $p$ $6$

하자 추정 한 회귀 파라미터, 추정치 다른 회귀 동일한 매개 변수 및 자신의 예측 차분 결합하여 회귀. 그런 다음 표준 오류는 $b_1$ $b_2$ $b$

S E (b) = s \sqrt{(S E (b_{1}) / s_{1})^{2} + (S E (b_{2}) / s_{2})^{2}} .

$SE(b) = s \sqrt{(SE(b_1)/s_1)^2 + (SE(b_2)/s_2)^2}.$

결합 회귀를 수행하지 않고 개별 회귀에 대한 통계 만있는 경우 에 대한 이전 방정식을 연결하십시오 . 이것이 t- 검정의 분모가됩니다. 분명히 그것은 질문에 표시된 분모와 같지 않습니다. $s$

결합 된 회귀에 의한 가정은 잔차의 분산이 두 개의 개별 회귀에서 본질적으로 동일하다는 것입니다. 그러나 그렇지 않으면 z- 검정이 좋지 않습니다 (샘플 크기가 크지 않은 경우). CABF 검정 또는 Welch-Satterthwaite t- 검정 을 사용하려고합니다 .

— 우버
소스

9

두 그룹 사이의 계수 차이를 테스트하는 가장 직접적인 방법은 회귀 분석에 교호 작용 항 을 포함시키는 것입니다. 실행할 모델은 다음과 같습니다.

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

$t$ $H_0: \delta = 0$ $g_i = 0$

$y_i = \alpha + \beta x_i + \varepsilon_i$

$g_i = 1$

$y_i = (\alpha + \gamma) + (\beta + \delta) x_i + \varepsilon_i$

$\delta$

— 맷 블랙웰
소스

모델을 수정 해 주셔서 감사합니다 (위의 버전은 단순히 두 그룹에서 절편이 동일하도록 강요한다고 생각합니다 ...). 요컨대, 이것은 위에 게시 한 z 테스트와 동일합니까?

— cashoes

y_{i} = α + β x_{i} + γ g_{i} + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \varepsilon_i$

y_{i} = α + β x_{i} + γ g_{i} + δ (x_{i} \times g_{i}) + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

@ matt-blackwell은 개념적으로 g의 각 값으로 모델을 계층화하는 것과 동일합니까? (즉, b는 g = 0 일 때 x의 계수이고 g = 1 일 때 beta + delta 일 것임) 계층화는 통계적 비교를 허용하지 않음을 이해합니다.

— bobmcpop