서로 다른 두 회귀 분석에서 계수의 동등성 테스트

이것은 기본적인 문제 인 것처럼 보이지만 실제로 두 가지 회귀 분석에서 계수의 동등성을 테스트하는 방법을 모른다는 것을 깨달았습니다. 누구든지 이것에 대해 약간의 빛을 비출 수 있습니까?

더 공식적으로, 나는 다음과 같은 두 개의 회귀 분석을 실행한다고 가정 및 곳 회귀의 설계 행렬을 의미 , 그리고 회귀의 계수의 벡터에 . 하는 것으로 및 잠재적으로 매우 등 다른 차원으로, 다른 내가 예를 들어에 관심이 있는지 여부 .

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

이것들이 동일한 회귀에서 나온다면 이것은 사소한 것입니다. 그러나 그들은 다른 것들에서 왔기 때문에 어떻게 해야할지 잘 모르겠습니다. 누구든지 아이디어가 있거나 나에게 포인터를 줄 수 있습니까?

내 문제에 대한 세부 사항 : 첫 번째 직감은 신뢰 구간을 보는 것이었고, 겹치면 본질적으로 동일하다고 말할 것입니다. 이 절차에는 올바른 크기의 검정이 포함되어 있지 않습니다 (예 : 각 개별 신뢰 구간의 경우 있지만 함께 살펴보면 같은 확률을 갖지 않습니다). 나의 "두 번째"직관은 정상적인 t- 검정을 수행하는 것이 었습니다. 즉, $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

여기서 은 귀무 가설의 값으로 간주됩니다. 그러나 이것은 의 추정 불확실성을 고려하지 않으며 회귀 순서 (1과 2라고 부르는 순서)에 따라 답이 달라질 수 있습니다. $\beta_{21}$ $\beta_{21}$

세 번째 아이디어는 동일한 회귀에서 두 계수의 동등성에 대한 표준 테스트 에서처럼 수행하는 것입니다.

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

합병증은 둘 다 다른 회귀에서 비롯된 사실로 인해 발생합니다. 참고

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ 이후 그들은 다른 회귀에서 왔는데 어떻게 있습니까?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

이로 인해 여기 에서이 질문을했습니다. 이것은 표준 절차 / 표준 테스트 여야하지만이 문제와 충분히 비슷한 것을 발견하지 못했습니다. 따라서 누군가가 올바른 절차를 알려 줄 수 있다면 매우 감사 할 것입니다!

hypothesis-testing inference

— 커피 피
소스

이것은 구조적 / 동시 방정식 모델링과 관련이있는 것 같습니다. 이 문제를 해결하는 한 가지 방법은 예를 들어 최대 가능성으로 두 방정식을 동시에 적용한 다음 구속되지 않은 모델에 대해 구속 된 (동일 모수 모델) 가능성 비율 테스트를 사용하는 것입니다. 실제로 이것은 SEM 소프트웨어 (Mplus, lavaan 등)를 사용하여 수행 할 수 있습니다.

— tomka

겉보기 관련없는 회귀 (SUR)에 대해 알고 있습니까?

— Dimitriy V. Masterov

나는 당신의 제기, 즉 두 계수의 cov를 얻는 방법에 대한 질문은 SEM에 의해 해결되어 모든 계수의 var-cov 행렬을 제공한다고 생각합니다. 그런 다음 LRT 테스트 대신 제안한 방식으로 Wald 테스트를 사용할 수 있습니다. 또한 리샘플링 / 부트 스트랩을 사용할 수도 있습니다.

— tomka

예, 당신은 그것에 대해 옳습니다, @tomka. SUR 모델 (SEM 모델의 경우를 느슨하게 말할 수 있음)에서 적절한 테스트를받을 수 있습니다. 그 방향으로 나를 가리켜 주셔서 감사합니다! 대포로 참새를 쏘는 것과 비슷해 보이지만 실제로는 더 나은 방법을 생각할 수 없습니다. 답을 쓰면 정답으로 표시합니다. 그렇지 않으면, 나는 빠른 이론적 설명과 잠재적으로 예제와 함께 곧 그것을 쓸 것이다.

— coffeinjunky

SUR은 구현하기가 매우 쉽습니다. Stata 의 한 가지 예가 있습니다 . R을 사용하면 systemfit이 필요 합니다.

— Dimitriy V. Masterov

답변:

이것은 일반적인 분석은 아니지만 실제로 관심의 대상입니다. 허용되는 답변은 귀하가 질문 한 방식에 적합하지만, 동등하거나 그렇지 않을 수있는 합리적으로 잘 받아 들여지는 또 다른 기술을 제공 할 것입니다 (나는 그것에 대해 더 나은 생각을하도록 할 것입니다).

이 방법은 다음 Z 테스트를 사용하는 것입니다.

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

어디 의 표준 오차입니다 . $SE\beta$ $\beta$

이 방정식은 Clogg, CC, Petkova, E. 및 Haritou, A. (1995)에 의해 제공된다 . 모형 간의 회귀 계수를 비교하기위한 통계적 방법. American Journal of Sociology , 100 (5), 1261-1293. Paternoster, R., Brame, R., Mazerolle, P., & Piquero, A. (1998)에 의해 인용된다 . 회귀 계수의 동등성에 대한 올바른 통계 테스트를 사용합니다. 범죄학 , 36 (4), 859-866. Paywall없이 무료로 제공되는 방정식 4. Peternoster의 수식을 대신 를 사용하도록 조정했습니다. $\beta$ $b$ Clogg et al.의 기억과 끔찍한 이유로 다른 DV에 관심이있을 수 있기 때문입니다. 그들의 공식은 . 또한 Cohen, Cohen, West 및 Aiken에 대해이 공식을 교차 확인하는 것을 기억하며, 계수 간의 차이의 신뢰 구간, 방정식 2.8.6, pg 46-47에서 동일한 사고의 근본을 찾을 수 있습니다. $\beta$

— 러셀 피어스
소스

참조 : stats.stackexchange.com/questions/55501/...

— russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

또한 논문에서 한 모델이 다른 모델 안에 중첩되어 있고 두 모델의 DV가 동일한 경우에 대해 설명합니다. 이 두 조건이 충족되지 않으면 어떻게됩니까? 대신 두 모델의 설계 행렬은 동일하지만 DV가 다릅니다. 이 공식이 여전히 적용됩니까? 고마워요!

— Sibbs Gambling

@SibbsGambling : 더 많은 관심을 끌기 위해 스스로 질문을 할 수도 있습니다.

— russellpierce 2016 년

β_{1}

$\beta_1$

β_{2}

$\beta_2$

비슷한 질문을 가진 사람들을 위해 간단한 답변 개요를 제공하겠습니다.

$y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

이로 인해 두 계수의 동등성을 테스트 할 수있는 분산 공분산 행렬이 생성됩니다.

— 커피 피
소스

나는 당신이 제안한 방식을 구현하고 위의 방식과 비교했습니다. 주요 차이점은 오류 분산이 동일하다는 가정하에 있습니다. 귀하의 방법은 오차 분산이 동일하다고 가정하고 위의 방법으로 가정하지 않습니다.

— KH Kim

이것은 나를 위해 잘 작동했습니다. Stata에서 나는 다음과 같이했다 : expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); 클러스터 된 표준 오류를 사용하면 데이터 세트를 쌓은 후 e1과 e2가 동일한 관찰에 대해 독립적이지 않다는 사실을 설명합니다.

— wkschwartz

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E., & Haritou, A. (1995). 모형들 사이의 회귀 계수를 비교하기위한 통계적 방법. American Journal of Sociology, 100 (5), 1261-1293.)은 특별한 경우에 답을 제시한다 즉, 두 번째 방정식을 얻으려면 첫 번째 방정식을 고려하고 설명 변수를 추가하십시오. 구현하기 쉽다고 말합니다.
잘 이해한다면,이 특별한 경우에 Haussman 테스트도 구현할 수 있습니다. 주요 차이점은 테스트에서 두 번째 (전체) 방정식을 참으로 간주하고 Haussman 테스트는 첫 번째 방정식을 참으로 간주한다는 것입니다.
Clogg et al (1995)은 패널 데이터에는 적합하지 않습니다. 그러나 그들의 테스트는 (Yan, J., Aseltine Jr, RH, & Harel, O. (2013))에 의해 일반화되었다. 일반화 된 추정 방정식을 갖는 군집 데이터에 대한 중첩 선형 모델 간의 회귀 계수 비교 교육 및 행동 통계 저널, 38 (2), 172-189.)를 참조하십시오. R : geepack 참조 : https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

그리고 (R- 패키지의 경우) : https://cran.r-project.org/web/packages/geepack/index.html

— 알렉산드르 카 제나 브-라 크라우 츠
소스