가중 최소 제곱 회귀에 대한 가중치는 어떻게 찾습니까?

22

나는 WLS 회귀 과정에서 약간 길을 잃었다. 나는 데이터 세트를 받았으며 내 임무는 이분산성이 있는지 테스트하고 그렇다면 WLS 회귀를 실행해야합니다.

테스트를 수행하고 이분산성에 대한 증거를 찾았으므로 WLS를 실행해야합니다. WLS는 기본적으로 변환 된 모델의 OLS 회귀라고 들었지만 변환 함수를 찾는 데 약간 혼란 스럽습니다. 나는 변환이 OLS 회귀에서 제곱 잔차의 함수가 될 수 있다고 제안하는 기사를 읽었지만 누군가가 올바른 길을 찾도록 도울 수 있다면 감사하겠습니다.

regression heteroscedasticity weighted-regression

— m3d1v0
소스

2

오차의 공분산 matriz가 대각선이라고 가정하면 공분산 행렬을 추정 한 다음 추정 된 가중치를 사용하여 WLS 회귀를 계산할 수 있습니다. 이를 위해 en.wikipedia.org/wiki/Generalized_least_squares

— Manuel

26

가중 최소 제곱 (WLS) 회귀는 변환 된 모델이 아닙니다. 대신, 각 관측 값을 와 의 기본 관계에 대해 다소 유익한 정보로 취급합니다 . 더 유익한 점은 더 '무게'주어지고 덜 유익한 점은 덜 가중됩니다. 가중 최소 제곱 (WLS) 회귀는 가중치가 사전에 알려진 경우에만 기술적으로 유효합니다. $X$ $Y$

그러나 (OLS) 선형 회귀는 이분산성에 대해 상당히 견고하므로 추정치가 야구장에 있으면 WLS도 마찬가지입니다. OLS 회귀 분석의 최대 규칙은 최대 분산이 최소 분산의 4 배를 초과하지 않는 한 이분산성에 너무 영향을받지 않는다는 것입니다. 예를 들어, 잔차 / 오류의 분산이 상황에 따라 증가 합니다. 결과적으로 잔차의 분산과 예측 변수의 수준과 관련된 함수를 추정 할 수 있습니다. $X$ 경우, 하이 엔드의 잔차 분산이 로우 엔드의 잔차 분산의 4 배보다 작 으면 괜찮습니다. 이것의 의미는 체중이 그 범위 내에 들어가면 합리적으로 안전하다는 것입니다. 그것은 종류의 말굽과 수류탄

이러한 추정을 수행하는 방법과 관련된 몇 가지 문제가 있습니다.

가중치는 분산 (또는 사용하는 모든 것)의 역수 여야합니다.
$X$ $X$
$X$ plot(model, which=2) $X$ 중앙값으로부터의 중앙값 절대 편차 .
$X$ $X$
OLS 회귀 잔차에서 가중치를 얻는 것은 이분산성이 존재하더라도 OLS가 편향되지 않기 때문에 합리적입니다. 그럼에도 불구하고 이러한 가중치는 원래 모델에 따라 달라지며 후속 WLS 모델의 적합도를 변경할 수 있습니다. 따라서 두 회귀 분석의 추정 베타를 비교하여 결과를 확인해야합니다. 그것들이 매우 유사하다면 괜찮습니다. WLS 계수가 OLS 계수와 다른 경우 WLS 추정값을 사용하여 잔차를 수동으로 계산해야합니다 (WLS 맞춤에서보고 된 잔차가 가중치를 고려함). 새로운 잔차 집합을 계산 한 후 가중치를 다시 결정하고 두 번째 WLS 회귀 분석에서 새 가중치를 사용하십시오. 이 과정은 두 세트의 예상 베타가 충분히 유사해질 때까지 반복해야합니다 (하지만 한 번만 수행하는 경우는 드물지만).

이 프로세스로 인해 가중치가 다소 불편하고 이전의 잘못된 모델에 영향을 받기 때문에 다소 불편한 경우 Huber-White 'sandwich'추정기 를 사용하는 것도 있습니다 . 이것은 아무리 심각하더라도 이분산성이 존재하더라도 일관성이 있으며 모델에 따라 달라지지 않습니다. 또한 번거롭지 않을 수도 있습니다.

가중 최소 제곱의 간단한 버전과 내 대답에 샌드위치 SE를 사용하는 방법을 보여줍니다 : 이 분산 데이터에 대한 일원 분산 분석 대안 .

— gung-복직 모니카
소스

10

WLS를 수행 할 때는 가중치를 알아야합니다. 선형 회귀 분석 소개의 191 페이지에 설명 된대로 찾을 수있는 방법이 있습니다.Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining의 . 예를 들면 다음과 같습니다.

이론적 모델을 사용한 경험 또는 사전 정보.
${\rm var}(\varepsilon_i)=\sigma^2x_i$ $w_i=1/x_i$ .
반응이 의 평균 인 경우 $n_i$ $x_i$ ${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$ 우리는 사용하기로 결정할 수 있습니다 $w_i=n_i$ .
때때로 우리는 (알려 지거나 추정 된) 정확도를 가진 다른기구들에 의해 다른 관측들이 측정되었다는 것을 알고 있습니다. 이 경우 측정 오차의 분산에 반비례하여 가중치를 사용하기로 결정할 수 있습니다.

— 통계
소스