가중 최소 제곱 가중치 정의 : R lm 함수 대.

아무도 왜 매트릭스 연산으로 R가중치가 가장 작은 제곱 과 수동 솔루션 에서 다른 결과를 얻고 있는지 말해 줄 수 있습니까?

특히 수동으로 해결하려고합니다. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ , 어디 $\mathbf W$ 가중치의 대각선 행렬입니다. $\mathbf A$ 데이터 매트릭스입니다. $\mathbf b$ 반응 벡터입니다.

인수를 R lm사용하여 결과를 함수 와 비교하려고합니다 weights.

— 하이 타오 뒤
소스

태그를 수정했습니다. 이것은 [자기 학습]이 아닙니다. 또한 실제로 GLS (매우 특별한 경우)에 관한 것이 아니므로 그도 제거했습니다.

— amoeba

계산을 위해 수학적 표현에서 알 수 있듯이

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

분명히 당신의 무게는 $W^2$ 아니 $W$ . 따라서 당신은 당신의 답을

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

계약은 완벽합니다 (부동 소수점 오류 내 R에서 수치 적으로보다 안정적인 알고리즘을 사용합니다).

— 우버
소스

우리는 여기서 소프트웨어 규약에 대해 이야기하고 있습니다. 소프트웨어가 "무게"를 기대하는 곳에서

W

$W$ 또는

W^{2}

$W^2$ ? 문제가 통계 패키지에 영향을 줄 수 있기 때문에 이것이 귀중한 질문이라고 생각했습니다. 관례에 관계없이이 답변의 간략한 분석은 어떤 상황에서 "무게"에 대한 대안 적 해석이 합리적이고 실험 할 가치가 있는지를 제시합니다.

— whuber

예, 혼란스러워 생각합니다. Gilbert Strang의 선형 대수 서적 8.6 장에서 표현을 얻었습니다. 가중 최소 제곱은 조정 된 것입니다.

A x = b

$Ax=b$ 에

W A x = W b

$WAx=Wb$

— Haitao Du

Strang은 정확하지만 교육 학적 방향을 거꾸로합니다. 문제보다는 답으로 시작합니다. 잔차의 분산이 알고 있지만 값이 다른 경우 최소 제곱 절차의 아날로그를 수행하는 방법에 문제가 있습니다 . 여러 가지 (단순한) 이론적 이유 때문에, 데이터는 역 분산 (때때로 "정밀도"라고 함)에 의해 가중치가 부여되어야합니다. 그로부터 해결할 수 있습니다

W

$W$ 가중치의 제곱근 이어야합니다 .

— whuber