부적절한 선형 모델은 언제 강력하게 아름답습니까?

질문 :

부적절한 선형 모델이 실제로 사용되거나 과학 저널에 때때로 설명되는 호기심이 있습니까? 그렇다면 어떤 영역에서 사용됩니까?
그러한 모델의 다른 예가 있습니까?
마지막으로, 이러한 모델에 대해 OLS에서 가져온 표준 오류, , 등이 정확합니까, 아니면 어떻게 수정해야합니까? $p$ $R^2$

배경 : 부적절한 선형 모델은 때때로 문헌에 설명되어 있습니다. 일반적으로 이러한 모델은 다음과 같이 설명 할 수 있습니다.

와이 = ㅏ + 비 \sum_{나는} 승_{나는} {엑스}_{나는} + ε

$y = a + b \sum_i w_i x_i + \varepsilon$

회귀와 다른 점은 가 모형에서 추정 된 계수 가 아니라 가중치라는 것입니다. $w_j$

각 변수 ( 단위 가중치 회귀 ) 에 대해 같음 $w_i = 1$
상관 관계 에 기초하여 (Dana and Dawes, 2004), $w_i = \rho(y, x_i)$
무작위로 선택 (Dawes, 1979)
$-1$ 변수 음 관련된 , 양에 관련된 변수에 대해 (Wainer, 1976). $y$ $1$ $y$

또한 변수를 점수 로 변환하는 것과 같은 기능 스케일링을 사용하는 것이 일반적 입니다. 따라서 이런 종류의 모형은 일 변량 선형 회귀로 단순화 할 수 있습니다. $Z$

와이 = ㅏ + 비 V + ε

$y = a + b v + \varepsilon$

여기서 이며 OLS 회귀를 사용하여 간단히 추정 할 수 있습니다. $v = \sum w_i x$

참고 문헌 :
Dawes, Robyn M. (1979). 의사 결정에서 부적절한 선형 모델의 강력한 아름다움 . 미국 심리학자, 34, 571-582.

Graefe, A. (2015). 동일 가중치 예측자를 사용하여 예측 향상 . 비즈니스 연구 저널, 68 (8), 1792-1799.

Wainer, Howard (1976). 선형 모델의 계수 추정 : 결코 신경 쓰지 않습니다 . 심리 게시판 83 (2), 213.

Dana, J. and Dawes, RM (2004). 사회 과학 예측을위한 회귀에 대한 간단한 대안의 우월성 . 교육 및 행동 통계 저널, 29 (3), 317-331.

— 팀
소스

이러한 모델에서 파생 된 통계는 어떤 의미에서 "잘못된"것입니까?

— whuber

때

w_{i}

$w_i$ s는 사전 지정되어 있으며

b

$b$ 추정 된 결과는 일반적인 OLS 프레임 워크에서 추론의 유효성에 영향을 미치지 않는 다양한 형태로 충분히 공통적 인 예측 변수 (예 : Glasgow Coma Scale 및 Charlson Co-morbidity Index 참조)에서 수행 된 데이터 축소 일뿐입니다. 언제

y

$y$ 결정하는 데 사용됩니다

w_{i}

$w_i$ s, 표준 오류 & c. 내가 생각하는 낙관적 인 방향으로 나갈 것입니다.

— Scortchi-Monica Monica 복원

그것은 정보에 관한 주석이 아니었다 – 논문은 여전히 내 "읽을"더미에있다. 방금 궁금했습니다 :- " '부적절한 이유'?" 예측 변수가 여러 변수의 평균, 주요 성분 점수, 다른 회귀 예측, 지수 평활 시계열 수준 또는 잘 확립 된 값으로부터 계산 된 값과 같은 다른 변수의 선형 조합 인 경우는 드문 일이 아닙니다. 또는 임시 색인. 반응에서 가중치를 추정하지 않으면 자유도가 높아져서 더 작은 표본 크기로 과적 합을 피할 수 있습니다.

— Scortchi-Monica Monica 복원

예를 들어 Beddhu (2000)에서, "단순한 동반 질환 규모는 투석 환자의 임상 결과 및 비용을 예측한다"Am. J. Med., 108 , 8 모델 방정식은

x_{i}

$x_i$ s는 당뇨병, 림프종 및 c.에 대한 지표 변수로 정의됩니다.

w_{i}

$w_i$ s가 미리 지정되어 있습니다. 내가 말하는 것은 "부적절한"회귀 모형과 "적절한"회귀 모형 사이의 구별이 하나님이 주신

x_{i}

$x_i$ 각각의 "적절한"모델이 계수를 추정 할 것입니다.

— Scortchi-Monica Monica 복원

언제

w_{i} = ρ (y, x_{i})

$w_i = \rho(y, x_i)$ , & 만약

ρ

$\rho$ 모델과 동일한 데이터로 추정되었는데, 이는 상당히 다른 물고기 주전자 일 것입니다.

— Scortchi-Monica Monica 복원

실제로, 이것은 가정 된 공분산 구조의 구색 인 것 같습니다. 다시 말해, 이것은 베이지안 이전 모델링의 한 유형입니다.

이는 매개 변수의 개수가 많기 때문에 일반적인 MLR 절차에 비해 견고성이 향상됩니다. $\downarrow$ df)는 감소되고 생략 된 가변 바이어스 , OVB로 인해 부정확성을 초래 합니다. OVB 때문에 경사가 평평 해지고 $|\hat\beta|<|\beta|$ 결정 계수가 감소합니다. $\hat{R}^2<R^2$ .

저의 개인적인 경험은 베이지안 접근법보다 우월한 것이 더 나은 모델링을 사용한다는 것입니다. 매개 변수 변환, 다른 규범 사용 및 / 또는 비선형 방법 사용. 즉, 일단 문제의 물리학과 방법이 적절히 탐구되고 조정되면, F 통계, 결정 계수 등이 저하되지 않고 개선된다.

— 칼
소스