선형 회귀에 대한 가장 일반적인 오해는 무엇입니까?

다른 연구자들과 협력 한 경험이있는 사람들에게 선형 회귀에 대한 가장 일반적인 오해는 무엇입니까?

나는 일반적인 오해를 미리 생각하기에 유용한 운동이 될 수 있다고 생각한다.

1. 사람들의 실수를 예상하고 왜 잘못된 생각이 틀린지 분명히 설명 할 수 있어야합니다

2. 내가 약간의 오해를 겪고 있는지 깨달으십시오!

내가 생각할 수있는 몇 가지 기본 사항 :

독립 / 종속 변수는 정규 분포해야합니다

정확한 해석을 위해 변수를 표준화해야합니다

다른 사람?

모든 답변을 환영합니다.

틀린 전제 : 은 DV와 IV 사이에 강한 관계가 없음을 의미합니다. $\hat{\beta} \approx 0$
비선형 기능 관계는 풍부하지만 관계가 선형이거나 거의 선형이어야한다고 가정 할 경우 이러한 많은 관계에 의해 생성 된 데이터는 종종 거의 0의 기울기를 생성합니다.

특히, 다른 잘못된 전제에서 연구원들은 종종 많은 입문 회귀 교과서에서 가르치는 것처럼 IV의 다항식 확장에 대해 DV의 일련의 회귀를 구축하여 "비선형 성을 테스트" 한다고 가정 합니다 (예 : 이어서 ,이어서 에 의해$Y \sim \beta_{0} + \beta_{X}X + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \beta_{X^{3}}X^{3} + \varepsilon$등). 다만도 DV와 IV 간의 비선형 함수 관계를 나타낼 수없는 직선으로, 포물선 잘 그대로 비선형 관계 무한대 (예를 들어 정현파, cycloids 스텝 함수, 포화 효과, S- 커브 등을 나타낼 수없는 광고 인해서 ). 대신 특정 기능 형태 (예 : 런닝 라인 스무더, GAM 등)를 가정하지 않는 회귀 접근법을 사용할 수 있습니다 .

제 거짓 전제 예상 수가 증가한다는 것이다 파라미터 것은 반드시 통계적으로 전력 손실을 초래한다. 실제 관계가 비선형이고 추정하기 위해 여러 개의 매개 변수가 필요한 경우 이는 거짓 일 수 있습니다 (예 : "브로큰 스틱"기능은 직선 의 절편 및 기울기 조건뿐만 아니라 기울기가 변하는 지점 과 그 정도를 요구합니다) 에 의해 경사 변화 또한 추정치) : 잘못 지정된 모델 (예 : 직선)의 잔차가 상당히 커져 (적절하게 지정된 기능적 관계와 관련하여) 거부 확률이 낮아지고 신뢰 구간과 예측 구간이 넓어 질 수 있습니다 (추정 된 추정치 외에도) .

데이터 만 측정 오류가 발생 한다고 가정하는 것이 매우 일반적입니다 (또는 적어도 이것이 우리가 고려해야 할 유일한 오류라고 가정). 그러나 이것은 측정 에서 오류의 가능성과 결과를 무시합니다 . 이는 변수가 실험적 통제를받지 않는 관측 연구에서 특히 심각 할 수 있습니다 .$y$$x$$x$

회귀 희석 또는 회귀 감쇠 는 Spearman (1904)에 의해 인식되는 현상으로, 간단한 선형 회귀에서 추정 회귀 기울기가 독립 변수에 측정 오차가 존재하여 0으로 편향됩니다. 실제 기울기가 양수라고 가정합니다. 점의좌표를 지 터링하는 효과(점을 가로로 "흐리게"표시하는 것이 가장 쉽게 나타남)는 회귀선을 덜 가파르게 만드는 것입니다. 직관적으로,가큰 포인트는 양의 측정 오류로 인해 발생하기 쉬우 며,값은의 실제 (오류가없는) 값을 반영 할 가능성이 높으므로 실제 선보다 낮습니다. 관찰 된$x$$x$$y$$x$$x$ .

더 복잡한 모델에서 변수의 측정 오류 는 모수 추정값에 더 복잡한 영향을 줄 수 있습니다. 있습니다 변수 모델의 오류 계정으로 이러한 오류를 취할. Spearman은 이변 량 상관 계수의 감쇄를위한 보정 계수를 제안 했으며,보다 복잡한 상황을 위해 다른 보정 계수가 개발되었습니다. 그러나 이러한 수정은 특히 다변량의 경우와 혼란스러운 상황에서 어려울 수 있으며 수정이 진정한 개선인지 여부에 대해서는 논란의 여지가 있습니다 (예 : Smith and Phillips (1996) 참조).$x$

그래서 나는 이것이 하나의 가격에 대한 두 가지 오해라고 생각합니다. 한편으로 우리가 을 쓰는 방식 은 "모든 오류는 " 는 것을 의미 한다고 생각하는 것은 실수입니다. 독립 변수에서 측정 오류가 실제로 발생할 가능성이 있습니다. 반면, 무릎 통증 반응과 같은 모든 상황에서 측정 오류에 대해 "교정"을 맹목적으로 적용하는 것은 바람직하지 않을 수 있습니다 (처음에는 측정 오류를 줄이기위한 조치를 취하는 것이 좋습니다) .$y = X\beta + \varepsilon$$y$

(아마도 직교 회귀 , 데밍 회귀 및 총 최소 제곱 과 같이 점차 일반적인 순서로 다른 일반적인 변수 오류 모델에 연결해야합니다 .)

참고 문헌

• Smith, GD, & Phillips, AN (1996). " 역학 인플레이션 : '두 가지 사이의 연관성에 대한 증거와 측정'재검토 . 영국 의학 저널 , 312 (7047), 1659–1661.

• Spearman, C. (1904). "두 가지의 연관성에 대한 증거와 측정." American Journal of Psychology 15 : 72–101.

의 의미 , 잘못된 인과 관계 추론 등과 같은 다른 통계적 맥락뿐만 아니라이 맥락에서 적용되는 몇 가지 표준 오해가 있습니다 . $p$

다중 회귀 분석과 관련된 오해는 다음과 같습니다.

1. 더 큰 추정 계수 및 / 또는 더 낮은 값 을 갖는 변수 가 '더 중요'하다고 생각합니다. $p$
2. 모델에 더 많은 변수를 추가하면 '진실에 더 가깝게된다'고 생각합니다. 예를 들어, 단순 회귀에서의 기울기 에서 간의 실제 직접 관계되지 않을 수 와 하지만 변수 추가하면 해당 계수는 사실 관계를 더 잘 표현 될 것이고 추가하면 훨씬 좋습니다. $Y$$X$$X$$Y$$Z_1, \ldots, Z_5$$Z_6, \ldots, Z_{20}$

나는 당신이 처음으로 나열한 것이 아마도 틀린 것으로 보이는 것들 중에서 가장 일반적이고 아마도 가장 널리 가르쳐 진 방법이라고 말하지만, 어떤 상황에서는 덜 분명한 것들이 있습니다. 실제로 적용되는지 여부), 더 많은 분석에 영향을 미칠 수 있으며 더 심각하게 영향을 줄 수 있습니다. 회귀의 주제가 소개 될 때 종종 언급되지 않습니다.

• 대표 표본에 근접 할 수없는 관심 대상 집단에서 무작위 표본으로 처리 (임의로 표본 추출은 제외). [일부 연구는 편의 샘플에 더 가까운 것으로 볼 수 있음]

• 관찰 데이터를 사용하면 처리 방법을 고려하지 않고 포함 된 변수 (많은 경우 부호 변경 가능성이 있음)의 계수 추정치를 확실히 바이어스시키는 프로세스의 중요한 동인을 제외시키는 결과를 무시합니다. 그들과 함께 (문제를 무지하거나 단순히 무엇이든 할 수 있다는 것을 모르는 경우). [일부 연구 분야는 수집 된 데이터의 종류 때문에 또는 일부 응용 분야의 사람들이이 문제에 대해 배우기 쉽기 때문에 다른 문제보다 더 많은 문제를 가지고 있습니다.]

• 가짜 회귀 (주로 시간이 지남에 따라 수집 된 데이터). [사람들이 이런 일이 일어나고 있다는 것을 알고있을 때에도, 고정 된 것으로 생각하는 것만으로 문제를 완전히 피하기에 충분하다는 또 다른 일반적인 오해가 있습니다.]

물론 언급 할 수있는 많은 것들이 있습니다 (예 : 직렬로 상관되거나 심지어 통합 될 독립적 인 데이터로 처리하는 것이 일반적 일 수 있습니다).

시간이 지남에 따라 수집 된 데이터에 대한 관측 연구가 한 번에 모두 이루어질 수 있음을 알 수 있습니다. 그러나 회귀가 표준 도구 인 많은 연구 분야에서 이러한 종류의 연구가 매우 일반적입니다. 단일 검토 자 또는 편집자 중 적어도 하나에 대해 알지 못하고 결론에 어느 정도의 면책 조항을 요구하지 않고 그들이 출판 될 수있는 방법은 계속 걱정됩니다.

통계는 신중하게 통제 된 실험 (아마 신중하게 통제되지 않은 분석과 결합 될 때)을 다룰 때 재현 불가능한 결과의 문제로 가득 차 있습니다. 따라서 그 경계를 벗어나는 한 단계에서 재현성 상황이 얼마나 악화되어야합니까?

나는 아마도 이러한 오해를 불러 일으키지 않을 수도 있지만 혼동 / 끊어짐의 일반적인 점과 경우에 따라 연구원이 알지 못하는 문제를 일으킬 수도 있습니다.

• 다중 공선 성 (데이터 포인트보다 많은 변수의 경우 포함)
• 이분산성
• 독립 변수의 값이 노이즈의 영향을 받는지 여부
• 스케일링 (또는 스케일링 아님)이 계수 해석에 미치는 영향
• 여러 주제의 데이터를 처리하는 방법
• 직렬 상관 관계를 다루는 방법 (예 : 시계열)

사물의 오해 측면에서 :

• 선형성이 의미하는 것 (예 : 는 비선형 wrt 이지만 선형은 가중치입니다).$y = ax^2 + bx + c$$x$
• '회귀'는 보통 최소 제곱 또는 선형 회귀를 의미합니다.
• 저 / 고 가중치는 반드시 종속 변수와의 약한 / 강한 관계를 암시합니다
• 종속 변수와 독립 변수 사이의 의존성을 반드시 쌍별 의존성으로 줄일 수 있습니다.
• 훈련 세트에 대한 높은 적합도는 우수한 모델을 의미합니다 (즉, 과적 합 무시)

내 경험상 학생들은 제곱 오차 (또는 OLS 회귀)가 본질적으로 적절하고 정확하며 전반적으로 사용하기에 적합하거나 대안이 없다는 견해를 종종 채택합니다. 나는 OLS가 "더 극단적 인 / 편견 한 관찰에 더 큰 무게를 준다"는 말과 함께 광고를 자주 보았다. 이 개념은 이상치 (outlier)와 강력한 접근 방식의 처리가 도입 될 때 나중에 수정 될 수 있지만, 그 시점에서 피해가 발생합니다. 틀림없이, 제곱 오차의 광범위한 사용은 역사적으로 실제 오차 비용의 자연 법칙보다 수학적 편의와 더 관련이 있습니다.

전반적으로, 오류 기능의 선택이 다소 임의적이라는 이해에 중점을 둘 수 있습니다. 이상적으로, 알고리즘 내에서 페널티 선택은 잠재적 오류와 관련된 해당 실제 비용 함수 (즉, 의사 결정 프레임 워크 사용)에 따라 결정되어야합니다. 왜이 원칙을 먼저 확립하고 우리가 얼마나 잘 할 수 있는지 보지 않겠습니까?

또 다른 일반적인 오해는 오류 항 (또는 계량 경제학 용어의 장애)과 잔차가 동일하다는 것입니다.

오차 항은 실제 모형 또는 데이터 생성 과정 에서 랜덤 변수이며, 종종 특정 분포를 따르는 것으로 가정되는 반면, 잔차는 적합 모형에서 관측 된 데이터의 편차입니다. 따라서 잔차는 오차의 추정치로 간주 될 수 있습니다.

내가 겪는 가장 일반적인 오해는 선형 회귀가 오류의 정규성을 가정한다는 것입니다. 그렇지 않습니다. 정규성은 선형 회귀의 일부 측면 (예 : 계수의 신뢰 한계와 같은 작은 샘플 특성)과 관련하여 유용합니다. 이러한 경우에도 비정규 분포에 사용할 수있는 점근 적 값이 있습니다.

두 번째로 가장 흔한 것은 예를 들어 피드백 루프에주의하지 않는 내 생성과 관련하여 혼란의 클러스터입니다. Y에서 X로 피드백 루프가 있으면 문제입니다.

내가 만든 오류는 OLS에서 X와 Y의 대칭을 가정하는 것입니다. 예를 들어, OLS를 사용하여 소프트웨어에서 a와 b를 사용하여 선형 관계 를 가정하면 X를 Y의 함수로 가정하면 OLS를 사용하여 계수를 제공한다고 믿습니다. 잘못되었습니다.

어쩌면 이것은 OLS와 총 최소 제곱 또는 첫 번째 주요 구성 요소의 차이와 관련이 있습니다.

내가 종종 본 것은 실제로 특정 유스 케이스에서 선형 회귀의 적용 가능성에 대한 오해입니다.

예를 들어, 관심있는 변수가 무엇인가 (예 : 웹 사이트 방문자) 또는 비율 (예 : 전환율)이라고 가정 해 보겠습니다. 이러한 경우 포아송 (counts), 베타 (ratios) 등과 같은 링크 함수를 사용하여 변수를 더 잘 모델링 할 수 있습니다. 따라서보다 적절한 링크 기능을 가진 일반화 된 모델을 사용하는 것이 더 적합합니다. 그러나 변수가 범주 형이 아니기 때문에 사람들이 간단한 선형 회귀로 시작하는 것을 보았습니다 (링크 함수 = 항등 성). 정확성의 의미를 무시하더라도 모델링 가정은 문제가됩니다.

연구원들이 자주 간과하는 생각은 다음과 같습니다.

• 변수 상호 작용 : 연구원은 종종 개별 예측 변수의 분리 된 베타를보고 상호 작용 항을 지정하지 않는 경우가 많습니다. 그러나 실제 세계에서는 사물이 상호 작용합니다. 가능한 모든 교호 작용 용어를 올바르게 지정하지 않으면 "예측 자"가 어떻게 결과를 형성하는 데 관여하는지 알 수 없습니다. 부지런히하고 모든 교호 작용을 지정하려면 예측 변수 수가 폭발적으로 증가합니다. 내 계산에서 4 개의 변수와 100 개의 주제와의 상호 작용 만 조사 할 수 있습니다. 하나 이상의 변수를 추가하면 매우 쉽게 과적 합할 수 있습니다.

또 다른 일반적인 오해는 추정치 (적합치)가 변형에 변하지 않는다는 것입니다.

Y 난 = → X T 나

이것이 단조 함수 대해 반드시 선형 일 필요는없는 경우, 원하는 것은 Quantile 회귀입니다.$f(\cdot)$

위의 등식은 선형 함수에 대한 선형 회귀를 유지하지만 비선형 함수 (예 : )는이를 유지하지 않습니다. 그러나 이것은 양자 회귀 분석에서 모든 단조 함수에 적용됩니다.$log(\cdot)$

이것은 데이터의 로그 변환을 수행하고 선형 회귀를 피팅 한 다음 적합 값을 지수화하고 사람들이 그것을 회귀로 읽는 경우 항상 나타납니다. 이것은 의미가 아니며, 이것이 중앙값입니다 (사실이 실제로 로그 정규 분포되어있는 경우).