회귀 모델에서 오류를 개념화하는 방법은 무엇입니까?

데이터 분석 수업에 참석하고 있으며 뿌리 깊은 아이디어가 흔들리고 있습니다. 즉, 오차 (엡실론)와 다른 종류의 분산은 그룹 (표본 또는 전체 모집단)에만 적용됩니다. 이제, 회귀 가정 중 하나는 분산이 "모든 개인에게 동일"하다는 것입니다. 이것은 어떻게 든 나에게 충격이다. 나는 항상 일정한 것으로 가정 된 모든 X 값에 대한 Y의 편차라고 생각했습니다.

나는 회귀를 할 때 모델이 사실이라고 가정하는 교수와 대화를 나 chat습니다. 그리고 나는 그것이 까다로운 부분이라고 생각합니다. 저에게 오류 용어 (epsilon)는 항상 "알지 못하는 요소와 결과 변수에 영향을 줄 수있는 요소, 측정 오류"등을 의미했습니다. 수업이 진행되는 방식에는 "다른 것들"과 같은 것은 없습니다. 우리의 모델은 진실하고 완전하다고 가정합니다. 이는 모든 잔차 변동이 측정 오차의 곱으로 간주되어야한다는 것을 의미합니다 (따라서 개인을 20 번 측정하면 20 명의 개인을 한 번 측정하는 것과 동일한 분산이 생성 될 것으로 예상됩니다).

어딘가에 문제가 있다고 생각합니다. 이것에 대해 전문가 의견을 갖고 싶습니다 ... 개념적으로 말하면 오류 용어가 무엇인지에 대한 해석의 여지가 있습니까?

결과 y 값에 영향을 미치는 개인의 측면이있는 경우 해당 측면을 얻는 방법이 있거나 (이 경우 예측 변수 x의 일부 여야 함) 어떤 방법도 얻을 수있는 방법이 없습니다 정보.

이 정보를 얻을 수있는 방법이없고 개인의 y 값을 반복적으로 측정 할 수있는 방법이 없다면 실제로 중요하지 않습니다. y를 반복적으로 측정 할 수 있고 데이터 세트에 실제로 일부 개인에 대한 반복 측정이 포함 된 경우 통계 이론은 측정 오류 / 잔여의 독립성을 가정하기 때문에 잠재적 인 문제가 있습니다.

예를 들어 양식의 모델을 맞추려고한다고 가정합니다.

$y=\beta_0+\beta_1 x$ ,

각 개인마다

$yind=100+10x+z$ ,

여기서 z는 개인에 따라 다르며 일반적으로 평균 0과 표준 편차 10으로 분포됩니다. 개인의 반복 측정마다

$ymeas=100+10x+z+e$ ,

여기서 는 일반적으로 평균 0과 표준 편차 0.1로 분포됩니다. $e$

이것을 다음과 같이 모델링 할 수 있습니다

$y=\beta_0+\beta_1 x+\epsilon$ ,

여기서 은 보통 평균 0과 표준 편차로 분포됩니다.$\epsilon$

$\sigma=\sqrt{10^2+0.1^2}=\sqrt{100.01}$ .

각 개인에 대해 하나의 측정 값 만있는 한 괜찮습니다. 그러나 동일한 개인에 대해 여러 측정 값이 있으면 잔차가 더 이상 독립적이지 않습니다!

예를 들어, z = 15 (1.5 표준 편차가 있으므로 불합리하지 않음) 인 개인이 한 개인이고 그 개인에 대해 100 회 반복 측정 된 경우 및 (정확한 값)을 사용합니다. 약 +1.5 표준 편차의 100 잔차로 끝날 것입니다. 이는 통계에 영향을줍니다 . $\beta_0=100$$\beta_1=10$$\chi^2$

"오류"는 "현재 정보를 감안할 때 예측할 수없는 관측치의 일부"로 가장 잘 설명됩니다. 모집단 대 표본의 관점에서 생각하려고 시도하면 오류가 일부 분포에서 "순전히 무작위"인 것으로 생각하는 것처럼 개념적 문제가 발생합니다 (어쨌든 저에게는 잘됩니다). 예측과 "예측 가능성"의 관점에서 생각하는 것이 훨씬 더 의미가 있습니다.

또한 최대 엔트로피 원리는 정규 분포가 사용되는 이유를 이해하는 깔끔한 방법을 제공한다고 생각합니다. 모델링 할 때 알려진 오류를 설명하기 위해 오류에 분포를 할당 합니다. 모든 공동 분포 는 상상할 수있는 지식 상태를 나타낼 수 있습니다. 그러나 와 같은 일부 구조를 지정 하면이 제약 조건의 가장 균일 한 분포가 적용됩니다 평균이 일정하고 분산이 일정한 정규 분포입니다.E ( $p(e_{1},\dots,e_{n})$σ2$E(\frac{1}{n}\sum_{i=1}^{n}e_{i}^2)=\sigma^2$$\sigma^2$. 이것은 "독립성"과 "일정한 분산"이이 제약 조건 하에서 달리 가정하는 것보다 실제로 더 안전하다는 것을 보여줍니다. 즉 평균 두 번째 모멘트가 존재하고 유한하며 오류의 일반적인 크기는 일 것으로 예상합니다 .$\sigma$

따라서 이것을 생각하는 한 가지 방법은 우리의 가정이 반드시 "정확한"것이 아니라 문제에 많은 정보를 주입하지 않는다는 의미에서 "안전"하다고 생각하는 것입니다 (우리는 하나의 구조적 제약을 부과하고 있습니다) 치수). 따라서 우리는 안전한 지역에서 시작하고 있으며 특정 사례 및 데이터 세트에 대한 특정 정보에 따라 여기에서 구축 할 수 있습니다.$n$

여기에 단순 선형 회귀를 설명하는 매우 유용한 링크입니다 : http://www.dangoldstein.com/dsn/archives/2006/03/every_wonder_ho.html를 어쩌면이 "오류"개념을 파악하는 데 도움이 될 수 있습니다.

FD

나는 교수의 공식화에 동의하지 않는다. 당신이 말했듯이, 분산이 각 개인마다 동일하다는 생각은 오차 항이 측정 오차만을 나타냅니다. 이것은 일반적으로 기본 다중 회귀 모델이 구성되는 방식이 아닙니다. 또한 말한 것처럼 그룹에 대해 분산이 정의됩니다 (개별 주제 그룹이든 측정 그룹이든 상관 없음). 측정을 반복하지 않으면 개별 수준에서 적용되지 않습니다.

오차항에 예측 변수와 관련된 변수의 영향이 포함되지 않아야한다는 점에서 모형을 완성해야합니다. 오류 항은 예측 변수와 독립적이라는 가정이 있습니다. 상관 된 변수가 생략되면 바이어스 계수가 나타납니다 (이를 생략 변수 바이어스 라고 함 ).