선형 회귀 분석의 선형성 가정은 단순히 의 정의 입니까?

선형 회귀를 수정하고 있습니다.

Greene의 교과서는 다음과 같이 말합니다.

물론, 선형 회귀 모델에 대한 다른 가정이있을 것입니다 예 : . 이 가정은 선형성 가정 (실제로 정의 ) 과 결합 하여 모델에 구조를 적용합니다.$E(\epsilon|X)=0$$\epsilon$

그러나 선형성 가정 자체만으로는 모델에 어떠한 구조도 적용하지 않습니다. 은 완전히 임의적 일 수 있기 때문 입니다. 변수 에 관계없이 두 변수 간의 관계에 관계없이 선형성 가정이 유지되도록 정의 할 수 있습니다. 따라서, 선형성 "가정"정말 호출 할 필요가 정의 의 보다는 가정.X , y ϵ$\epsilon$$X, y$$\epsilon$$\epsilon$

따라서 궁금합니다 .

1. 그린은 조잡합니까? 실제로 작성 했어야합니까 : ? 이것은 실제로 모델에 구조를 적용하는 "선형성 가정"입니다.$E(y|X)=X\beta$

2. 또는 선형성 가정이 모델에 구조를 배치하지 않고 만 정의한다는 점을 받아 들여야합니까? 다른 가정에서는 정의를 사용 하여 모델에 구조를 적용합니까?$\epsilon$$\epsilon$

편집 : 다른 가정에 혼란이있는 것 같으므로 여기에 전체 가정을 추가하겠습니다.

이것은 Greene, Econometric Analysis, 7th ed에서 발췌 한 것입니다. 피. 16.

1. 그린은 조잡합니까? 실제로 작성 했어야합니까 : ? 이것은 실제로 모델에 구조를 적용하는 "선형성 가정"입니다.$E(y|X)=X\beta$

어떤 의미에서는 그렇습니다. 한편으로, 현대의 인과 관계 연구에 따르면 그는 조잡하지만 대부분의 계량 경제학 교과서와 마찬가지로 인과 관계와 관 측량을 명확하게 구분하지 않기 때문에 이러한 질문과 같은 일반적인 혼란을 초래합니다. 그러나 다른 한편으로는, 아니,이 가정은 단순히 가정하는 것과 실제로 다르다는 점에서 부주의하지 않습니다 .$E(y|X)=X\beta$

여기서 문제의 핵심이있다 조건부 기대 간의 차이 및 구조 의 (인과) 식 뿐만 아니라 구조 (인과) 기대치Y의 E [ Y | d o ( X ) $E(y|X)$$y$$E[Y|do(X)]$ . Greene의 선형성 가정은 구조적 가정입니다. 간단한 예를 보자. 구조식이 다음과 같다고 상상해보십시오.

이제 하겠습니다 . 그럼 우리는 :$E[\epsilon |x] = \delta x - \gamma x^2$

여기서 입니다. 또한 쓸 수 있으며 됩니다. 이것은 정의에 의해 직교 교란을 갖는 정확한 선형 조건부 기대 값 를 가질 수 있음을 보여 주지만, 구조식은 비선형 일 것입니다.Y = β ' X + ε ' E [ ε ' | x ] = 0 E [ y | x $\beta' = \beta + \delta$$y = \beta'x + \epsilon'$$E[\epsilon'|x] = 0$$E[y|x]$

2. 또는 선형성 가정이 모델에 구조를 배치하지 않고 만 정의한다는 점을 받아 들여야합니까? 다른 가정에서는 정의를 사용 하여 모델에 구조를 적용합니까?$\epsilon$$\epsilon$

선형성 가정은 , 즉 를 정의하여 정의합니다. 여기서 은 실험적으로 기대할 때 의 와 편차를 나타냅니다. 설정합니다 ( 펄 섹션 5.4 참조 ). 다른 가정은 구조 매개 변수 를 식별 하는 데 사용됩니다 (예 : 의 외 생성을 가정 하면 조건부 예상 구조적 기대 를 식별 할 수 있습니다 ) 또는 추정기 의 통계적 속성 을 도출하기 위해ϵ : = y − X β = y − E [ Y | d o ( X ) ] ϵ y X ϵ E [ Y | d o ( X ) ] E [ Y | X $\epsilon$$\epsilon := y - X\beta = y - E[Y|do(X)]$$\epsilon$$y$ $X$$\epsilon$$E[Y|do(X)]$$E[Y|X]$ (예를 들어, homoskedasticity의 가정은 OLS가 BLUE임을 보증하고, 정규성의 가정은 추론 등에 대한 "유한 샘플"결과를 쉽게 도출 할 수있게합니다).

그러나 선형성 가정 자체만으로는 모델에 어떠한 구조도 적용하지 않습니다. 은 완전히 임의적 일 수 있기 때문 입니다. 변수 에 관계없이 두 변수 간의 관계에 관계없이 선형성 가정이 유지되도록 정의 할 수 있습니다.X , y ϵ$\epsilon$$X, y$$\epsilon$

여기에 당신의 진술은 일반적으로 인과 추론의 주요 문제에 들어갑니다! 위의 간단한 예에서 볼 수 있듯이, 선형으로 주어질 때 의 조건부 기대를 만들 수있는 구조적 장애를 요리 할 수 ​​있습니다 . 일반적으로 여러 다른 구조적 (인과 적) 모델은 동일한 관측 분포를 가질 수 있으며, 연관성을 관찰하지 않고도 인과 관계를 가질 수도 있습니다. 따라서, 이러한 의미에서, 당신은 우리가 더 많은 가정이 필요 --- 올바른 문제로 "더 구조"를 넣어 구조 매개 변수를 식별하기 위해 관측 자료와 함께.x ϵ $y$$x$$\epsilon$$\beta$

사이드 노트

회귀와 구조 방정식과 그 의미의 구별에 관해서는 대부분의 계량 경제학 교과서가 혼란 스럽다는 것을 언급 할 가치가 있습니다. 이것은 최근에 문서화되었습니다. 당신의 논문 확인할 수 있습니다 첸과 진주 여기 뿐만 아니라 크리스 송구에 의해 확장 된 설문 조사를 . 그린은 조사 된 책 중 하나입니다.

OP와 Matthew Drury의 의견을 편집 한 후

이 질문에 대답하기 위해 Greene 및 OP라고 가정하면 다음 선형성에 대한 정의를 염두에 두어야합니다. 선형성은 예측 변수가 1 단위 증가 할 때마다 가능한 예측 변수 값 범위에서 베타 ( ) 만큼 결과가 증가 함을 의미 합니다. 이 1 단위 증가가 발생합니다. 즉, 함수 인 하고 있지 예 또는 . 또한이 가정은 베타에 중점을두고 예측 변수 (일명 독립 변수)에 적용됩니다.$β$$y=f(x)$$y=a+bx$$y=a+bx^2$$y=a+sin(x)$

모델 에서 조건부 잔차에 대한 기대는 다른 것입니다. 그렇습니다. 선형 회귀 뒤의 수학은 을 정의 / 시도하는 것이 사실입니다 . 그러나 이는 일반적으로 대한 전체 범위의 적합 / 예측 값에 대해 설정 됩니다. 선형 예측 변수의 특정 부분과 의 예측 값을 보면 이분산성 ( 의 변동 이 다른 곳보다 더 큰 영역) 또는 영역 이 나타날 수 있습니다 . 와 사이의 비선형 연관 이 원인 일 수 있지만 이분산성 또는 의 유일한 이유는 아닙니다$E(ϵ|X)$$E(ϵ|X)=0$$y$$y$$ϵ$$E(ϵ|X)≠0$$x$$y$$E(ϵ|X)≠0$ 발생할 수 있습니다 (예 : 누락 된 예측 변수 참조).

의견에서 : OP는 "엡실론이 임의적이며 XX의 기능 일 수 있음을 감안할 때 선형성 가정은 어떤 식 으로든 모델을 제한하지 않습니다"라고 말합니다. 선형 회귀 분석이 선형성 가정의 위반 여부에 관계없이 모든 데이터에 적합 할 수 있다는 것이 분명하다고 생각합니다. 여기 추측 합니다만, 그린 오류 유지하기로 결정했습니다 이유는 이유가 될 수 식 - 구원 나중에 - 선형성, 가정에 있음을 표시하기 위해 (그리고 예상 )에 기초하여 정의 될 수있는 하지만 일부 오류 유지 없이 어떤 값으로, E ( ϵ | X ) = 0 y y X ϵ ϵ E ( ϵ | X ) = $ϵ$$E(ϵ|X)=0$$y$$y$$X$$ϵ$$ϵ$걸립니다. 나는 그가 나중에 의 관련성을 바랄 뿐이다 .$E(ϵ|X)=0$

한마디로 (그의 Greene의 책을 완전히 읽고 그의 논증을 확인하지 않고) :

1. 녹색은 아마도 예측 변수의 전체 범위에 대해 베타가 일정하다는 것을 의미합니다 ( 또는 방정식 에서 베타에 강조 표시해야 함 . E ( ϵ | X ) = X $y=Xβ + ϵ$$E(ϵ|X)=Xβ$
2. 선형성 가정은 모델에 일부 구조를 적용합니다. 그러나 모델링 전에 스플라인과 같은 변환 또는 추가를 통해 비선형 연관이 선형 회귀 프레임 워크를 준수 할 수 있습니다.

나는 위의 대답에 약간 혼란 스러웠으므로 다른 기회를 주겠다. 문제는 실제로 '고전적인'선형 회귀에 관한 것이 아니라 특정 소스의 스타일에 관한 것입니다. 고전 회귀 부분에서 :

그러나 선형성 가정 자체는 모델에 어떤 구조도 두지 않습니다.

절대적으로 맞습니다. 언급했듯이 은 선형 관계를 죽이고 와 완전히 독립적 인 것을 더하여 모델을 전혀 계산할 수 없습니다.$\epsilon$$X$

그린은 조잡합니까? 실제로 작성 했어야합니까 :$E(y|X)=Xβ$

첫 번째 질문에 대답하고 싶지 않지만 일반적인 선형 회귀 분석에 필요한 가정을 요약하겠습니다.

대해 데이터 포인트 및 을 관찰한다고 가정 해 봅시다 . 관찰 한 데이터 는 독립적으로 동일하게 분포 된 무작위 변수 에서 나온 것으로 가정해야 합니다 ...Y 난 ∈ R을 난 = 1 , . . . , n ( x i , y i ) ( X i , Y i$x_i \in \mathbb{R}^d$$y_i \in \mathbb{R}$$i=1,...,n$$(x_i, y_i)$$(X_i, Y_i)$

1. 존재 고정 (독립적 ) 되도록 모든 랜덤 변수 되도록 설정된다β ∈ R d Y i = β X i + ϵ i i ϵ $i$$\beta \in \mathbb{R}^d$$Y_i = \beta X_i + \epsilon_i$$i$$\epsilon_i$

2. 물론 IID되고 같은 분포 ( 독립적이어야 아니라)ϵ $\epsilon_i$$\epsilon_i$$\mathcal{N}(0, \sigma)$$\sigma$$i$

3. 들면 및 변수 일반적인 농도, 즉 하나의 확률 변수가 밀도를 갖는다$X = (X_1, ..., X_n)$$Y = (Y_1, ..., Y_n)$$X, Y$$(X, Y)$$f_{X,Y}$

이제 일반적인 경로를 따라 계산하고 계산할 수 있습니다.

기계 학습 (오류 함수의 최소화)과 확률 이론 (우도의 최대화) 사이의 일반적인 '이중성' 을 통해 실제로 에서 를 최대화 할 수 있습니다. 일반적인 "RMSE"물건.$-\log f_{Y|X}(y|x)$$\beta$

언급 한 바와 같이 : 인용하려는 책의 저자가이 점을 밝히기를 원한다면 (기본 설정에서 '최상의 가능한'회귀선을 계산할 수 있어야하는 경우) 그래야 합니다. 이 책의 어딘가에있는 의 정규성에 대해이 가정을한다 .$\epsilon$

현재 다른 가능성이 있습니다.

• 그는이 가정을이 책에 기록하지 않습니다. 그러면 책에 오류가 있습니다.

• 그는 ' 을 쓸 때마다 은 달리 명시되지 않는 한 평균 0으로 분배됩니다. 그런 다음 IMHO 나쁜 스타일입니다. 바로 지금 느끼는 혼란을 유발하기 때문입니다. 그렇기 때문에 나는 모든 정리 에서 가정을 약간 단축 된 형태로 쓰는 경향이 있습니다. 그래야만 모든 빌딩 블록을 자체적으로 깨끗하게 볼 수 있습니다.$+ \epsilon$$\epsilon$

  • 그는 당신이 인용하는 부분에 그것을 적어두고 당신 / 우리는 그것을 알아 차리지 못했습니다 (또한 가능성 :-))

그러나 엄격한 수학적 의미에서도 정상적인 오류는 정식적인 것입니다 (최고 엔트로피를 가진 분포 (변형이 일단 수정되면), 따라서 가장 강한 모델을 생성 함). 일부 저자는이 가정을 건너 뛰지 만 그럼에도 불구하고 사용합니다 . 공식적으로, 당신은 절대적으로 맞습니다 : 그들은 "잘못된 방법으로"수학을 사용하고 있습니다. 그들이 위에서 언급 한 밀도 대한 방정식을 생각해 내고 싶을 때마다 을 알아야 합니다. 그렇지 않으면 적어 놓으려는 모든 의미있는 방정식에서 그 속성이 날아갑니다. .$f_{Y|X}$$\epsilon$