선형 회귀 모델과 비선형 회귀 모델의 차이점을 어떻게 알 수 있습니까?

비 선형 회귀 SAS Non Linear 에서 다음 링크를 읽었습니다 . 첫 번째 섹션 "Nonlinear Regression vs. Linear Regression"을 읽은 것을 이해하면 아래 방정식이 실제로 선형 회귀라는 것입니다. 맞습니까? 그렇다면 왜?

$$y = b_1x^3 + b_2x^2 + b_3x + c$$

비선형 회귀 분석에서 다중 공선 성이 문제가되지 않음을 이해하고 있습니까? 나는 다중 공선 성이 선형 회귀에서 문제가 될 수 있다는 것을 알고 있으므로 위의 모델이 실제로 선형 회귀라면 다중 공선 성이있을 것입니까?

회귀를 "선형"으로 간주 할 수있는 (적어도) 세 가지 의미가 있습니다. 그것들을 구별하기 위해, 매우 일반적인 회귀 모델부터 시작하겠습니다

$$Y = f(X,\theta,\varepsilon).$$

토론을 간단하게 유지하려면 독립 변수 를 고정하고 정확하게 측정해야합니다 (임의 변수가 아닌). 그들은 각각 속성 의 관측 값을 모델링 하여 응답 의 벡터를 생성 합니다. 통상적으로, 는 행렬로, 는 열 벡터로 표현된다. (finite vector) 는 매개 변수로 구성 됩니다 . 은 벡터 값 랜덤 변수입니다. 그것은 일반적으로n p n Y X n × p Y n q $X$$n$$p$$n$$Y$$X$$n\times p$$Y$$n$$q$$\theta$$\varepsilon$$n$구성 요소가 있지만 때로는 더 적습니다. 함수 는 벡터 값을 ( 구성 요소가 와 일치 ) 일반적으로 마지막 두 인수 ( 및 ) 에서 연속적인 것으로 가정 합니다.n Y θ $f$$n$$Y$$\theta$$\varepsilon$

데이터에 선을 맞추는 전형적인 예 는 가 숫자 벡터 . x 값; 는 수 의 평행 벡터이며 ; 는 인터셉트 및 기울기 ; 및 성분 독립 (통상의 제로 평균과 동일하지만, 미지의 분포를 갖는 것으로 가정)이다 "랜덤 에러」의 벡터이다. 앞의 표기법에서X ( x i$(x,y)$$X$Y n ( y i ) θ = ( α , β ) α β ε = ( ε 1 , ε 2 , … , ε n$(x_i,\,i=1,2,\ldots,n)$$Y$$n$$(y_i)$$\theta = (\alpha,\beta)$$\alpha$$\beta$$\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$

$$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$$

함께 .$\theta = (\alpha,\beta)$

회귀 함수는 세 가지 인수 중 하나 (또는 ​​모두)에서 선형 일 수 있습니다.

• "선형 회귀 또는"선형 모델 "은 일반적으로 가 매개 변수 의 함수로 선형 임을 의미합니다 . "비선형 회귀 " 의 SAS 의미는 이러한 의미에서 가 두 번째로 차별화 될 수 있다는 가정이 추가되었습니다. 인수 (매개 변수).$f$ $\theta$$f$

• " 와 사이의 선형 관계 "는 가 의 함수로서 선형 임을 의미 합니다.Y f $X$$Y$$f$$X$

• ε 에서 f 가 선형 일 때 모형에 가산 오차 가 있습니다. 이러한 경우 항상 E ( ε ) = 0 이라고 가정합니다 . (그렇지 않으면, ε 을 "올바른"값에서 "오류"또는 "편차"로 생각하는 것은 옳지 않습니다 .)$f$$\varepsilon$$\mathbb{E}(\varepsilon) = 0$$\varepsilon$

이러한 특성의 모든 가능한 조합이 발생할 수 있으며 유용합니다. 가능성을 조사하자.

1. 가산 오차와 선형 관계의 선형 모형. 이것은 보통 (복수) 회귀이며, 위에서 이미 보여졌으며보다 일반적으로

   $$Y = X\theta + \varepsilon.$$

   필요한 경우 상수 열에 인접하여 X 가 확장되었으며 θ 는 p- 벡터입니다.$X$$\theta$$p$

2. 가산 오차와 비선형 관계의 선형 모형. 이는의 열을 보강하여 회귀로 누이 수 비선형 함수 X 자체. 예를 들어$X$$X$

   $$y_i = \alpha + \beta x_i^2 + \varepsilon$$

   이 형태입니다. 에서 선형이며 ; 추가 오류가 있습니다. x 2 i 가 x i 의 비선형 함수 임에도 불구 하고 값 ( 1 , x 2 i ) 에서 선형 입니다.$\theta=(\alpha,\beta)$$(1,x_i^2)$$x_i^2$$x_i$

3. 비가 산 오차와 선형 관계의 선형 모형. 예는 곱셈 오류입니다.

   $$y_i = (\alpha + \beta x_i)\varepsilon_i.$$

   (이러한 경우, 의 위치 가 1 일 때 ε i 는 "곱셈 오류"로 해석 될 수 있습니다 . 그러나 올바른 위치 감지가 더 이상 예상 E ( ε i ) 일 필요는 없습니다 . 예를 들어 기하 평균. 위치 가정에 대한 유사한 주석이 적용 준용을 너무 다른 모든 비 첨가제 - 오류 상황에서,.)$\varepsilon_i$$\varepsilon_i$$1$$\mathbb{E}(\varepsilon_i)$

4. 비가 산 오차와 비선형 관계의 선형 모형. 예를 들어 ,

   $$y_i = (\alpha + \beta x_i^2)\varepsilon_i.$$

5. 가산 오차와 선형 관계의 비선형 모델. 비선형 모델에는 비선형 일뿐만 아니라 매개 변수를 다시 표현하여 선형화 할 수없는 매개 변수 조합이 포함됩니다 .

   • A와 비 예를 들어, 고려

     $$y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$$

     정의함으로써 및 β를 ' = β (2) , 및 규제 β ' ≥ 0 이 모델은 다시 작성 될 수있다$\alpha^\prime = \alpha\beta$$\beta^\prime=\beta^2$$\beta^\prime \ge 0$

     $$y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$$

     (가산 오차와 선형 관계의) 선형 모델로 표시합니다.

   • AS를 예를 들어, 고려

     $$y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$$

     이 새로운 파라미터 찾을 수 없다 에 따라 α , 즉,의 함수로이를 선형화 α ' (이것은 선형 유지하면서 X 난을 아니라 참조).$\alpha^\prime$$\alpha$$\alpha^\prime$$x_i$

6. 가산 오차와 비선형 관계의 비선형 모델.

   $$y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$$

7. 비가 산 오차가있는 선형 관계의 비선형 모델.

   $$y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$$

8. 비가 산 오차가있는 비선형 관계의 비선형 모델.

   $$y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$$

---

이것들은 여덟 가지 다른 형태 의 회귀를 나타내지 만 , 어떤 형태는 다른 형태로 변환 될 수 있기 때문에 분류 체계를 구성하지 않습니다 . 표준적인 예는 비가 산 오차를 가진 선형 모델의 변환입니다 (긍정적 인 지원이 있다고 가정)

$$y_i = (\alpha + \beta x_i)\varepsilon_i$$

대수를 통해 가산 오차를 갖는 비선형 관계의 선형 모델로

$$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$$

여기에서 로그 기하 평균 는 오류 조건에서 제거되어 (필요에 따라 0의 평균을 갖도록) 다른 용어에 통합되었습니다 (값을 추정해야하는 경우). ). 실제로 종속 변수 Y 를 다시 표현해야하는 주요 이유 중 하나 는 가산 오차가있는 모형을 만드는 것입니다. 재 발현은 또한 매개 변수 및 설명 변수 중 하나 (또는 ​​둘 다)의 함수로서 Y 를 선형화 할 수있다 .$\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$$Y$$Y$

---

공선 성

( 의 열 벡터) 공선 성은 모든 형태의 회귀 에서 문제가 될 수 있습니다 . 이를 이해하는 열쇠는 공선 성이 모수 추정에 어려움을 초래한다는 것을 인식하는 것입니다. 추상적이고 매우 일반적으로, 두 개의 모델 Y = f ( X , θ , ε ) 와 Y = f ( X ' , θ , ε ′ )를 비교합니다. 여기서 X ' 는 하나의 열이 약간 변경된 X 입니다. 이것이 추정치에 막대한 변화를 유발한다면$X$$Y = f(X,\theta,\varepsilon)$$Y=f(X^\prime,\theta,\varepsilon^\prime)$$X^\prime$$X$ 와 θ ', 다음 분명히 우리는 문제가있다. 이 문제가 발생할 수있는 한 가지 방법은X에서 선형 인 선형 모델(위의 유형 (1) 또는 (5))에서θ의 성분이X의 열과 일대일로 일치하는 것입니다.. 하나의 열이 다른 열의 사소한 선형 조합 인 경우 해당 매개 변수의 추정치는 임의의 실수 일 수 있습니다. 그것은 그러한 감도의 극단적 인 예입니다.$\hat\theta$$\hat\theta^\prime$$X$$\theta$$X$

이 관점에서 공선 성은 비선형 관계의 선형 모델에 대한 잠재적 인 문제 (오류의 가산 성에 관계 없이)이고이 일반화 된 공선 성 개념은 모든 회귀 모형에서 잠재적으로 문제 라는 것이 분명해야합니다 . 중복 변수가 있으면 일부 매개 변수를 식별하는 데 문제가 있습니다.

현실과 그것을 묘사하는 데 사용하는 모델을 차별화하여 지금 시작해야합니다.

방금 언급 한 방정식은 다항식 (x ^ power)입니다. 비선형 ...하지만 매개 변수가 선형 (b1, b2, b3, c)이므로 일반화 선형 모델 (링크 함수 사용) 또는 polynomail 회귀를 사용하여 모델링 할 수 있습니다

도움이되기를 바랍니다. 실제로 약간 스케치입니다 : 현실 / 모델

모델이 매개 변수에서 선형이거나 매개 변수에서 선형으로 변환 될 수있는 경우 선형입니다 (선형화 가능). 선형 모델은 선형 또는 비선형 관계를 모델링 할 수 있습니다. 이들 각각을 확장 해 봅시다.

모형을 항의 합계로 쓸 수있는 경우 모수에서 선형입니다. 여기서 각 항은 상수이거나 예측 변수 (X _i )를 곱하는 모수입니다 .

이 정의는 매우 좁습니다. 이 정의를 충족하는 모델 만 선형입니다. 다른 모든 모델은 비선형입니다.

비선형 모델과 혼동되는 두 가지 유형의 선형 모델이 있습니다.

1. 비선형 관계의 선형 모델

예를 들어, 다음의 모델이 모델 비선형 관계 (X와 Y의 유도체 때문에 ₁ X의 함수 ₁ ). 새로운 변수 W ₁ = X ₁ ² 를 만들고 X ₁ ² 대신 W _{1을 사용} 하여 방정식을 다시 작성하면 선형 모델의 정의를 만족시키는 방정식이 생깁니다.

2. 즉시 선형은 아니지만 변환 후 선형화 될 수있는 모델 (선형화 가능). 다음은 선형화 가능 모델의 2 가지 예입니다.

예 1 :

이 모델은 매개 변수에서 선형 인 모델의 정의를 충족하지 않기 때문에 비선형으로 보일 수 있지만 선형 모델로 변환 할 수 있으므로 선형화 가능 / 변형 가능 선형이므로 선형으로 간주됩니다. 모델. 다음 변환은 선형화됩니다. 양측의 자연 로그를 취하여 시작하십시오.

그런 다음 다음을 대체하십시오.

아래 선형 모델을 얻으려면 :

예 2 :

이 모델은 매개 변수에서 선형 인 모델의 정의를 충족하지 않기 때문에 비선형으로 보일 수 있지만 선형 모델로 변환 할 수 있으므로 선형화 가능 / 변형 가능 선형이므로 선형으로 간주됩니다. 모델. 다음 변환은 선형화됩니다. 양측의 역수를 취하여 시작하십시오.

그런 다음 다음을 대체하십시오.

아래 선형 모델을 얻으려면 :

선형이 아닌 (선형화를 통해서도) 모델은 비선형입니다. 이 방법으로 생각하십시오 : 모델이 선형 모델의 정의를 충족하지 않으면 선형화 가능한 것으로 입증 될 수 없다면 선형 모델이라고 할 권리가있는 비선형 모델입니다.

위의 Whuber의 답변 과이 링크의 Glen_b의 답변은 내 답변에 더 많은 색상을 추가합니다. 비선형 대 일반 선형 모형 : 로지스틱, 포아송 등 회귀를 어떻게 참조합니까?