다항식 회귀는 왜 다중 선형 회귀의 특별한 경우로 간주됩니까?

38

다항식 회귀 분석이 비선형 관계를 모델링하는 경우 다중 선형 회귀 분석의 특별한 경우로 간주 할 수있는 방법은 무엇입니까?

Wikipedia는 "다항식 회귀 분석은 비선형 모형을 데이터에 적합하지만 통계적 추정 문제로서 회귀 함수 가 데이터로부터 추정 된 미지의 모수에서 선형이라는 점에서 선형 적이라는 점에서 선형 적입니다. " $\mathbb{E}(y | x)$

모수가 2 인 항에 대한 계수 인 경우, 다항식 회귀 분석은 미지수 모수에서 어떻게 선형 적 입니까? $\ge$

— 개빈
소스

4

추정 될 파라미터는 (멀티) 선형이다. 지수 값을 추정 하는 경우 추정 문제는 선형이 아닙니다. 그러나 예측 변수를 제곱하면 정확히 2로 지수가 수정됩니다.

— Monica Monica

내 이해는 @ user777의 주석과 아래 답변이 다항 회귀뿐만 아니라 예측 변수 의 궤적 을 사용하는 회귀에도 적용된다는 것 입니다. 예를 들어,

,

등과 같은 가역적 함수 (2 차 거듭 제곱이 형도가 아니기 때문에 다른 함수도 포함).

l o g (x)

$log(x)$

e^{x}

$e^x$

— naught101

모두 감사합니다; 모든 답변과 의견이 도움이되었습니다.

— gavinmh

53

당신은 같은 회귀 모형을 적합 할 때 , 모델과 '노하우'하지 않는 추정기 OLS 단지의 제곱입니다 , 그것은 또 다른 변수 인 '생각'합니다. 물론 공선 성이 있고 적합에 통합되는 (예 : 표준 오류가 다른 것보다 큼) 많은 변수 쌍이 변수 중 하나가 다른 함수의 역할없이 다소 공선 일 수 있습니다. $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ $x^2_i$ $x_i$

$x^2_i$ $x_i$ $x_i$ $y_i$ $x^2_i$ $x_i$ $y_i$ $x_i$ $x^2_i$ $x, y$

$x_i$ $x^2_i$ $x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

여기에 이미지 설명을 입력하십시오

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

여기에 이미지 설명을 입력하십시오

rgl패키지를 사용하여 동일한 데이터로 만든 회전 된 3D 그림의 스크린 샷 인이 이미지에서보다 쉽게 볼 수 있습니다 .

여기에 이미지 설명을 입력하십시오

$p$ $p$ $p\!+\!1$

— gung-복직 모니카
소스

17

$y = a + bx + cx^2$ $x$ $a$ $b$ $c$ $y = \sum_{i=0}^N a_i h_i(x)$ $h_i$ $x$ $h_i$ $x$

— 여왕벌
소스

14

y_{i} = b_{0} + b_{1} x_{i}^{n_{1}} + \dots + b_{p} x_{i}^{n_{p}} + ϵ_{i} .

$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$

y = X b + ϵ; X = (\begin{matrix} 1 & x_{1}^{n_{1}} & \dots & x_{1}^{n_{p}} \\ 1 & x_{2}^{n_{1}} & \dots & x_{2}^{n_{p}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n}^{n_{1}} & \dots & x_{n}^{n_{p}} \end{matrix}) .

$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$

— mookid
소스