다항식 회귀 (MLR)에 대한 신뢰 구간의 모양 이해

다항식 회귀의 신뢰 구간 모양을 파악하기가 어렵습니다.

여기서 인공 . 왼쪽 그림은 UPV (비 스케일 예측 분산)를 나타내고 오른쪽 그래프는 신뢰 구간과 X = 1.5, X = 2 및 X = 3에서 측정 된 (인공) 점을 보여줍니다.$\hat{Y}=a+b\cdot X+c\cdot X^2$

기본 데이터의 세부 사항 :

• 데이터 세트는 3 개의 데이터 포인트 (1.5; 1), (2; 2.5) 및 (3; 2.5)로 구성됩니다.

• 각각의 포인트는 10 회 "측정"되었고 각각의 측정 값은 속한다 . poynomial 모델의 MLR은 30 개의 결과 포인트에서 수행되었습니다.$y \pm 0.5$

• 신뢰 구간이 수식으로 계산 하였다 및 Y(X0)-tα/2,D(F)(E(R)(R)O, R)

  $$UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$$ ≤μY| X0≤Y(X0)+tα/2,D(F)(E(R)(R)O, R) $$\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$$ (둘 다 공식은 Myers, Montgomery, Anderson-Cook, "응답 표면 방법론"4 판, 407 및 34 페이지에서 가져옴) $$\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$$

와 σ가 2 = M S E = S S E / ( N - P ) ~ $t_{\alpha /2, df(error)}=2$$\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$ .

특히 신뢰 구간의 절대 값에는 관심이 없지만 x ′ 0 ( X ′ X ) − 1 x 0 에만 의존하는 UPV의 모양에 관심이 있습니다.$x_0'(X'X)^{-1}x_0$ .

그림 1 :

• 우리가 외삽하기 때문에 설계 공간 외부의 매우 높은 예측 분산은 정상입니다.

• 그러나 왜 분산이 측정점보다 X = 1.5와 X = 2 사이에서 더 작은가?

• 왜 X = 2 이상의 값에 대해 분산이 더 넓어 지지만 X = 2.3 이후에 감소하여 X = 3에서 측정 된 포인트보다 다시 작아 지는가?

측정 지점에서 분산이 작고 그 사이에서 큰 것이 논리적이지 않습니까?

편집 : 동일한 절차이지만 데이터 포인트 [(1.5; 1), (2.25; 2.5), (3; 2.5)] 및 [(1.5; 1), (2; 2.5), (2.5; 2.2), (3; 2.5)].

그림 2 :

그림 3 :

$\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

$(x,y)$$(x,x^2,y)$

우리는 3 차원 물체를 볼 필요가있는 비용을 지불하는데, 이는 정적 화면에서는하기가 어렵습니다. (끝없이 회전하는 이미지는 성가 시므로 도움이 될 수는 있지만 귀하의 이미지를 침해하지는 않습니다.) 따라서이 답변은 모든 사람에게 호소력이 없을 수 있습니다. 그러나 그들의 상상력으로 3 차원을 기꺼이 추가하려는 사람들은 보상을받을 것입니다. 신중하게 선택한 그래픽을 통해이 노력에 도움을 줄 것을 제안합니다.

독립 변수 를 시각화하여 시작하겠습니다 . 이차 회귀 모형에서

$(x_i)$$(x_i^2)$$(x_i,x_i^2)$$x$$x^2.$$(t,t^2):$

$(x,x^2)$

이차 회귀는 평면 을 이러한 점에 맞 춥니 다 .

$(\beta_0,\beta_1,\beta_2),$$(x,x^2,y)$$(1)$$-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$$(-\beta_1,-\beta_2,1).$$\beta_1=-55/8$$\beta_2=15/2,$$1,$$(x,x^2)$ 비행기.)

다음은 이러한 점에 맞는 최소 제곱 평면입니다.

$y=f(x,x^2),$$(t,t^2)$

$x$$y$$x^2$

$(x,\hat y)$$\hat y$$x.$

신뢰 대역 이 장착되어 곡선은 데이터 포인트가 무작위로 변화 할 때 적합 일어날 수 있는지 보여줍니다. 관점을 변경하지 않고, 5 개의 적합 평면 (및 그 상승 곡선)을 5 개의 독립적 인 새로운 데이터 세트 (하나만 표시됨)로 플롯했습니다.

$x \approx 1.75$$x \approx 3.$

3 차원 플롯 위로 마우스를 가져 가서 평면의 대각선 축을 따라 약간 아래로 살펴보면서 동일한 내용을 살펴 보겠습니다 . 평면이 어떻게 변하는 지 확인할 수 있도록 수직 치수도 압축했습니다.

$(t,t^2)$$(x,x^2).$

$(x_i,x_i^2)$$\mathcal L$$(x,x^2)$$(x,x^2)$$(x,x^2)$$\mathcal L.$

$\mathcal L$$t\to(t,t^2)$$\mathcal L$$x$$1.7$$2.9$ ) 이러한 점 부근에서 최소로 변화하는 경향이있다.

$(x,y)$

이 분석은 개념적으로 고차 다항식 회귀뿐만 아니라 다중 회귀에도 적용됩니다. 비록 우리가 3 차원 이상을 실제로 "볼"수는 없지만, 선형 회귀의 수학은 여기에 표시된 유형의 2 차원 및 3 차원 도표에서 도출 된 직관이 더 높은 차원에서 정확하게 유지되도록 보장합니다.

직관적

매우 직관적이고 거친 의미에서 다항식 곡선은 두 개의 선형 곡선이 함께 꿰매어있는 것으로 볼 수 있습니다 (하나는 증가하고 하나는 감소합니다). 이 선형 곡선의 경우 중앙 의 좁은 모양을 기억할 수 있습니다 .

피크 왼쪽의 점은 피크 오른쪽 예측에 거의 영향을 미치지 않으며 그 반대도 마찬가지입니다.

• 따라서 피크의 양쪽에 두 개의 좁은 영역이있을 것으로 예상 할 수 있습니다 (양쪽의 경사 변화가 상대적으로 거의 영향을 미치지 않음).

• 곡선의 기울기 변화가이 영역에서 더 큰 영향을 미치기 때문에 피크 주변 영역은 비교적 불확실합니다. 여전히 측정점을 통과하는 피크의 큰 이동으로 많은 곡선을 그릴 수 있습니다.

삽화

아래는 몇 가지 다른 데이터가 포함 된 그림으로,이 패턴 (더블 매듭이라고 할 수 있음)을보다 쉽게 ​​보여줍니다.

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

공식적인

<sup>$x$

$x$</sup>