두 개의 선형 회귀 모델이 주어지면 어떤 모델이 더 잘 수행됩니까?

대학에서 기계 학습 과정을 수강했습니다. 퀴즈 중 하나 에서이 질문을 받았습니다.

모델 1 :

$$y = \theta x + \epsilon$$ 모델 2 : $$y = \theta x + \theta^2 x + \epsilon$$

위의 모델 중 어느 것이 데이터에 더 적합합니까? (선형 회귀를 사용하여 데이터를 모델링 할 수 있다고 가정)

정답은 (교수에 따르면) 두 모델 모두 똑같이 잘 작동한다는 것입니다. 그러나 첫 번째 모델이 더 적합 할 것이라고 생각합니다.

이것이 내 대답의 이유입니다. , α = θ + θ 2 로 다시 쓸 수있는 두 번째 모델 은 첫 번째 모델과 동일하지 않습니다. α는 사실 포물선이며, 따라서 최소 값 갖는 ( - 0.25 이 경우에는). 이 때문에 첫 번째 모델에서 θ 의 범위는 α 의 범위보다 큽니다.$\alpha x + \epsilon$$\alpha = \theta + \theta^2$$\alpha$$-0.25$$\theta$$\alpha$ 는 두 번째 모델 . 데이터가 가장 적합한보다 경사 덜했다하도록했다 따라서 경우 , 두 번째 모델은 매우 저조한 첫 번째에 비해 수행 할 것입니다. 그러나 가장 적합한 기울기가보다 큰 경우$-0.25$ 이면 두 모델 모두 동일하게 작동합니다.$-0.25$

첫 번째 것이 더 좋습니까, 아니면 둘 다 동일합니까?

모델 2는 로 쓸 수 있습니다 . 이것은 하이퍼 파라미터 ( θ , β )에 대해 다른 표기법 만 사용하여 모델 1과 유사 해 보입니다 . 그러나, 모델 1 우리가 쓸 수 θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

모델 2에서 우리가 갖고 있기 때문에 그러나 당신이 실제로 언급 한 바와 같이 다음의 범위 β는 에 속해야 [ - 0.25 , + ∞ ] 에 대한 θ ∈ R . 이 두 모델의 차이로 이어질 것입니다.

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$$[-0.25,+\infty]$$\theta \in R$

따라서 모델 2는 모델 1과는 달리 당신의 계수 추정치를 제약하는 것은이 모델 주목해야한다,이보다 명확하게하기 θ는 제곱 손실 함수 최소화를 통해 얻을 수있다 θ = 인수 분 θ ∈ R ( Y를 - X θ $\hat{\theta}$ 그러나 모델 2 추정치를 통해 얻어진 β =ARG 분 β ≥ - 0.25 (Y-X의β

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ 다른 결과를 초래할 수있는 '' (y-Xβ). $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$

당신의 추론을 이해하지 못합니다. 당신이 복용하는 경우 :

$$y = \alpha x+\epsilon$$ 과 $$y = \theta x + \epsilon$$

그리고 추정 $\alpha$ 과 $\theta$ 간단한 선형 회귀를 사용하면 $\alpha$=$\theta$. 더욱이, 방법론이 정확히 동일하기 때문에$R^2$어느 방정식에서나 얻을 수있는 가치. 기본 가치$\theta$ 첫 번째 방정식에서 당연히 다를 것입니다. $\alpha = \theta + \theta^2$그러나 이것은 적합과 관련이 없습니다.