능선 회귀에서 회귀 계수 를 찾는 방법은 무엇입니까?

릿지 회귀 분석에서 최소화 할 목적 함수는

$$\text{RSS}+\lambda \sum\beta_j^2.$$

Lagrange multiplier 방법을 사용하여이를 최적화 할 수 있습니까? 아니면 그것이 바로 차별화인가?

융기 문제에 대한 두 가지 공식이 있습니다. 첫 번째는

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$$

에 따라

$$\sum_{j} \beta_j^2 \leq s.$$

이 공식은 회귀 계수에 대한 크기 제약을 보여줍니다. 이 제약 조건의 의미에 유의하십시오. 우리는 계수가 반지름 원점 주위에 공을 놓도록 강요하고 있습니다.$\sqrt{s}$

두 번째 공식은 정확히 당신의 문제입니다

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$$

이는 라그랑주 승수 제제로 볼 수있다. 여기서 는 튜닝 매개 변수이며 값이 클수록 수축이 커집니다. 와 관련하여 표현을 차별화 하고 잘 알려진 능선 추정기를 얻을 수 있습니다.$\lambda$$\boldsymbol{\beta}$

$$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$$

두 공식은 와 사이에 일대일 대응이 있기 때문에 완전히 동일 합니다.$s$$\lambda$

그것에 대해 좀 더 자세히 설명하겠습니다. 이상적인 직교 사례 인 있다고 상상해보십시오 . 이것은 매우 단순화되고 비현실적인 상황이지만 견적자를 조금 더 자세히 조사 할 수 있습니다. 식 (1)에 어떤 일이 발생하는지 고려하십시오. 능선 추정기는$\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

$$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$$

직교 경우와 마찬가지로 OLS 추정기는 됩니다. 이 구성 요소를 살펴보면 이제$\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

$$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$$

그러면 수축이 모든 계수에 대해 일정하다는 것을 알 수 있습니다. 이것은 일반적인 경우에는 적용되지 않을 수 있으며 실제로 매트릭스에 이있는 경우 수축이 크게 다름을 알 수 있습니다 .$\mathbf{X}^{\prime} \mathbf{X}$

그러나 제한된 최적화 문제로 돌아가 봅시다. KKT 이론으로 하는 필요한 최적위한 조건은

$$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$$

따라서 또는 (이 경우 제약 조건은 바인딩이라고 함). 경우 다음 수수료가없는 그리고 우리는 정규 OLS 상황에 있습니다. 구속 조건이 구속력이 있고 우리가 두 번째 상황에 있다고 가정하자. (2)의 공식을 사용하여$\lambda = 0$$\sum \beta_{R,j} ^2 -s = 0$$\lambda = 0$

$$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$$

우리가 얻을 때

$$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$$

이전에 주장한 일대일 관계. 나는 이것이 직교가 아닌 경우에 확립하기가 더 어려울 것으로 기대하지만 결과는 상관없이 나옵니다.

(2)를 다시 살펴보면 여전히 누락 있습니다. 최적의 값을 얻으려면 교차 유효성 검사를 사용하거나 능선 추적을 볼 수 있습니다. 후자의 방법은 (0,1)에서 시퀀스를 구성 하고 추정치가 어떻게 변하는지를 찾는 것입니다. 그런 다음 안정화 하는 를 선택하십시오 . 이 방법은 아래의 두 번째 참조에서 제안되었으며 가장 오래된 방법입니다.$\lambda$$\lambda$$\lambda$

참고 문헌

Hoerl, Arthur E. 및 Robert W. Kennard. "릿지 회귀 : 비 직교 문제에 대한 편향 추정." 기술 통계 12.1 (1970) : 55-67.

Hoerl, Arthur E. 및 Robert W. Kennard. "릿지 회귀 : 비 직교 문제에 대한 응용 프로그램" 기술 통계 12.1 (1970) : 69-82.

필자의 저서 Regression Modeling Strategies 는 를 선택하기위한 효과적인 AIC 사용에 대해 설명 합니다. 이것은 벌점 된 로그 가능성과 유효 자유도에서 비롯되며, 후자는 벌점에 의해 편차가 얼마나 많은지에 대한 함수입니다 . 이에 대한 프리젠 테이션은 여기에 있습니다 . R 패키지 는 효과적인 AIC를 최적화하는 를 찾아서 여러 페널티 파라미터 (예 : 선형 메인 효과, 비선형 메인 효과, 선형 상호 작용 효과 및 비선형 상호 작용 효과)를 허용합니다.$\lambda$$\hat{\beta}$rmspentrace$\lambda$

나는 그것을 분석적으로하지 않고 오히려 수치 적으로합니다. 나는 보통 RMSE와 λ를 다음과 같이 플롯합니다.

그림 1. RMSE 및 상수 λ 또는 알파