최소 각도 회귀는 상관 관계를 단조롭게 감소시키고 묶는 것을 유지합니까?

최소 각도 회귀 (LAR)에 대한 문제를 해결하려고합니다. 이 문제가 3.23 페이지 (97) 의 Hastie 등., 통계 학습의 요소, 2. 에드. (5 번째 인쇄) .

모든 변수와 반응의 평균이 0이고 표준 편차가 1 인 회귀 문제를 고려하십시오. 각 변수가 반응과 동일한 절대 상관 관계를 가지고 있다고 가정하십시오.

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

하자 의 최소 제곱 계수를 에 및하자 를 들어 입니다. $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

나는 그 표시하도록 요청하고 그리고 나는 그것에 문제가 있습니다. 이것은 기본적 으로 우리가 향하여 진행함에 따라 잔차와 각 의 상관 관계는 크기가 같다는 것을 알 수 있습니다.

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

또한 상관 관계가 다음과 같은지 표시하는 방법을 모르겠습니다.

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

어떤 포인터라도 대단히 감사하겠습니다!

— 벨몬트
소스

@Belmont, 란 무엇입니까? 문제에 대해 더 많은 정보를 제공 할 수 있습니까? 예를 들어 표준 속성이 LAR 인 기사에 링크하면 많은 도움이됩니다.

u (α)

$u(\alpha)$

— mpiktas

@Belmont, Hastie, et al., Elements of Statistical Learning , 2nd 의 문제처럼 보입니다 . 에드. 숙제입니까? 그렇다면 해당 태그를 추가 할 수 있습니다.

— 추기경

@Belmont, 이제 @cardinal이 완전한 답을 제공 했으므로 나중에 참조 할 수 있도록 LAR이 실제로 무엇인지 지정할 수 있습니까? 답을 보면, 이것은 초기 제약 조건이 주어지면 최소 제곱 회귀의 곱에 대한 표준 조작입니다. 특별한 이유없이 특별한 이름이 없어야합니다.

— mpiktas

@mpiktas는 단계적 알고리즘이므로 변수가 정규화 경로에서 모델에 들어가거나 나올 때마다 의 크기 (예 : 카디널리티 / 차원)가 각각 커지거나 줄어들며 "새로운"LS 추정값이 사용됩니다. 현재 "활성"변수 볼록 최적화 문제인 올가미의 경우, 절차는 본질적으로 KKT 조건에서 특별한 구조를 이용하여 매우 효율적인 솔루션 을 얻는 것입니다. IRLS와 Heine-Borel을 기반으로 한 로지스틱 회귀 분석 (유한 한 단계의 수렴을 증명하기 위해)에 대한 일반화도 있습니다.

β

$\beta$

— 추기경

@Belmont -1, 최근에 Hastie의 책을 샀을 때 이것이 연습 문제임을 확인할 수 있습니다. 그래서 나는 당신에게 큰 -1을주었습니다. 모든 정의를 다룰 수는 없기 때문에, 나는 참조를 말하는 것에 대해서도 이야기하지 않습니다.

— mpiktas

이 문제가 3.23 페이지 (97) 의 Hastie 등., 통계 학습의 요소 , 2. 에드. (5 번째 인쇄) .

이 문제의 핵심은 보통 최소 제곱 (즉, 선형 회귀), 특히 적합치와 잔차의 직교성을 잘 이해하는 것입니다.

직교성 정리 : Let $X$ ~이다 $n \times p$ 디자인 매트릭스, $y$ 반응 벡터와 $\beta$ (true) 매개 변수 가정 $X$ OLS 추정치는 $\beta$ 아르 $\hat{\beta} = (X^T X)^{-1} X^T y$ . 적합치는 $\hat{y} = X (X^T X)^{-1} X^T y$ . 그때 $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ . 즉, 적합치 가 잔차에 직교 합니다. 이후부터 $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$ .

자 이제 $x_j$ 열 벡터가되도록 $x_j$ 입니다 $j$ 열 $X$ . 가정 된 조건은 다음과 같습니다.

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ 각각 $j$ , $\frac{1}{N} \langle y, y \rangle = 1$ ,
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ 어디 $1_p$ 길이가 1 인 벡터를 나타냄 $p$ ,
$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ 모든 $j$ .

하는 것으로 특히 ,의 마지막 문 직교성의 보조 정리 와 동일 $\langle x_j, y - \hat{y} \rangle = 0$ 모든 $j$ .

상관 관계가 묶여있다

지금, $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$ . 그래서,

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$ 그리고 오른쪽의 두 번째 항은 직교성 렘마에 의해 0 이므로

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$ 바라는대로. 상관의 절대 값은

{\hat{ρ}}_{제이} (α) = \frac{\frac{1}{엔} | ⟨ {엑스}_{제이}, 와이 - 유 (α) ⟩ |}{\sqrt{\frac{1}{엔} ⟨ {엑스}_{제이}, {엑스}_{제이} ⟩} \sqrt{\frac{1}{엔} ⟨ 와이 - 유 (α), 와이 - 유 (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{엔} ⟨ 와이 - 유 (α), 와이 - 유 (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

노트 : 위의 오른쪽은 독립적입니다 $j$ 분자는 공분산과 동일합니다. $x_j$ '모래 $y$ 중심에 있습니다 (특히, 평균의 빼기가 필요하지 않습니다).

점은 무엇인가?같이 $\alpha$ 응답 벡터가 ( 제한된! 첫 번째 만 통합하여 얻은 ) 최소 제곱 솔루션 $p$ 모델의 매개 변수. 이는 (변형 된) 반응 벡터를 갖는 예측 변수의 단순한 내부 곱이므로 추정 된 모수를 동시에 수정합니다. 그러나 수정은 특별한 형태를 취합니다. 프로세스 전체에서 ( 상관 상관 값 이 변경 되더라도) 예측 변수와 수정 된 응답 간의 상관 관계 (크기)를 동일하게 유지합니다 . 이것이 기하학적으로 무엇을하고 있는지 생각하면 절차의 이름을 이해할 수 있습니다!

(절대) 상관 관계의 명시 적 형식

분자가 이미 필요한 형식이므로 분모의 항에 초점을 맞추겠습니다. 우리는

⟨ 와이 - 유 (α), 와이 - 유 (α) ⟩ = ⟨ (1 - α) 와이 + α 와이 - 유 (α), (1 - α) 와이 + α 와이 - 유 (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

대체 $u(\alpha) = \alpha \hat{y}$ 내부 제품의 선형성을 사용하면

⟨ 와이 - 유 (α), 와이 - 유 (α) ⟩ = (1 - α)^{2} ⟨ 와이, 와이 ⟩ + 2 α (1 - α) ⟨ 와이, 와이 - \hat{와이} ⟩ + α^{2} ⟨ 와이 - \hat{와이}, 와이 - \hat{와이} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

그것을 관찰하십시오

$\langle y, y \rangle = N$ 가정에 의해
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , 직교 렘마 (다시)를 중간의 두 번째 항에 적용함으로써 ; 과,
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ 정의에 의해.

이 모든 것을 합치면 우리가 얻는 것을 알 수 있습니다.

{\hat{ρ}}_{제이} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{엔} 아르 자형 에스 에스}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{아르 자형 에스 에스}{엔}) + \frac{1}{엔} 아르 자형 에스 에스}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

일을 마무리하기 위해 $1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ 그리고 그것은 분명하다 $\hat{\rho}_j(\alpha)$ 단조로 감소 $\alpha$ 과 $\hat{\rho}_j(\alpha) \downarrow 0$ 같이 $\alpha \uparrow 1$ .

에필로그 : 여기서 아이디어에 집중하십시오. 실제로는 하나뿐입니다. 직교성의 보조 정리는 우리를 위해 거의 모든 작업을 수행합니다. 나머지는 대수, 표기법 및 마지막 두 가지를 작동시키는 능력입니다.

— 추기경
소스

@cardinal, +1 답은 질문보다 훨씬 낫습니다.

— mpiktas

@mpiktas, 아뇨. 저작권 문제가 없습니다. 그 책의 공식 웹 사이트입니다. 저자는 Springer로부터 PDF를 온라인에서 자유롭게 이용할 수 있도록 허가를 받았습니다. (사이트에서이 효과에 대한 메모를 참조하십시오.) Stephen Boyd와 그의 Convex Optimization 텍스트 에서 아이디어를 얻은 것 같습니다 . 앞으로 이러한 추세가 향후 몇 년 동안 계속 될 것입니다. 즐겨!

— 추기경

@ 추기경, 엄청난 감사합니다! 그것은 저자들의 관대함입니다.

— mpiktas

@mpiktas, 그것은 Springer Series in Statistics에서 가장 인기있는 책입니다. iPad에서 좋아 보인다. Boyd의 텍스트도 다운로드해야합니다. 건배.

— 추기경