이차 프로그래밍 및 올가미

올가미 회귀를 수행하려고하는데 다음과 같은 형식이 있습니다.

에서 최소화( Y - X w ) ' ( Y - X w ) + $w$$(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

주어지면 2 차 프로그래밍의 도움으로 다음과 같은 형식으로 최적의 를 찾는 것이 좋습니다 .$\lambda$$w$

따라 에서 를 최소화$x$X≤B$\frac{1}{2} x'Qx + c'x$$Ax \le b.$

이제 항이 제약 조건 로 변환되어야 한다는 것을 알고 있습니다 . 그러나 나는 어떻게 든 첫 번째 방정식의 첫 번째 항을 두 번째 항의 첫 번째 항으로 옮길 수있는 방법을 보지 못합니다. 나는 인터넷에서 그것에 대해 많이 찾을 수 없었으므로 여기에서 물어보기로 결정했습니다.A x ≤ $\lambda$$Ax \le b$

표준 형식에서 를 ' x '변수 로 사용하고 있음을 명심 하고 ( Y − X w ) ′ ( Y − X w )를 확장 하고 w ' 에서 항을 수집하십시오$w$$x$$(Y - Xw)'(Y - Xw)$ 및 w ' 및 w 및 상수.$w'\, [\,_{^{^\text{something}}}]\,w$$w'$$w$

상수를 무시할 수있는 이유를 설명하십시오.

와 w 항을 결합 할 수있는 이유를 설명하십시오 .$w'$$w$

BananaCode 지금까지 어떤 경로를 따라 선도 파악함에 따라, 당신도 쓸 수 와 C = - 2 X ' Y 또는 더 간단하게, 당신은 그냥 쓸 수 Q = X ' X를 하고 C = - X ' Y (사람 F ( X ) 와 K의 F ( X는 ) 모든 동일한 argmin가 K > 0 ).$Q=2X'X$$c=-2X'Y$ $Q=X'X$$c=-X'Y$$f(x)$$kf(x)$$k>0$

구속 조건 변환을 해결하는 방법을 추가하고 싶었습니다. 내가 생각했던 것처럼 간단하지 않기 때문에 2 차 프로그래밍에 유용한 형태로. A w ≤ s ↔ ∑ | 와 같은 실제 행렬 A 를 찾을 수 없습니다. w 전 | ≤ 이야 .$\sum |w_i| \le s$$A$$Aw \le s \leftrightarrow \sum |w_i| \le s$

I이 사용되는 방법은 소자 분리 하였다 벡터 w 에 w + I를 하고 승 - I , 그래서 승 내가 = 승 + I를 - 승 - I . 경우 승 내가 ≥ 0 , 당신이 승 + 전 = 승 전 및 승 - 전 = 0 , 그렇지 않으면 당신은 승 - 전 = | w 전 | 그리고 $w_i$$w$$w_i^+$$w_i^-$$w_i = w_i^+ - w_i^-$$w_i \ge 0$$w_i^+ = w_i$$w_i^- = 0$$w_i^- = |w_i|$입니다. 또는 더 수학적 용어로w + i =| w전| +w$w_i^+ = 0$ 와w − i =| w전| -w$w_i^+ = \frac{|w_i| + w_i}{2}$두w - 내가 하고w + i가 음수가 아닌 숫자입니다. 숫자를 나누는 아이디어는 이제| w전| =w + i +w − i , 절대 값을 효과적으로 제거합니다.$w_i^- = \frac{|w_i| - w_i}{2}.$$w_i^-$$w_i^+$$|w_i| = w_i^+ + w_i^-$

최적화하는 기능은 다음과 같습니다. 에, 피사체 w + I를 +w - I ≤S$\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$$w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

여기서 와 C는 Glen_b하여 상술 한 바와 같이 주어진$Q$$c$

이것은 사용 가능한 형태로 변환되어야합니다. 즉, 하나의 벡터가 필요합니다. 이것은 다음과 같은 방식으로 수행됩니다.

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

에 따라

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

여기서 은 IS D 차원 단위 행렬 S D D 값만 이루어진 차원 벡터 S 및 0 D 2 * D 차원 제로 벡터. 상반기 보장 | w 전 | = w + i + w − i ≤ s , 두 번째 w + i , w − i ≥ 0 이제 2 차 프로그래밍을 사용하여 검색 할 수있는 유용한 형식입니다.$I_D$$D$$s_D$$D$$s$$0_D$$2*D$$|w_i| = w_i^+ + w_i^- \le s$$w_i^+,w_i^- \ge 0$ 와 w - , 주어 의 . 일단 완료되면 s에 대한 최적의 매개 변수는 w = w + − w − 입니다.$w^+$$w^-$$s$$s$$w = w^+ - w^-$

소스 및 추가 정보 : 절대 값을 포함하는 선형 구속 조건으로 2 차 프로그래밍 문제 해결