올가미 회귀의 시간 복잡성은 무엇입니까?

행 또는 열 수가 증가함에 따라 Lasso 회귀의 점근 적 시간 복잡도는 얼마입니까?

올가미는 $l_1$ 정규화 가 적용된 선형 모델입니다 .

매개 변수 찾기는 제한없는 최적화 문제로 공식화 될 수 있습니다. 여기서 매개 변수는

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

제한적 포 뮬레이션에서 매개 변수는

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

이차 프로그래밍 문제이므로 다항식입니다.

신경망과 같은 유연한 비선형 물체의 경우에도 거의 모든 볼록 최적화 루틴은 대상 wrt 매개 변수의 미분을 계산합니다. 그래도 의 파생물을 취할 수는 없습니다 . 따라서 다른 기술에 의존합니다. 매개 변수를 찾는 방법에는 여러 가지가 있습니다. 다음 은 L1-Norm 정규화를 사용한 최소 제곱 최적화 주제에 대한 검토 보고서입니다 . 반복적 인 볼록 최적화의 시간 복잡성은 수렴 기준에 따라 달라지기 때문에 분석하기가 까다 롭습니다. 일반적으로 반복 문제는 관측치가 증가함에 따라 더 적은 에포크 (epoch)로 수렴됩니다.$\alpha||w||_1$

@JacobMick은 더 광범위한 개요와 검토 논문에 대한 링크를 제공하지만 "바로 가기 답변"(특별한 경우로 간주 될 수 있음)을 제공하겠습니다.

후보 변수 (기능, 열)의 수를 로, 표본 크기 (관찰 수, 행)를 . LARS 알고리즘을 사용하여 구현 된 LASSO를 고려하십시오 ( Efron et al., 2004 ). LASSO의 계산 복잡도는 ( ibid. )n O ( K 3 + K 2 n $K$$n$$\mathcal{O}(K^3 + K^2 n)$

• 들면 , 과 LASSO의 계산 복잡도는 으로 회귀와 동일하다, 변수 ( 에프론 외., 2004 , p. 443-444; 2005 년 Schmidt , 섹션 2.4 에서 인용 ; 회귀의 계산 복잡도에 대해서는 이 게시물을 참조하십시오 ).K 3 < K 2 n O ( K 2 n ) $K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• 들면 , 과 LASSO의 계산 복잡도는 ( 에프론 등., 2004 ).K 3 ⩾ K 2 n O ( K 3$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

참고 문헌 :

• Efron, Bradley 등 "최소 각 회귀." 통계 분석 32.2 (2004) : 407-499.
• 슈미트, 마크 "l1-norm 정규화를 통한 최소 제곱 최적화." CS542B 프로젝트 보고서 (2005).