올가미는 디자인 매트릭스 크기에 어떻게 비례합니까?

I는 설계 행렬 있다면 여기서, 차원의 관찰의 수이고 , 풀면의 복잡성 무엇 LASSO, wrt 및 와 함께 ? 대답은 달리 느끼지 않는 한 반복 횟수 (수렴)가 어떻게 조정되는지가 아니라 하나의 LASSO 반복이 이러한 매개 변수로 스케일링 되는 방식을 참조해야한다고 생각합니다 . $X\in\mathcal{R}^{n\times d}$ $n$ $d$ $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

이 이전의 LASSO 복잡성 질문 을 읽었 지만 여기 와 여기에서 glmnet에 대한 토론과는 상충되는 것 같습니다 . glmnet의 GLM 접근 방식을 포함하여 많은 알고리즘이 있다는 것을 알고 있지만 LASSO 구성 요소를 부모 알고리즘으로 대체하는 방법에 대한 논문을 작성 중이며 일반적으로 LASSO 복잡성, 특히 및 과 관련된 토론을 포함하고 싶습니다 . 스파 스가 아닌 기본 사례에서 glmnet의 복잡성을 알고 싶습니다만, 전체 알고리즘의 복잡성이 명시 적이 지 않기 때문에 참조 논문이 약간 혼란 스럽습니다. $d$ $n$

— 라면
소스

이 답변이 stats.stackexchange.com/a/190717/28666 (연결된 스레드에있는)가 귀하의 질문에 답변하지 않은 이유는 확실 하지 않습니다. 정교하게 할 수 있습니까? 무엇과 상충 되는가?

— amoeba

[pdf] [1]의 6 페이지에 "모든 d 변수에 대한 완전한주기 비용 "가 명시되어 있습니다. 그러나 귀하가 링크 한 질문은 입니다. 복잡성 을 얻기 위해 루프가 누락 되었습니까? [1] : jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— rnoodle

@amoeba 제공하는 링크는 LARS 알고리즘에 대한 것입니다. GLM 접근 방식에 대해 알고 싶습니다.

— rnoodle

참조는, 이상의 각도에 대한 회귀 하강 좌표에 대한 정확하다. 차이점은 (1) LARS는 에서 정확한 솔루션을 찾고 OLS 문제와 동일한 복잡도로 전체 문제에 대한 가능한 의 전체 경로를 거치는 것입니다. 같은 비늘 ), (2)의 "전용"단일 근사 공정하고있는 하강을 조정하면서 , 집광 / '하강'가까이의 최소 LASSO 문제 LARS는 단계를 사용 합니다. 좌표 하강으로 ... 아무도 모른다.

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

d

$d$

— Sextus Empiricus

참고 문헌의 답변

최소 각도 회귀의 경우 $\mathcal{O}(d^2n)$
하강을위한 좌표 $\mathcal{O}(dn)$

맞습니다.

차이점은

LARS 방정식은 닫힌 형태 로 작성되며 정확한 해를 찾습니다

$O(d^2n)$

동안

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

LARS 스케일링은 계산 복잡성과 관련된 문제입니다. 스케일링 좌표 하강은 계산 복잡성 과 수렴 과 관련된 문제 입니다.

— Sextus Empiricus
소스