PCA, LASSO, 탄력적 네트워크의 속도, 계산 비용

나는 Hastie et al. "통계학 학습 요소"(2 판), 3 장 :

1. 서브 세트 선택
2. 수축 방법
3. 도출 된 입력 방향을 사용하는 방법 (PCR, PLS)

아이디어를 제공하기 위해 비교가 매우 어려울 수 있습니다. 답은 문제의 차원과 그것이 어떻게 컴퓨터 아키텍처에 적합한 지에 따라 달라질 수 있으므로 구체적인 예를 들어 500 및 50 후보 회귀 분석기의 표본 크기를 고려할 수 있습니다. 나는 주로 계산 복잡성 / 추정 속도의 동기에 관심이 있지만 주어진 예제에서 특정 프로세서에 걸리는 시간은 아닙니다.

그룹 1 : 그룹 1
의 복잡성 / 속도는 무차별 대입 알고리즘이 사용되는지 파악하기 어렵지 않은 것으로 보입니다 ( "리프 앤 바운드"알고리즘과 같은보다 효율적인 대안이있을 수 있음). 예를 들어, 전체 집합 선택이 필요합니다 풀 주어진 적합하기 위해 회귀 분석을 K의 후보의 기능을 제공합니다. 하나의 선형 회귀에 대한 OLS 피팅은 ( 이 게시물에 따라 ) O ( K 2 n ) 의 복잡성을 가지며, 여기서 n 은 샘플 크기입니다. 따라서 무차별 완전 하위 집합 선택의 총 복잡도는 O ( 2 K 여야합니다.$2^K$$K$$\mathcal{O}(K^2 n)$$n$ .$\mathcal{O}(2^K K^2 n)$

그룹 2 : 그룹 2
의 복잡성 / 속도는이 책의 섹션 3.8과 3.9에서 논의됩니다. 예를 들어, 주어진 페널티 λ의 능선 회귀 는 정규 회귀와 동일한 계산 복잡도를 갖습니다. 교차 검증을 사용하여 λ 를 찾아야 하므로 교차 검증에 사용되는 데이터 분할 수 (예 : S ) 에서 계산 부하가 선형으로 증가 합니다. 경우] λ의 격자 갖는 L의 포인트, 리지 회귀의 총 복잡도 와 동조 λ의 파라미터 것이다 O ( L S K 2 N ) .$\lambda$$\lambda$$S$$\lambda$$L$$\lambda$$\mathcal{O}(LSK^2 n)$
$\lambda$$\lambda$$\mathcal{O}(LSK^2 n)$
$\mathcal{O}(ALSK^2 n)$$A$$\alpha$

그룹 3 :
나는 아직도 그리워 주성분 회귀 (PCR)과 부분 최소 제곱 (PLS)으로 구성되어 그룹 3의 복잡성 / 속도에 어떤 메모를.

위의 그룹 3에 대한 질문 2의 한 부분 (즉, PLS)에만 해당되지만 그럼에도 불구하고 유익 할 수 있습니다. Srinivasan et al (2010, 기술 보고서; https://www.umiacs.umd.edu/~balajiv/Papers/ 참조) UMD_CS_TR_Pls_Gpu.pdf )는 NIPALS 알고리즘을 사용하여 PLS에서 일부 측정을 수행했습니다.이 알고리즘의 시간 및 공간 복잡도는 O (dN)-추출 및 추출을 위해 서로 다른 모델에 포함합니다. ) 얼굴 인식. 자체 GPU 기반 구현을 사용하여 측정을 수행했습니다.