회귀의 목적으로 예측 변수의 차원을 줄이는 이점은 무엇입니까?

기존의 회귀 기법에 비해 차원 축소 회귀 (DRR) 또는 감독 차원 축소 (SDR) 기법 의 적용 또는 장점은 무엇입니까 ( 차원 축소 없이)? 이러한 기술 클래스는 회귀 문제에 대한 특징 세트의 저 차원 표현을 찾습니다. 이러한 기술의 예에는 슬라이스 역 회귀, 주 헤 시안 방향, 슬라이스 평균 분산 추정, 커널 슬라이스 역 회귀, 주성분 회귀 등이 포함됩니다.

1. 교차 검증 된 RMSE 측면에서 알고리즘이 차원 축소없이 회귀 작업에서 더 잘 수행되면 회귀에 대한 차원 축소의 실제 사용은 무엇입니까? 나는이 기술의 요점을 알지 못한다.

2. 이러한 기술이 우연히 회귀의 공간 및 시간 복잡성을 줄이는 데 사용됩니까? 이것이 주요 이점이라면,이 기법을 사용할 때 고차원 데이터 세트의 복잡성 감소에 대한 일부 리소스가 도움이 될 것입니다. DRR 또는 SDR 기술 자체를 실행하려면 시간과 공간이 필요하다는 사실에 대해 토론합니다. 저해상도 데이터 집합에 대한이 SDR / DRR + 회귀 분석은 고차원 데이터 집합에 대한 회귀 분석보다 더 빠릅니까?

3. 이 설정은 추상적 관심사에 대해서만 연구되었으며 실제 적용에 적합하지 않습니까?

부수적으로 생각할 때 : 때로는 피처 와 응답 의 공동 분포가 매니 폴드에 있다고 가정합니다 . 회귀 문제를 해결하기 위해 이러한 맥락에서 관찰 된 샘플로부터 매니 폴드를 배우는 것이 합리적입니다.$X$$Y$

매니 폴드 가설에 따르면, 데이터는 저 차원 매니 폴드에있는 것으로 가정되며, 잔차가 노이즈라는 의미이므로 차원 축소를 올바르게 수행하면 노이즈가 아닌 신호를 모델링하여 성능을 개선해야합니다. 공간과 복잡성의 문제 만이 아닙니다.

회귀의 차원 축소의 목적은 정규화입니다.

나열된 대부분의 기술은 잘 알려져 있지 않습니다. 주요 구성 요소 회귀 (PCR)와는 별개로 들었습니다. 따라서 PCR에 대해서는 답변하지만 다른 기술에도 동일하게 적용됩니다.

여기서 중요한 두 단어는 과적 합 과 정규화 입니다. 긴 치료와 토론을 위해 통계 학습의 요소를 참조 하지만 매우 간단히 말하면 , 많은 예측 변수 ( )가 충분하지 않고 샘플 ( )이 충분하지 않은 경우 표준 회귀 분석이 데이터에 과도 하게 적합하다는 것입니다. 훈련 세트에서 성능이 좋은 것처럼 보이지만 실제로는 모든 테스트 세트에서 성능이 매우 떨어지는 모델을 구성하십시오.$p$$n$

극단적 인 예에서, 예측의 수는 샘플의 수를 초과하는 경우 (사람들에게로 참조 문제), 당신은 실제로 수있는 완벽하게 맞는 어떤 반응 변수 보이는 달성, 성능을. 이것은 분명 말도 안됩니다.$p>n$$y$$100\%$

과적 합을 다루기 위해서는 정규화 를 사용해야 하며, 다양한 정규화 전략이 있습니다. 일부 접근법에서는 예측 변수의 수를 대폭 줄이고 문제를 상황으로 줄이고 표준 회귀를 사용하려고합니다. 이것이 주성분 회귀 분석과 정확히 일치합니다. 요소 , 섹션 3.4--3.6을 참조하십시오 . PCR은 일반적으로 차선책이며 대부분의 경우 다른 정규화 방법이 더 잘 수행되지만 이해하고 해석하기 쉽습니다.$p\ll n$

PCR도 임의적이지 않다 (예를 들어, 치수를 무작위로 유지하는 것이 훨씬 더 나빠질 수 있음). 그 이유는 PCR이 능선 회귀와 밀접하게 연결되어 있기 때문에 다양한 사례에서 잘 작동하는 것으로 알려진 표준 수축 조절기입니다. 능선 회귀와 PCA 회귀의 관계 에 대한 비교는 여기에서 내 대답을 참조하십시오 .$p$

표준 회귀 분석에 비해 성능이 향상 되려면 예측 변수가 많고 표본이 많지 않은 데이터 집합이 필요하며 교차 검증 또는 독립 테스트 세트를 사용해야합니다. 성능이 향상되지 않은 경우 데이터 집합의 크기가 충분하지 않은 것일 수 있습니다.

좋은 답변과 관련된 스레드 :

• 설정 에서의 회귀 (30k 예측 변수 및 ~ 30 샘플로 유전자 발현에서 약물 효율 예측)$p\gg N$

• 설정의 회귀 : 정규화 방법 (올가미, PLS, PCR, 능선)을 선택하는 방법은 무엇입니까?$p>n$