모든 PLS 구성 요소가 함께 원본 데이터의 일부만 설명하는 이유는 무엇입니까?

10 개의 변수로 구성된 데이터 세트가 있습니다. 이 10 개의 변수로 단일 반응 변수를 예측하기 위해 부분 최소 제곱 (PLS)을 실행하고 10 개의 PLS 성분을 추출한 다음 각 성분의 분산을 계산했습니다. 원래 데이터에서 나는 702 인 모든 변수의 분산의 합을 취했습니다.

그런 다음 각 PLS 구성 요소의 분산을이 합계로 나누어 PLS가 설명하는 분산의 백분율을 얻습니다. 놀랍게도 모든 구성 요소는 원래 분산의 44 %를 설명합니다.

이에 대한 설명은 무엇입니까? 100 %가되어서는 안됩니까?

모든 PLS 성분의 분산의 합은 일반적으로 100 % 미만입니다.

부분 최소 제곱 (PLS)에는 많은 변형이 있습니다. 여기서 사용한 것은 일 변량 반응 변수 여러 변수에 대한 PLS 회귀 입니다. ; 이 알고리즘은 전통적으로 PLS1으로 알려져 있습니다 (다른 변형과 달리 , 간결한 개요는 Rosipal & Kramer, 2006, 부분 최소 제곱의 최근 발전을 참조하십시오 ). PLS1은 나중에 SIMPLS라고하는보다 세련된 공식과 동등한 것으로 나타났습니다 ( Rosipal & Kramer 의 Paywalled Jong 1988 참조 ). SIMPLS에서 제공하는 뷰는 PLS1에서 진행중인 작업을 이해하는 데 도움이됩니다.$\mathbf y$$\mathbf X$

PLS1이하는 일은 일련의 선형 투영 를 찾는 것 입니다.$\mathbf t_i = \mathbf X \mathbf w_i$

1. 와 공분산 은 최대입니다.$\mathbf y$$\mathbf t_i$
2. 모든 가중치 벡터의 단위 길이는 ;$\|\mathbf w_i\|=1$
3. 두 개의 PLS 구성 요소 (일명 점수 벡터) 및 는 서로 관련이 없습니다.$\mathbf t_i$$\mathbf t_j$

가중치 벡터는 직교 형일 필요는 없습니다.

이것은 가 변수 로 구성되어 있고 PLS 성분을 찾았다면, 기초 벡터에서 상관 관계가없는 투영법을 사용하여 직교하지 않은 기초를 찾았 음을 의미합니다. 그러한 상황에서 이러한 모든 예측의 분산의 합이 의 총 분산보다 작다는 것을 수학적으로 증명할 수 있습니다 . 가중치 벡터가 (예를 들어 PCA에서와 같이) 직교 인 경우 동일하지만 PLS에서는 그렇지 않습니다.$\mathbf X$$k=10$$10$$\mathbf X$

나는 이 문제를 명시 적으로 논의 하는 교과서 나 논문을 모르지만, 선형 직교 분석 (LDA)과 관련하여 비 직교 단위 중량 벡터에 대해 많은 상관없는 투영을 생성한다고 설명했습니다. : PCA 및 LDA의 설명 된 분산 비율 .