부분 최소 제곱 (PLS) 회귀의 모형 가정

PLS 회귀 가정 (단일 ) 에 관한 정보를 찾으려고합니다 . 특히 OLS 회귀의 가정과 관련하여 PLS의 가정을 비교하는 데 관심이 있습니다. $y$

나는 PLS의 주제에 관한 많은 문헌을 읽거나 훑어 보았다. Wold (Svante and Herman), Abdi 등의 논문이 있지만 만족스러운 자료를 찾지 못했습니다.

Wold et al. (2001) PLS- 회귀 : 화학량 론의 기본 도구 는 PLS의 가정을 언급하지만 단지

1. X는 독립적 일 필요는 없습니다.
2. 시스템은 몇 가지 근본적인 잠재 변수의 함수입니다.
3. 시스템은 분석 과정 전체에 걸쳐 균질성을 나타내야하며
4. 측정 오차 가 허용됩니다. $X$

관측 된 데이터 또는 모델 잔차에 대한 요구 사항에 대한 언급은 없습니다. 누구 든지이 문제를 해결하는 출처를 알고 있습니까? 기본 수학이 PCA와 유사 하다는 것을 고려하면 ( 와 X 사이의 공분산을 최대화한다는 목표는 ) ( y , X ) 의 다변량 정규성은 가정입니까? 모형 잔차가 분산의 동질성을 나타내야합니까?$y$$X$$(y, X)$

나는 또한 관측이 독립적 일 필요는없는 곳을 읽었다 고 믿는다. 반복 측정 연구에서 이것이 무엇을 의미합니까?

$y$$X$

보다 일반적으로 "가정"은 이론적 결과 (정리)만이 가질 수있는 것입니다.

$y$$X$

또한 PLS 회귀의 실제 결과는 정규화 매개 변수로 작동하는 모델에 포함 된 PLS 구성 요소 수에 따라 다릅니다. 이 매개 변수를 선택하는 절차가 완전히 지정되어 있고 일반적으로 그렇지 않은 경우에만 모든 가정에 대해 이야기하는 것이 좋습니다. 따라서 PLS에 대한 최적 결과가 전혀 없다고 생각합니다. 이는 PLS 회귀에 가정이 없음 을 의미합니다 . 나는 주성분 회귀 또는 능선 회귀와 같은 다른 처벌 된 회귀 방법에 대해서도 마찬가지라고 생각합니다.

업데이트 : 나는 능선 회귀의 가정은 무엇이며 어떻게 테스트하는지에 대한 대답 으로이 주장을 확장 했습니다.

물론, 여전히있을 수 엄지 손가락의 규칙 PLS 회귀가있을 때 말할 가능성 하지 않을 때 유용 할 수 있습니다. 토론에 대해서는 위의 링크를 참조하십시오. PLSR의 경험 많은 실무자 (나는 그들 중 하나가 아닙니다)는 분명히 그것에 대해 더 말할 수 있습니다.

분명히 PLS는 변수의 합동 분포에 대해 "고정적인"가정을하지 않습니다. 이것은 적절한 테스트 통계를 신중하게 선택해야 함을 의미합니다 (변수 분포에 대한 의존성이 부족하면 PLS를 비모수 적 기법으로 분류한다고 가정합니다). 적절한 통계에 대한 제안은 1) 종속 잠복 변수에 r- 제곱을 사용하고 2) 추정의 안정성을 평가하기위한 리샘플링 방법입니다.

OLS / MLS와 PLS의 주요 차이점은 전자는 일반적으로 모집단 모수의 최대 우도 추정을 사용하여 변수 간 관계를 예측하는 반면, PLS는 실제 모집단에 대한 변수 값을 추정하여 변수 그룹 간의 관계를 예측합니다 (예측 그룹 / 잠재 변수가있는 응답 변수).

또한 복제 / 반복 실험, 특히 다단계 실험을 처리하는 데 관심이 있지만 PLS를 사용하여이 방법에 접근하는 방법을 잘 모르겠습니다.

부분 최소 제곱의 핸드북 : 개념, 방법 및 응용 프로그램 (659, 섹션 28.4)

Wold, H. 2006. 예측 자 사양. 통계 과학 백과 사전. 9.

http://www.rug.nl/staff/tkdijkstra/latentvariablesandindices.pdf (4 및 5 페이지)

PLS에서 비정규 성과 작은 표본 크기의 영향에 관한 시뮬레이션 연구를 찾았습니다. 저자는 다음과 같이 결론을 내린다. "[PLS를 포함하여] 세 가지 기술 모두 정상에서 온건 한 수준의 이탈에 대해 현저하게 견고했으며, 마찬가지로"

그러나 자격 조건의 경우 : "세 가지 기술 모두 중소 ​​규모의 왜곡 또는 첨도 (최대 비뚤어 짐 = 1.1 및 첨도 = 1.6)에 대해 상당히 견실 한 것으로 보입니다. 세 가지 기법 모두 n = 40 및 n = 90 (테스트 한 두 표본 크기)에 대해 실질적으로 통계적으로 유의 한 검정력 손실을 겪습니다 (예 : n = 90 및 중간 효과 크기의 경우 회귀 검정력은 정상 데이터의 경우 76 % 임) 같은 조건에서 PLS의 전력은 75 %에서 48 %로 감소하고 LISREL은 79 %에서 50 %로 감소합니다. "

(개인적으로, 나는 힘이 상당히 가파르게 감소하면서 정상에서 벗어나는 것을 고려할 것입니다.)

인용 : Dale L. Goodhue, William Lewis 및 Ron Thompson. PLS에 작은 표본 크기 또는 비정규 데이터에 대한 이점이 있습니까? MIS Quarterly 2012; 36 (3) : 891-1001.