부분 최소 제곱 법에서 "부분"이란 무엇입니까?

부분 최소 제곱 회귀 (PLSR) 또는 부분 최소 제곱 구조 방정식 모델링 (PLS-SEM)에서 "부분"이라는 용어는 무엇을 의미합니까?

나는 역사적 관점 에 근거하여이 질문에 대답하고 싶습니다 . 부분 최소 제곱 (PLS) 접근법 을 발명 한 허먼 볼드 는 PLS 라는 용어를 사용하기 시작하지 않았습니다 (또는 용어 partial을 언급하기도 함 ). 동안 초기 (1,966에서 1,969 사이), 그는 같은이 방법이라고 NILES - 용어와 그의 초기 논문의 제목의 약어를이 주제에 대한 비선형 추정 반복 최소 제곱 절차에 의해 1966 년에 출판.

우리가 볼 수 있듯이, 나중에 부분적이라고 불리는 절차는 가중치 및 잠재 변수 (LV) 추정 절차의 반복적 특성에 중점을 두어 반복적 이라고합니다 . "최소 제곱"이라는 용어는 일반 최소 제곱 (OLS) 회귀를 사용하여 모델의 다른 알려지지 않은 매개 변수를 추정하는 데 사용됩니다 (Wold, 1980). "부분" 이라는 용어는 " 모델의 매개 변수를 부분 집합으로 분할하여 부분적으로 추정 할 수있는 아이디어" 를 구현 한 NILES 절차에 뿌리를두고있는 것으로 보입니다 (Sanchez, 2013, p. 216; 강조 광산). .

PLS라는 용어의 첫 번째 사용은 논문 비선형 반복 부분 최소 제곱 (NIPALS) 추정 절차 에서 발생했으며 , 이는 PLS 이력의 다음 기간 ( NIPALS 모델링 기간)을 표시합니다. 1970 년대와 1980 년대는 Karl Joreskog의 SSR에 대한 LISREL 접근법의 영향을 받아 소프트 모델링 기간이되었으며, Wold는 NIPALS 접근법을 소프트 모델링으로 변형 시켰습니다. ). 산체스 (2013)가 "갭"기간이라고 부르는 PLS 역사의 다음 기간 인 1990 년대는 그 사용이 줄어듦에 따라 크게 나타났다. 다행히 2000 년대부터 ( 통합 기간), PLS는 특히 사회 과학에서 SEM 분석에 대한 매우 대중적인 접근 방식으로 복귀를 즐겼습니다.

업데이트 (아메바의 의견에 대한 답변) :

• 아마도 산체스의 표현은 내가 인용 한 문구에 이상적이지 않을 것입니다. "부분으로 추정 됨"은 잠재 변수 블록 에 적용된다고 생각 합니다. Wold (1980)는이 개념을 자세하게 설명합니다.
• NIPALS는 원래 PCA 용으로 개발 된 것이 맞습니다. 혼란은 선형 PLS와 비선형 PLS 접근법이 모두 존재한다는 사실에서 비롯됩니다. 나는 Rosipal (2011)이 차이점을 잘 설명한다고 생각합니다 (적어도 이것이 지금까지 본 가장 좋은 설명입니다).

업데이트 2 (추가 설명) :

아메바의 답변으로 표현 된 우려에 부응하여 몇 가지 사항을 명확히하고 싶습니다. NIPALS와 PLS 사이에 "부분"이라는 단어의 사용을 구별해야 할 것 같습니다. 이는 1) NIPALS에서 "부분"의 의미와 2) PLS에서 "부분"의 의미에 대한 두 가지 질문을 만듭니다 (Phil2014의 원래 질문 임). 전자에 대해서는 잘 모르지만 후자에 대한 추가 설명을 제공 할 수 있습니다.

Wold, Sjöström 및 Eriksson (2001)에 따르면,

PLS의 "부분"은 이것이 부분 회귀임을 나타냅니다.

다시 말해, "부분"은 PLS에 대한 NIPALS 알고리즘에 의한 데이터 분해 가 모든 구성 요소를 포함하지 않을 수 있으므로 "부분" 이라는 사실에서 비롯됩니다 . "부분"데이터에 알고리즘을 사용할 수 있다면 NIPALS에도 동일한 이유가 적용되는 것 같습니다. NIPALS에서 "P"를 설명합니다.

NIPALS 정의에 단어 "비선형"을 사용하여 측면에서 (와 혼동하지 마십시오 비선형 PLS PLS 방식의 비선형 변형을 나타냅니다!), 나는 그것이 의미 있다고 생각 하지 받는 알고리즘 자체 , 이에 비선형 모델 이 될 수있는 선형 회귀 기반 NIPALS를 사용하여 분석했습니다.

업데이트 3 (Herman Wold의 설명) :

Herman Wold의 1969 년 논문은 NIPALS에서 가장 오래된 논문 인 것 같지만이 주제에서 가장 초기 논문 중 하나를 찾아 냈습니다. 이것은 Pold의 "아버지"가 NIPALS 정의 (71 페이지)에서 "부분"이라는 단어를 사용하는 근거를 제시하는 Wold (1974)의 논문입니다.

3.1.4. NIPALS 추정 : 반복적 OLS. 모형의 하나 이상의 변수가 잠복 인 경우 예측 변수 관계는 알 수없는 변수뿐만 아니라 알 수없는 변수도 포함하므로 추정 문제가 비선형이됩니다. 3.1 (iii)에 표시된 것처럼 NIPALS는 단계 s = 1, 2, ...와 같이 반복적 인 절차에 의해이 문제를 해결합니다. 각 단계 s에는 모형의 각 예측 변수 관계에 대해 하나씩 유한 한 수의 OLS 회귀가 포함됩니다. 이러한 각 회귀 분석은 알 수없는 매개 변수 및 잠재 변수의 하위 세트 (따라서 이름 부분 최소 제곱)에 대한 프록시 추정값을 제공하며,이 프록시 추정값은 프로 시저의 다음 단계에서 새 프록시 추정값을 계산하는 데 사용됩니다.

참고 문헌

Rosipal, R. (2011). 비선형 부분 최소 제곱 : 개요. Lodhi H. 및 Yamanishi Y. (Eds.), 화학 정보학 및 고급 기계 학습 관점 : 복잡한 계산 방법 및 협업 기법 , 169-189 쪽. ACCM, IGI Global. http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf 에서 검색 함

산체스, 지. (2013). R. Berkeley, CA : Trowchez Edition을 사용한 PLS 경로 모델링 . http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf 에서 검색

Wold, H. (1974). 잠재 변수가있는 인과 적 흐름 : NIPALS 모델링에 비추어 볼 때 방법의 일부. 유럽 ​​경제 검토, 5 , 67-86. 노스 홀랜드 출판.

Wold, H. (1980). 이론적 지식이 부족한 경우 모델 구성 및 평가 : 부분 최소 제곱의 이론 및 응용. J. Kmenta 및 JB Ramsey (Eds.), 계량 모델 평가 , pp. 47-74에서. 뉴욕 : Academic Press. http://www.nber.org/chapters/c11693 에서 검색

Wold, S., Sjöström, M., & Eriksson, L. (2001). PLS- 회귀 : 화학량 론의 기본 도구. 화학 측정 및 지능형 실험실 시스템, 58 , 109-130. doi : 10.1016 / S0169-7439 (01) 00155-1 http://www.libpls.net/publication/PLS_basic_2001.pdf 에서 검색

$X$$Y$ .

그러나 역사적으로 @Aleksandr가 잘 설명했듯이 (+1) PLS는 NIPLS 알고리즘을 사용하여 구현 한 Wold에 의해 도입되었습니다. NIPALS는 "비선형 반복 부분 최소 제곱"의 약자이므로 PLS의 P는 NIPALS에서 도착했습니다.

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$ , 파라미터는 한 번에 ! 따라서 "부분".

(그가 왜 "비선형 적"이라고 불렀는지 나는 여전히 이해하지 못한다.)

이 용어가 "부분"인 경우 모든 기대 최대화 알고리즘도 "부분"이기 때문에이 용어는 오해의 소지가 있습니다 (실제로 NIPALS는 EM의 기본 형식으로 볼 수 있습니다 ( Roweis 1998 참조 )). PLS는 기계 학습에서 가장 오해의 여지가있는 경연 대회의 좋은 후보라고 생각합니다. 아아, Wold Jr.의 노력에도 불구하고 변경되지 않을 것입니다 (위의 @Momo 의견 참조).