LLE (local linear embedding) 알고리즘의 단계를 설명 하시겠습니까?

LLE 알고리즘의 기본 원리는 세 단계로 구성되어 있습니다.

1. k-nn과 같은 메트릭으로 각 데이터 포인트의 주변을 찾습니다.
2. 이웃이 데이터 포인트에 미치는 영향을 나타내는 각 이웃에 대한 가중치를 찾으십시오.
3. 계산 된 가중치를 기반으로 데이터의 저 차원 임베딩을 구성하십시오.

그러나 2 단계와 3 단계에 대한 수학적 설명은 내가 읽은 모든 교과서와 온라인 자료에서 혼동됩니다. 왜 수식이 사용되는지 이유를 알 수 없습니다.

실제로 이러한 단계는 어떻게 수행됩니까? 사용 된 수학 공식을 직관적으로 설명하는 방법이 있습니까?

참고 문헌 : http://www.cs.nyu.edu/~roweis/lle/publications.html

로컬 선형 임베딩 (LLE)은 먼 물체 사이의 거리를 추정 할 필요가 없으며 로컬 선형 피팅에 의해 전역 비선형 구조를 복구합니다. LLE는 학습률 또는 수렴 기준과 같은 매개 변수가 포함되지 않기 때문에 유리합니다. LLE은 의 고유 차원에 따라 확장 됩니다. LLE의 목적 함수는 가중치 행렬 요소 개체 및 경우 0으로 설정된다$\mathbf{Y}$

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ $\mathbf{W}$$w_{ij}$$i$$j$$j$는 의 가장 가까운 이웃이 아니고 , 그렇지 않으면, 물체 의 K- 최근 접 이웃에 대한 가중치 는 의 최소 ​​제곱 적합을 통해 결정됩니다. 여기서 종속 변수 는 벡터 이고, 는 객체 의 가장 가까운 모든 이웃에 대한 그램 행렬 이고 는 합집합 제약을 따르는 가중치 의 벡터입니다. 하자 대칭 긍정적 semidefinite 수$i$$i$ $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ $\mathbf{U}$$K \times 1$$\mathbf{G}$$K \times K$$i$$\boldsymbol{\beta}$$K \times 1$$\mathbf{D}$$K \times K$ 차원 객체 모든 K- 최근 접 쌍에 대한 거리 행렬 . 그것은 것을 나타낼 수 두 배로 중심 거리 행렬 같다 요소 회귀 계수 수치를 사용하여 결정된다 $p$$\mathbf{x}_i$$\mathbf{G}$$\boldsymbol{\tau}$ $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ $K$ $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ 그리고 그것들이 일치하는지 확인합니다. 값 행에 포함되는 의 오브젝트의 K 최근 접 이웃에 대응하는 여러 개의 열 위치에 뿐만 아니라 트랜스 소자. 이는 데이터 세트의 각 번째 개체에 대해 반복됩니다 . 가장 가까운 이웃 의 수가 너무 적 으면, 가 희박하여 eigenanalysis가 어려워 질 수 있음을 보증 합니다. 가장 가까운 이웃이 결과 인 것으로 관찰되었습니다$\boldsymbol{\beta}$$i$$\mathbf{W}$$i$$i$$K$$\mathbf{W}$$K=9$$\mathbf{W}$eigenanalysis 동안 병리학을 포함하지 않은 매트릭스. 0이 아닌 고유 값을 찾아 목표 함수를 최소화 의 환원 형 에 의해 표현된다 측정 기준 갖는 의 두 최소 고유치에 기초 . $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ $\mathbf{X}$$\mathbf{Y}=\mathbf{E}$$\mathbf{E}$$n \times 2$$\boldsymbol{\Lambda}$