LSA와 pLSA의 파렐

pLSA 의 원본 논문 에서 저자 인 Thomas Hoffman은 제가 논의하고자하는 pLSA와 LSA 데이터 구조 사이에 유사점을 두었습니다.

배경:

정보 검색에서 영감을 얻은 것은 $N$ 서류

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$ 그리고 어휘

M

$M$ 자귀

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

코퍼스 $X$ 로 나타낼 수 있습니다 $N \times M$ 동시 행동 행렬.

에서 잠재 의미 Analisys 의해 SVD 행렬 $X$ 세 가지 행렬로 분해됩니다.

X = U Σ V^{T}

$X = U \Sigma V^T$ 어디

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$ 그리고

σ_{i}

$\sigma_i$ 특이 값입니다

X

$X$ 과

s

$s$ ~의 계급

X

$X$ .

LSA 근사치 $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$ 그런 다음 세 행렬을 어떤 수준으로 자르는 것으로 계산됩니다.

k < s

$k < s$ 그림과 같이

여기에 이미지 설명을 입력하십시오

pLSA에서 고정 주제 세트 (잠재적 변수) $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ 근사치 $X$ 다음과 같이 계산됩니다.

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$ 여기서 3 개의 행렬은 모형의 가능성을 최대화하는 행렬입니다.

실제 질문 :

저자는 이러한 관계가 다음과 같다고 말합니다.

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

LSA와 pLSA의 중요한 차이점은 최적 분해 / 근사를 결정하는 데 사용되는 목적 함수입니다.

나는 그가 두 매트릭스를 생각하기 때문에 그가 옳은지 모르겠다 $\hat{X}$ 다른 개념을 재현 : LSA에서는 용어가 문서에 나타나는 시간의 근사치이며 pLSA에서는 용어가 문서에 나타날 확률 (추정치)입니다.

이 점을 분명히 해 줄 수 있습니까?

또한, 새로운 문서가 주어지면 코퍼스에서 두 모델을 계산했다고 가정합니다. $d^*$ LSA에서는 다음과 같이 근사값을 계산하는 데 사용합니다.

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

항상 유효합니까?
pLSA에 동일한 절차를 적용하여 의미있는 결과를 얻지 못하는 이유는 무엇입니까? $\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

감사합니다.

— 아슬란 986
소스

간단히하기 위해 LSA와 NMF (Non-Negative Matrix Factorization)를 연결 한 다음 비용 함수를 간단히 수정하여 pLSA를 만드는 방법을 보여 드리겠습니다. 앞에서 언급했듯이 LSA와 pLSA는 모두 행과 열의 정규화까지 문서 용어 행렬의 낮은 순위 분해를 의미하는 인수 분해 방법입니다.

X = U Σ D

$X=U\Sigma D$

이전 표기법 사용. 더 간단히 말하면, 문서 용어 행렬은 두 행렬의 곱으로 쓰여질 수 있습니다.

X = A B^{T}

$X = AB^T$

어디 $A\in\Re^{N\times s}$ 과 $B\in\Re^{M\times s}$ . LSA의 경우 이전 공식과의 일치는 설정을 통해 얻습니다. $A=U \sqrt{\Sigma}$ 과 $B=V\sqrt{\Sigma}$ .

LSA와 NMF의 차이점을 이해하는 쉬운 방법은 다음과 같은 기하학적 해석을 사용하는 것입니다.

LSA는 다음의 솔루션입니다.
$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- 는 다음의 해입니다. $L_2$
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KL은 pLSA와 동일하며 의 솔루션입니다
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

여기서 는 행렬 와 사이 의 쿨백-레 블러 발산 입니다. 에 양수를 곱하고 나눌 수 있기 때문에 위의 모든 문제에 고유 한 해결책이 없음을 쉽게 알 수 있습니다. $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ $X$ $Y$ $A$ $B$ 같은 목표 값을 얻기 위해 같은 숫자로. 따라서 LSA의 경우 사람들은 일반적으로 고유 값을 낮추어 정렬 된 직교 기준을 선택합니다. 이는 SVD 분해에 의해 제공되며 LSA 솔루션을 식별하지만 대부분의 작업 (코사인 유사성, 위에서 언급 한 스무딩 수식 등)에 영향을 미치지 않으므로 다른 선택이 가능합니다. -NMF의 경우 직교 분해가 불가능하지만 의 행 은 일반적으로 와 같은 직접적인 확률 해석을 갖기 때문에 1의 합으로 제한됩니다 . 또한 의 행 이 정규화 되면 (즉, 1로 합산) 의 행이 1로 합산되어 확률 론적 해석으로 이어집니다. $A$ $p(z_k|d_i)$ $X$ $B$ $p(f_j|z_k)$ . 의 열이 로 합산되어 의 값 이 이기 때문에 위의 질문에서 주어진 pLSA의 버전과 약간의 차이가 있습니다. $A$ $A$ $p(d_i|z_k)$ 의 차이가 있지만, 그 차이는 단지 매개 변수의 변화 일뿐입니다. 문제는 동일하게 유지되었습니다.

이제 초기 질문에 대답하기 위해 LSA와 pLSA (및 기타 NMF 알고리즘)의 차이에 미묘한 점이 있습니다. 비음 수 제약은 단일 값 때문에 고전 LSA 사례에서 유효하지 않은 "클러스터링 효과"를 유발합니다. 분해 솔루션은 회전 불변입니다. 음이 아닌 구속 조건은 어떻게 든이 회전 불변을 깨뜨리고 어떤 의미 적 의미 (텍스트 분석의 주제)를 가진 요소를 제공합니다. 그것을 설명하는 첫 번째 논문은 다음과 같습니다.

Donoho, David L. 및 Victoria C. Stodden. "음이 아닌 행렬 인수 분해는 언제 부품으로 정확한 분해를 제공합니까?" 신경 정보 처리 시스템의 발전 16 : 2003 회의 진행. MIT Press, 2004. [링크]

그렇지 않으면 PLSA와 NMF의 관계는 다음과 같습니다.

딩, 크리스, 타오 리, 웨이 펑 "음이 아닌 행렬 인수 분해와 확률 적 잠재 의미론 색인화의 동등성에." 계산 통계 및 데이터 분석 52.8 (2008) : 3913-3927. [링크]

— 기 illa
소스