선형 변환 후 코사인 유사성이 어떻게 변합니까?

다음과 같은 수학적 관계가 있습니까?

• 코사인 유사성 $\operatorname{sim}(A, B)$ 두 벡터의 $A$ 과 $B$,
• 코사인 유사성 $\operatorname{sim}(MA, MB)$ 의 $A$ 과 $B$주어진 행렬을 통해 균일하지 않은 스케일링$M$? 여기$M$ 대각선에 요소가 다른 주어진 대각선 행렬입니다.

계산을 시도했지만 간단하고 흥미로운 링크 (식)에 도달 할 수 없었습니다. 나는 그것이 있는지 궁금합니다.

---

예를 들어, 각도는 비 균일 스케일링에서 유지되지 않지만 원래 각도와 비 균일 스케일링 후 각도 사이의 관계는 무엇입니까? 벡터 세트 S1과 다른 세트의 벡터 S2 사이의 링크에 대해 무엇을 말할 수 있습니까?

때문에 $M$ 매우 일반적이며 코사인 유사성의 변화는 $A$ 과 $B$ 그리고 그들의 관계 $M$명확한 공식은 없습니다. 그러나 코사인 유사성이 얼마나 많이 변할 수 있는지에 대한 실질적으로 계산 가능한 한계가 있습니다 . 그들은 사이의 각도를 극단화하여 찾을 수 있습니다$MA$ 과 $MB$ 주어진 사이의 코사인 유사성 $A$ 과 $B$ 지정된 값입니다. $\cos(2\phi)$ (어디 $2\phi$ 사이의 각도 $A$ 과 $B$). 대답은 어느 각도인지 알려줍니다$2\phi$ 변형에 의해 구부러 질 수 있음 $M$.

계산이 지저분해질 위험이 있습니다. 일부 간단한 단순화와 함께 일부 영리한 표기법 선택으로 인해 노력이 줄어 듭니다. 그것은 밝혀 2 차원의 해결책이 우리가 알아야 할 모든 것을 알 수있다. 하나의 실제 변수에 따라 다루기 힘든 문제입니다.$\theta$미적분 기법을 사용하여 쉽게 해결됩니다. 간단한 기하학적 인수는이 솔루션을 여러 차원으로 확장합니다$n$.

수학적 예비

정의에 따르면 두 벡터 사이의 각도의 코사인 $A$ 과 $B$단위 길이로 정규화하고 제품을 가져 와서 얻을 수 있습니다. 그러므로,

$$\frac{A^\prime B}{\sqrt{(A^\prime A)\, (B^\prime B)}} = \cos(2\phi)$$

그리고, 쓰기 $\Sigma = M^\prime M$의 이미지 사이의 각도의 코사인 $A$ 과 $B$ 변형 아래 $M$ 이다

$$\frac{(MA)^\prime (MB)}{\sqrt{((MA)^\prime (MA))\, ((MB)^\prime (MB))}} = \frac{A^\prime \Sigma B}{\sqrt{(A^\prime \Sigma A) (B^\prime \Sigma B)}}.\tag{1}$$

오직 $\Sigma$분석의 문제가 아니라$M$그 자체. 따라서 우리는 SVD (Singular Value Decomposition) 를 활용할 수 있습니다.$M$문제를 단순화합니다. 이것이 표현한다는 것을 기억하십시오$M$ 직교 행렬의 곱 (오른쪽에서 왼쪽으로) $V^\prime$대각 행렬 $D$, 그리고 다른 직교 행렬 $U$:

$$M = U\,D\,V^\prime.$$

다시 말해서, 특권 벡터의 기초가 있습니다 $e_1, \ldots, e_n$ (의 열 $V$) $M$ 각각의 크기를 조정하여 작동 $e_i$ 에 의해 별도로 $i^\text{th}$ 대각선 입구 $D$ (내가 전화 할 것이다 $d_i$) 이후 회전 (또는 회전 방지)을 적용합니다. $U$결과에. 최종 회전은 길이나 각도를 변경하지 않으므로 영향을 미치지 않아야합니다.$\Sigma$. 계산을 통해 공식적으로 볼 수 있습니다

$$\Sigma = M^\prime M = (U D V^\prime)^\prime (U D V^\prime) = V D (U^\prime U) D V^\prime = V D^2 V^\prime.$$

결과적으로 연구 $\Sigma$ 우리는 자유롭게 바꿀 수 있습니다 $M$ 동일한 값을 생성하는 다른 행렬로 $(1)$. 주문함으로써$e_i$ 그래서 $d_i$ 크기가 줄어들고 가정 $M$ 똑같이 0이 아닙니다), 좋은 선택 $M$ 이다

$$M = \frac{1}{{d_1}} D V^\prime.$$

대각선 요소 $(1/{d_1})D$ 아르

$$1 = d_1/d_1 \ge \lambda_2 = d_2/{d_1} \ge \lambda_3 = d_3/{d_1} \ge \cdots \ge \lambda_n = d_n/{d_1} \ge 0.$$

특히, 효과 $M$ 모든 각도에서 (원래 또는 변경 된 형태의) 모든 것은 완전히

$$M e_i = \lambda_i e_i.$$

특별한 경우의 분석

허락하다 $n=2$. 벡터의 길이를 변경해도 벡터의 각도가 변경되지 않기 때문에$A$ 과 $B$단위 벡터입니다. 평면에서 그러한 모든 벡터는 그들이 이루는 각도에 의해 지정 될 수있다$e_1$우리가 쓸 수 있도록

$$A = \cos(\theta-\phi)e_1 + \sin(\theta-\phi)e_2.$$

따라서

$$B = \cos(\theta+\phi)e_1 + \sin(\theta+\phi)e_2.$$

(아래 그림 참조)

지원 $M$ 간단합니다 : 첫 번째 좌표를 수정합니다 $A$ 과 $B$ 두 번째 좌표에 $\lambda_2$. 따라서 각도에서$MA$ 에 $MB$ 이다

$$f(\theta) = \arctan(\lambda_2 \tan(\theta+\phi)) - \arctan(\lambda_2 \tan(\theta-\phi)).$$

때문에 $M$ 연속 함수이고,이 각도의 차이는 $\theta$. 실제로, 그것은 구별 할 수 있습니다. 이를 통해 미분의 제로를 검사하여 극단적 인 각도를 찾을 수 있습니다$f^\prime(\theta)$. 이 미분은 계산하기가 간단합니다. 삼각 함수의 비율입니다. 0은 분자의 0 사이에서만 발생할 수 있으므로 분모를 계산하지 않아도됩니다. 우리는 얻는다

$$f^\prime(\theta) = \frac{\lambda_2(1-\lambda_2)(\lambda_2+1)\sin(2\theta)\sin(2\phi)}{*}.$$

특별한 경우 $\lambda_2=0$, $\lambda_2=1$,과 $\phi=0$ 쉽게 이해할 수 있습니다 : 그들은 상황에 해당합니다 $M$순위가 낮아지고 (모든 벡터를 한 줄로 찌그러 뜨림); 어디$M$는 동일성 행렬의 배수이며; 어디서$A$ 과 $B$ 평행하다 (그들 사이의 각도는 $\theta$). 경우$\lambda_2=-1$ 조건에 의해 배제 $\lambda_2 \ge 0$.

이러한 특별한 경우를 제외하고 0은 $\sin(2\theta)=0$: 그건, $\theta=0$ 또는 $\theta=\pi/2$. 이것은 라인이$e_1$ 각도를 이등분하다 $AB$. 우리는 이제 사이의 각도의 극값이$MA$ 과 $MB$ 의 가치 사이에 있어야합니다 $f(\theta)$계산해 봅시다 :

$$\eqalign{ f(0) &= \arctan(\lambda_2 \tan(\phi)) - \arctan(\lambda_2 \tan(-\phi)) = 2\arctan(\lambda_2\tan(\phi)); \\ f(\pi/2) &= \arctan(\lambda_2 \tan(\pi/2+\phi)) - \arctan(\lambda_2 \tan(\pi/2-\phi)) = 2\arctan(\lambda_2\cot(-\phi)). }$$

해당 코사인은

$$\cos(f(0)) = \frac{1 - \lambda_2^2 \tan(\phi)^2}{1 + \lambda_2^2 \tan(\phi)^2}\tag{2}$$

과

$$\cos(f(\pi/2)) = \frac{1 - \lambda_2^2 \cot(\phi)^2}{1 + \lambda_2^2 \cot(\phi)^2} = \frac{\tan(\phi)^2 - \lambda_2^2 }{\tan(\phi)^2 + \lambda_2^2}.\tag{3}$$

종종 방법을 이해하는 것으로 충분합니다 $M$직각을 왜곡합니다. 이 경우$2\phi=\pi/2$으로 이어지는 $\tan(\phi) = \cot(\phi) = 1$위의 수식에 연결할 수 있습니다.

더 작은 $\lambda_2$ 이 각도가 커질수록 왜곡이 커집니다.

이 그림은 벡터의 네 가지 구성을 보여줍니다 $A$ 과 $B$ 각도로 분리 $2\phi = \pi/3$. 단위 원과 타원형 이미지 아래$M$ 참조를 위해 음영 처리됩니다 ( $M$ 균일하게 크기 조정 $\lambda_1=1$). 그림 제목은 다음의 값을 나타냅니다.$\theta$의 중점 $A$ 과 $B$. 그런 가장 가까운$A$ 과 $B$ 에 의해 변환 될 때 올 수 있습니다 $M$ 왼쪽과 같은 구성입니다 $\theta=0$. 가장 멀리 떨어져있는 것은 오른쪽에있는 것과 같은 구성입니다.$\theta=\pi/2$. 두 가지 중간 가능성이 표시됩니다.

모든 차원의 솔루션

우리는 방법을 보았습니다 $M$ 각 차원을 확장하여 행동 $i$ 한 요인으로 $\lambda_i$. 이것은 단위 구체를 왜곡합니다$\{A\,|\, A^\prime A = 1\}$타원체로. 그만큼$e_i$주축을 결정합니다. 그만큼$\lambda_i$이 축을 따라 원점에서 타원체까지의 거리입니다. 결과적으로 가장 작은 것이$\lambda_n$, 원점에서 타원체까지 의 가장 짧은 거리 (모든 방향)$\lambda_1$, 원점에서 타원체까지의 거리 (모든 방향)입니다.

더 높은 차원에서 $n\gt 2$, $A$ 과 $B$ 2 차원 부분 공간의 일부입니다. $M$ 이 부분 공간의 단위 원을 포함하는 평면과 타원체의 교차점에 매핑합니다. $MA$ 과 $MB$. 원의 선형 왜곡 인이 교차점은 타원입니다. 분명히이 타원까지의 가장 먼 거리는$\lambda_1=1$ 최단 거리는 $\lambda_n$.

이전 섹션의 끝에서 관찰 한 것처럼 가장 극단적 인 가능성은 $A$ 과 $B$ 두 가지를 포함하는 비행기에 위치 $e_i$ 해당하는 비율 $\lambda_i$가능한 한 작습니다. 이것은에서 일어날 것입니다$e_1, e_n$비행기. 우리는 이미 그 경우에 대한 해결책을 가지고 있습니다.

결론

적용하여 얻을 수있는 코사인 유사성의 극단 $M$ 코사인 유사성을 갖는 두 벡터에 $\cos(2\phi)$ ~에 의해 주어진다 $(2)$ 과 $(3)$. 그들은 situating에 의해 달성$A$ 과 $B$ 방향과 같은 각도로 $\Sigma=M^\prime M$ 모든 벡터를 최대한 길게 (예 : $e_1$ 방향)으로 분리하여 $\Sigma$ 모든 벡터를 최소한으로 늘립니다 (예 : $e_n$ 방향).

이 극단 값은 SVD의 관점에서 계산할 수 있습니다. $M$.

다음에 관심이있을 것입니다.

$$(MA,MB)=A^T(M^TM)B,$$

당신은 대각선 화 할 수 있습니다 $M^TM=U\Sigma U^T$ (또는 여러분이 PCA라고 부르면) $A,B$ 변형 중 $M$ 투사하여 동작 $A,B$이 새로운 공간에서 유사성을 계산합니다. 이것을 조금 더 살리려면 주성분을$u_i$ 고유 값 $\lambda_i$. 그때

$$UB=\sum_i(u_i,b_i)u_i, \ UA=\sum_i(u_i,a_i)u_i,$$

그것은 당신에게 제공합니다 :

$$(MA,MB)=\sum_{i=1}^n (u_i,a_i)(u_i,b_i)\lambda_i.$$

여기에 스케일링이 진행됩니다. $\lambda_i$스트레칭 / 수축 중입니다. 언제$A,B$ 단위 벡터이며 모든 경우 $\lambda_i=1$그런 다음 $M$ 회전에 해당하고 다음을 얻습니다. $\mbox{sim}(MA,MB)=\mbox{sim}(A,B)$이는 내부 제품이 회전하는 동안 변하지 않는다고 말하는 것과 같습니다. 일반적으로 각도는$M$ 이 경우 등각 변환이 필요합니다. $M$ 돌이킬 수없고 극의 분해 $M$ 만족시키다 $M=OP$ 와 $P=aI$즉 $M^TM=a^2I$.