“랜덤 프로젝션”은 엄밀히 프로젝션이 아닌가?

10

랜덤 투영 알고리즘의 현재 구현에서 그들을 매핑하여 데이터 샘플들의 차원을 감소 에 사용하여 A 투영 행렬 그 항목에서, 예를 들어 적절한 분포 (에서 IID됩니다 ) : $\mathbb R^d$ $\mathbb R^k$ $d\times k$ $R$ $\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

편리하게도,이 매핑은 대략 쌍 거리를 유지한다는 이론적 증거가 존재합니다.

그러나 최근 저자가 무작위 행렬을 사용한이 매핑이 단어의 엄격한 선형 대수적 의미에서 투사 된 것이 아니라고 주장하는 곳 에서이 노트를 발견했습니다 (6 페이지). 거기에 주어진 설명에서, 의 열이 에서 독립적으로 선택 될 때 의 열은 엄격하게 직교하지 않기 때문 입니다. 따라서 열의 직교성 이 적용된 RP의 이전 버전은 프로젝션으로 간주 될 수 있습니다. $R$ $\mathcal N(0,1)$ $R$

(1)이 엄격한 의미에서 투영의 정의는 무엇이며 (2)이 정의 하에서 RP가 투영되지 않는 이유에 대한 자세한 설명을 제공 할 수 있습니까?

— 다니엘 로페즈
소스

1

사이트 를 검색 하여 (1)에 대한 답변을 찾을 수 있습니다 . 단 이 항상 직교 인 경우 해당 항목은 독립적 일 수 없으므로 어설 션 (2)은 즉각적 입니다.

— whuber

4

이 단어의 엄격한 (선형 대수적) 의미에서 투영의 정의는 무엇입니까

https://ko.wikipedia.org/wiki/Projection_(linear_algebra)

선형 대수학 및 기능 분석에서, 돌기는 선형 변환 인 $P$ 자체 벡터 공간으로부터되도록 $P^2 = P$ . 즉, $P$ 가 임의의 값에 두 번 적용될 때마다 한 번 적용된 것과 같은 결과를 제공합니다 (등전위).

직교 투영 또는 벡터 투영의 경우

https://ko.wikipedia.org/wiki/Projection_(linear_algebra)

직교 투영은 범위 U 및 널 공간 V가 직교 서브 공간 인 투영이다.
이 정의에서 RP가 투영이 아닌 이유는 무엇입니까?

마이클 마호니 (Michael Mahoney)는 강의 노트 에 RP가 전통적인 선형 대수적 의미에서 투영되는지 여부에 따라 RP의 구성 방식에 달려 있다고 말합니다 . 그는 세 번째와 네 번째 포인트에서 이렇게합니다.

세 번째로, 랜덤 벡터가 정확히 직교하는 경우 (실제로 원래의 JL 구성에 있었던 것처럼) JL 투영은 직교 투영이었습니다.

...

이것은 가우시안 대한 거짓이지만 그러나 $\lbrace \pm \rbrace$ 랜덤 변수 및 대부분의 다른 구조물, 하나의 결과 벡터가 약 단위 길이와 대략 직교하는 것을 입증 할

...

이것은 "충분히 좋습니다".

따라서 원칙적으로 직교 행렬로 제한되는 다른 구조로 무작위 투영을 수행 할 수 있습니다 (필요하지는 않지만). 예를 들어 원본 작품을 참조하십시오.

Johnson, William B. 및 Joram Lindenstrauss. "Hillbert 공간으로 확장 된 Lipschitz 매핑." 현대 수학 26.189-206 (1984) : 1.

... 에서 무작위로 순위 $k$ 직교 투영을 선택하는 경우 $l_2^n$

...

이 정밀하게하기 위해, 우리는하게 $Q$ 제 상으로 투영 될 $k$ 좌표 $l_2^n$ 및하자 $\sigma$ 에 하르 측도를 정규화 $O(n)$ 에 직교 그룹 $l_2^n$ . 이어서 랜덤 변수
$에프 : (영형 (엔), σ) \to 엘 (엘_{2}^{엔})$ $f: (O(n), \sigma) \to L(l_2^n)$ 에 의해 정의 된 $f (u) = U^{⋆} Q U$ $f(u) = U^\star Q U$ "무작위 순위 $k$ 프로젝션 "의 개념을 결정합니다 .

위키 백과 항목은 이러한 방식으로 무작위 투영을 설명합니다 (10 페이지와 11 페이지의 강의 노트에도 동일).

https://ko.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

첫 번째 행은 $S^{d − 1}$ 에서 균일하게 선택된 임의의 단위 벡터 입니다. 두 번째 행은 직교하는 공간에서 첫 번째 행까지의 임의의 단위 벡터이고, 세 번째 행은 직교하는 공간에서 처음 두 행까지의 임의의 단위 벡터 등입니다.

그러나 정규 분포를 사용하여 행렬 랜덤하고 독립적 인 변수의 모든 행렬 항목을 취할 때 일반적으로 이러한 직교성을 얻지 못합니다 (Whuber가 주석에서 언급 한 것처럼 매우 간단한 결과 "열이 항상 직교 인 경우 항목은 독립적이 아닙니다 ").

직교 열의 경우에 행렬 $R$ 과 곱은 투영 행렬 $P = R^TR$ 과 관련되기 때문에 투영으로 볼 수 있습니다 . 이것은 일반적인 최소 제곱 회귀를 투영법으로 보는 것과 약간 같습니다. 곱 $b = R^T x$ 는 투영이 아니지만 다른 기준 벡터의 좌표를 제공합니다. '실제'투영은 $x' = Rb = R^TRx$ 이고, 투영 행렬은 $R^TR$ 입니다.

영사 행렬 $P=R^TR$ 은 영사 범위 인 부분 공간 의 항등 연산자 여야합니다 ( 위키 백과 페이지에 언급 된 속성 참조). 또는 다르게는 고유 행렬 1과 0이 있어야 고유 행렬이되는 부분 공간이 고유 값 1과 관련된 고유 벡터의 범위가됩니다. 임의의 행렬 항목을 사용하면이 속성을 얻을 수 없습니다. 이것이 강의 노트의 두 번째 요점입니다 $U$

...는 다양한 방법으로 직교 행렬 "처럼 보이는"...는 $range(P^T P)$ 균일 분포 서브 스페이스이다 ..하지만, 고유치가 아닌 $\lbrace 0, 1 \rbrace$ .

^{이 참고로 인용 매트릭스 것을 $P$ 매트릭스에 관한 $R$ 질문에 아닌 투영 행렬을 $P = R^TR$ 행렬에 의해 암시되는 $R$}

따라서 행렬에 임의의 항목을 사용하는 것과 같이 다른 구성에 의한 임의의 투영은 직교 투영과 정확히 같지 않습니다. 그러나 Michael Mahoney에 따르면 계산이 간단하고 "충분히 좋다"고합니다.

— Sextus Empiricus
소스

1

귀하의 답변에 감사드립니다, 나는 그것이 위에서 준 것과 같은 방향으로 진행된다고 생각합니다. 명확히하기 위해

라고 표시해야한다고 생각합니다 . 그런 다음 설명 할 때

의 항목이

iid 인 경우

또는

가 고유 값이

인지 확인할 수 없습니다 . 반대로

의 열이

P = R R^{T}

$P = RR^T$

R \in R^{d \times k}

$R\in\mathbb R^{d\times k}$

N (0, 1)

$\mathcal N(0,1)$

P^{2} = P

$P^2 = P$

P

$P$

{0, 1}

$\{0,1\}$

R

$R$ 직교하는 두 조건이 모두 충족됩니다. 그러나 투사임을 표시하는 핵심

, 그리고는

혼자!

R R^{T}

$RR^T$

R

$R$

— Daniel López

1

@ DanielLópez 업데이트했습니다.

— Sextus Empiricus

6

"무작위 투사"는 엄밀히 말해 투사가 아닙니다.

프로젝션 A는 명확 수학적 개체 정의된다 https://en.wikipedia.org/wiki/Projection_(linear_algebra)를 - 그것은 선형 idempotentent 연산자, 즉 선형 연산자이다 $P$ 되도록 $P^2 = P$ . 투영을 두 번 적용하는 것은 점이 부분 공간에 투영 된 후에 다시 투영되면 그대로 유지되므로 한 번만 적용하는 것과 같습니다. 이 정의에는 직교성에 관한 것이 없습니다. 사실, 투영은 비스듬 할 수 있습니다 (Wikipedia 참조).

이러한 의미에서 정사각 행렬 만 "투영"을 나타낼 수 있습니다. "랜덤 프로젝션"은 와 함께 임의의 $d\times k$ 행렬 $R$ 사용 하므로 위 정의의 의미에서 프로젝션이 될 수 없습니다. $k\ll d$

$R$ 직교 열을 (예 : Gram-Schmidt 프로세스 적용) 열로 만들 더라도이 인수는 여전히 적용됩니다. 최근 누군가 PCA에 대해이 질문을했습니다. PCA 와 관련하여 정확히 "투영 매트릭스"라고하는 것은 무엇입니까? - 직교 정규 고유 벡터 의 $d\times k$ 행렬 $U$ 도 엄밀히 말하면 투영이 아닙니다.

— 아메바
소스

3

마지막 단락에서 기둥이 직교 법선이면 투영은 선형 대수의 투영 의미에서 여전히 투영이 아니라고 말합니다. 그러나 이것은 행렬이 정사각 행렬이 아니기 때문입니다. 이것은 원칙보다는 표기법 때문입니다. 행렬을 0으로 확장하면 행렬은 선형 투영입니다.

— Sextus Empiricus

1

@MartijnWeterings 아니요, 그렇게 생각하지 않습니다. 2D 공간과 U는 1x2이며 다음과 같이 보입니다 : [sqrt (2) / 2, sqrt (2) / 2] (대각선의 투영에 해당). 이제 0으로 확장하십시오. 자체 제곱과 같지 않습니다.

— amoeba

1

그것은 다른 방법으로 확장 될 수있다

— kjetil b halvorsen

2

@amoeba, I는이 개념 / 정의 연신 것을 동의하지만 그 이상 미묘한 것을 말할

와 동일하지이 역 용어 포함하는

. 직교 벡터로 만들어진 선형 조합

는 더 작은 부분 공간에 대한 직교 투영과 유사하며 그 투영을 반복하여 동일한 결과를 얻을 수 있습니다. 투영과 함께 다른 기본 벡터 세트가 선택되고 (적어도 그것을 볼 수있는 방법입니다) 행렬 표현이

처럼 작동하지 않지만 기하학적으로 투영처럼 보입니다.

R (R^{T} R)^{- 1} R^{T}

$R (R^TR)^{-1}R^T$

I

$I$

U

$U$

P^{2} = P

$P^2=P$

— Sextus Empiricus

2

맞습니다. @MartijnWeterings, 직교하지 않은 열을 가진

이 비스듬한 투영 처럼 보이지 않는 이유는 무엇 입니까?

R

$R$

— amoeba

1

여기서 핵심은 $d\times k$ RP 행렬 $R$ 의 열 공간을 투영을 수행하는 부분 공간으로 간주하는 것입니다. 일반적으로, 관계없이 열 여부 $R$ 직교 번 샘플 투사 할 $x\in \mathbb R^d$ 의 열 공간 상에 $R$ 다음의 식 [1] ussing :

$p = xR(R^TR)^{-1}R^T$ , 여기서 $p\in\mathbb R^d$ .

이전 버전이나 RP에서와 같이 행렬 $R$ 의 열 이 직교 정규로 제한되면 $R^TR = I\in \mathbb R^{k\times k}$ 이므로 의 열 공간에 대한 $x$ 의 투영 은 다음과 같습니다. $R$

$p = xRR^T$ , $p\in\mathbb R^d$ ,

및 $RR^T\in\mathbb R^{d\times d}$ a가됩니다 투영 행렬 이 사각형이고 때문에, $(RR^T)^2=RR^TRR^T=RR^T$ .

아마도 임의의 돌출부의 이전 버전 (의 열이라고 주장 $R$ 정규직 교였다)는 사실에 투영 하는 경우에, 아래로 삽입된다는 사실을 지칭 $\mathbb R^k$ 및 후방에 재구성 다시 $\mathbb R^d$ 시료의 $x\in\mathbb R^d$ $xRR^T$ 의해 주어진 는 실제로 의 열 공간 으로의 투영 $R$ , $RR^T$ 는 투영 행렬 이다.

여기에서 나의 추론을 확인 / 수정할 수 있다면 감사하겠습니다.

참고:

[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf

— 다니엘 로페즈
소스

1

맞습니다 있지만 R를 들어, 매트릭스

첫 번째 수식에 사용하는 것이되는 돌기도. 그래서 나는 R 열의 직교성이 마지막 단락에서 당신이 주장하는 주장에 중요하다고 생각하지 않습니다.

R (R^{T} R)^{- 1} R^{T}

$R(R^T R)^{-1} R^T$

— amoeba

1

사실, 내 요점은 치수 축소의 자연스러운 삽입 및 재구성 논리와 일치하기 때문에

가 투영 행렬 이되기를 원한다는 것 입니다. 또한, 이러한 방식으로

의 열은 부분 공간 (R의 열 공간)의 정규 직교 기저를 형성합니다. 나는 메모 작성자에게 연락하여 이것에 대해 밝힐 수 있는지 알아볼 것입니다. 답변 주셔서 감사합니다!

R R^{T}

$RR^T$

R

$R$

— Daniel López

2

R (R^{T} R)^{- 1} R^{T}

$R(R^TR)^{-1}R^T$

(R^{T} R)^{- 1} R^{T}

$(R^TR)^{-1}R^T$

R^{T}

$R^T$

R^{T}

$R^T$

β = (R^{T} R)^{- 1} R^{T} y

$\beta=(R^TR)^{-1}R^Ty$

β

$\beta$

\hat{y} = R (R^{T} R)^{- 1} R^{T} y

$\hat{y}=R(R^TR)^{-1}R^Ty$

β

$\beta$

-1

Fast Walsh Hadamard 변환 전에 재 계산 가능한 임의 부호 뒤집기 또는 치환을 사용하는 경우 임의 투영은 직교입니다.

— 숀 오코너
소스