PCA와 자동 인코더의 차이점은 무엇입니까?

56

PCA와 오토 인코더는 모두 디멘션 감소를 수행 할 수 있으므로 차이점은 무엇입니까? 어떤 상황에서 나는 서로를 사용해야합니까?

— RockTheStar
소스

52

PCA는 선형 맵으로 제한되는 반면 자동 엔코더에는 비선형 엔더 / 디코더가있을 수 있습니다.

선형 전송 기능이있는 단일 레이어 자동 엔코더는 PCA와 거의 동일합니다. 여기서 AE와 PCA에서 찾은 는 같지 않지만 각각의 의해 정의 된 부분 공간은 동일하지 않습니다 . $W$ $W$

— 바이엘
소스

내가 참조! 따라서 비선형 변환을 위해 두 개의 레이어가 필요합니다. 다중 레이어는 매우 복잡한 비선형을 의미합니까?

— RockTheStar

7

@RockTheStar : 중요한 레이어의 수는 아니지만 활성화 기능 [transfer function]입니다. 선형 전송 기능을 사용하면 레이어 수가 많지 않아 비선형 자동 인코더가 생성됩니다.

— amoeba는 Reinstate Monica가

따라서 비선형 변환에서는 숨겨진 단위의 레이어가 1 개뿐입니다. 해결책은 여전히 비선형입니까?

— RockTheStar

예. (일부 경우에, 예를 들어 숨겨진 유닛이 가까운 선형 영역에서 활성화 될 때 여전히 선형 일 수 있습니다.)

— bayerj

"가까운 선형 영역에서 숨겨진 단위가 활성화 된 경우"는 S 자형 함수의 선형 부분을 의미합니까?

— RockTheStar

17

bayerj가 지적했듯이 PCA는 자동 엔코더 (AE)가 아닌 선형 시스템을 가정하는 방법입니다. AE에 비선형 함수가 사용되지 않고 숨겨진 레이어의 뉴런 수가 입력 치수보다 작은 경우 PCA와 AE는 동일한 결과를 얻을 수 있습니다. 그렇지 않으면 AE가 다른 부분 공간을 찾을 수 있습니다.

한 가지 유의해야 할 점은 AE의 숨겨진 레이어는 입력의 레이어보다 차원이 클 수 있다는 것입니다. 이러한 경우 AE는 차원 축소를 수행하지 않을 수 있습니다. 이 경우, 우리는 그것들을 하나의 특징 공간에서 다른 특징 공간으로 변환하는 것으로 인식하고, 새로운 특징 공간의 데이터는 변동 인자를 분리시킨다.

$O(2^N)$ $O(N)$

— 데몬 메이커
소스

2

당신을 위해 thx!

— RockTheStar

6

이것은 의견으로 더 적합하지만 그 명성이 없기 때문에 답변으로 제공됩니다.

나는 거의 bayerj : s 답변에 대한 개념과 다소 혼동되었습니다. 신경망 읽기 및 주요 구성 요소 분석 : 증거가 제공되는 국소 최소값 이 없는 예에서 학습 .

$p$ $\Sigma_{XX}$

그렇다면 이것이 PCA가 스팬 한 해당 공간이 아닌가?

— 존블 런드
소스

1

인용 한 논문은 선형 오토 인코더를 사용합니다. 즉 비선형 활성화 기능이 없습니다. 이것이 그 가중치가 PCA에 의해 정확히 동일한 서브 스페이스에 걸쳐있는 이유입니다.

— elliotp

6

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$ $N$ $n-$ $X$ $\mathbf{x}_1,\dots,\mathbf{x}_N$

\begin{aligned} h_{1} & = W_{1} x + b_{1} \\ \hat{x} & = W_{2} h_{1} + b_{2} \end{aligned}

$\begin{align} \mathbf{h}_1 & = \mathbf{W}_1\mathbf{x} + \mathbf{b}_1 \\ \hat{\mathbf{x}} & = \mathbf{W}_2\mathbf{h}_1 + \mathbf{b}_2 \end{align}$

$\hat{\mathbf{x}}$ $W_1\in \mathbb{R}^{n \times m}$ $W_2\in \mathbb{R}^{m \times n}$ $m < n$

$m$ $W_2$ $m$ $X$

$W_2$ $m$ $X$ $X$ $n \times N$ $W_2$ $m\times n$ $W_2$ $O(m^2n)$ $X$ $O(n^2N)$ $m < n$

— 델타 IV
소스