기능 선택에 커널 PCA를 사용할 수 있습니까?


9

PCA를 사용하는 것과 동일한 방식으로 LSI (Latent Semantic Indexing)에 대해 kPCA (kernel principal component analysis)를 사용할 수 있습니까?

prcompPCA 기능을 사용하여 R에서 LSI를 수행 하고 첫 번째 구성 요소 에서 가장 높은 하중을 갖는 기능을 추출합니다 . 이를 통해 구성 요소를 가장 잘 설명하는 기능을 얻습니다.k

패키지 kpca에서 함수 를 사용하려고했지만 kernlib주요 구성 요소에 기능의 가중치에 액세스하는 방법을 볼 수 없습니다. 커널 메소드를 사용할 때 전체적으로 가능합니까?


princomp 기능을 사용해 보셨습니까?
mariana soffer

답변:


6

귀하의 질문에 대한 답변이 부정적이라고 생각합니다. 불가능합니다.

각 주요 구성 요소는 원래 피처의 선형 조합이므로 표준 PCA를 사용하여 피처 선택에 사용할 수 있습니다. 따라서 가장 주요한 주요 구성 요소에 가장 많이 기여하는 원래 피처를 확인할 수 있습니다 (예 : 주요 구성 요소 분석 (PCA) 사용). 기능 선택 .

그러나 커널 PCA에서 각 주요 구성 요소는 대상 공간 의 기능 선형으로 조합 한 것이며 , 예를 들어 가우시안 커널 (주로 사용되는)은 대상 공간이 무한 치수입니다. "부하"의 개념은 정말 KPCA에 대한 이해, 사실, (표준 PCA에 대한 의해 R에 제시되어 주축의 계산을 거치지 않고, 주성분 직접 계산 커널하지 않도록 prcomp$rotation) 모두로 알려진 덕분에 커널 트릭 . 여기 예를 참조하십시오 : 이다 커널 PCA를 표준 PCA 선형 커널과 동등한로? 자세한 사항은.

따라서 불가능합니다. 최소한 쉬운 방법은 없습니다.


2
(+1) SVM과 유사하게 설명하는 것이 더 쉽다고 생각합니다. 선형 공간에서 각 변수가 분리 초평면에 기여하는 가중치를 계산할 수 있습니다 (최소한 기능 선택에 사용할 수있는 중요도 측정). 커널 공간에서는 너무 복잡하거나 완전히 불가능합니다. 여기에도 같은 논리가 있습니다.
Firebug

2

다음 예 (kernlab 참조 매뉴얼에서 발췌)는 커널 PCA의 다양한 구성 요소에 액세스하는 방법을 보여줍니다.

data(iris)
test <- sample(1:50,20)
kpc <- kpca(~.,data=iris[-test,-5],kernel="rbfdot",kpar=list(sigma=0.2),features=2)

pcv(kpc)        # returns the principal component vectors
eig(kpc)        # returns the eigenvalues
rotated(kpc)    # returns the data projected in the (kernel) pca space
kernelf(kpc)    # returns the kernel used when kpca was performed

이것이 귀하의 질문에 대답합니까?


나는 그것이 prcomp $ rotation과 같다고 생각한 회전 (kpca)을 시도했다. 이것은 (R help (prcomp) 형식을 취함) : "회전 : 가변 하중의 행렬 (즉, 열이 고유 벡터를 포함하는 행렬)" 그러나 그렇지 않습니다. 그러나 비선형 차원 축소를 사용하여 LSA / LSI가 가능한지 확실하지 않기 때문에 문제는 매우 일반적입니다.
user3683

죄송하지만 질문이 없습니다. LSA / LSI에서 비선형 차원 축소가 불가능하다고 생각하는 이유는 무엇입니까?
Lalas

1
치수의 선형 조합은 없지만 커널 함수에 의존하는 치수가 있기 때문입니다. 이 설정에서 1 차원이 (비선형) 주성분에 대해 가중을 결정할 수 있습니까?
user3683

2
(-1) 이것은 유용한 코드 스 니펫 일지 모르지만 원래 질문에 전혀 답하지 않는다고 생각합니다.
amoeba
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.