“커널 트릭”을 선형 방법에 적용 하시겠습니까?


20

커널 트릭은 여러 기계 학습 모델 (예에 사용되는 SVM ). 그것은 1964 년에 "패턴 인식 학습의 잠재적 기능 방법의 이론적 기초"논문에서 처음 소개되었다.

위키 백과 정의에 따르면

원래의 비선형 관측치를보다 높은 차원의 공간으로 매핑함으로써 선형 비 분류 알고리즘을 사용하여 비선형 문제를 해결하는 방법; 이렇게하면 새 공간의 선형 분류가 원래 공간의 비선형 분류와 같습니다.

비선형 문제로 확장 된 선형 모델의 한 예는 커널 PCA 입니다. 커널 트릭을 모든 선형 모델에 적용 할 수 있습니까, 아니면 특정 제한이 있습니까?


1
BTW, 커널은 실제로 SVM에 필수적인 것은 아닙니다. SVM의 "심장"은 소프트 마진 최대화의 원리입니다. 커널 표현으로 이동하면 문제 차원이 O (d) 대신 O (m ^ 2)가됩니다. 여기서 m은 예제 수이고 d는 피쳐 공간의 차원입니다. 따라서 m ^ 2가 d보다 크면 커널을 사용하지 않는 것이 좋습니다. jmlr.csail.mit.edu/papers/v6/keerthi05a.html
Yaroslav Bulatov

@ Yaroslav : 참조 주셔서 감사합니다. "Modified Finite Newton Method"의 구현에 대해 알고 있습니까?
셰인

아닙니다. 그러나 Keerthi와 Langford의 페이지는 Yahoo Research
Yaroslav Bulatov

답변:


17

커널 트릭은 문제 공식의 예제가 도트 제품 (Support Vector Machines, PCA 등)으로 나타나는 선형 모델에만 적용 할 수 있습니다.


답변 해주셔서 감사합니다. @mbq @ ebony1 : IMO 우리는 더 많은 커뮤니티를 유치하기 위해 더 심각한 머신 러닝 질문을 사이트에 게시하기 위해 더 많은 노력을 기울여야합니다.
Shane

@Shane 나는 완전히 동의하지만 metaoptimize.com/qa 와 같은 다른 SO 사이트는 어떻 습니까?
chl

@chl : 또한 옵션이지만 StackExchange의 일부가 아니며 (한 사람이 제어하고 다른 소프트웨어에서) 개인적으로 이러한 데이터 분석 커뮤니티가 한곳에서 어울릴 수 있습니다.
Shane

@Shane 글쎄, 알겠습니다.
chl

머신 러닝 스택 교환 제안서도 있습니다 .51.stackexchange.com
Yaroslav Bulatov


2

@ ebony1은 핵심 포인트 (+1)를 제공합니다. 저는 로지스틱 회귀 및 포아송 회귀와 같은 일반화 된 선형 모델을 커널 화하는 방법을 논의하는 논문의 공동 저자였습니다.

GC Cawley, GJ Janacek 및 NLC Talbot은 2007 년 8 월 12 일부터 17 일까지 미국 플로리다 주 올랜도의 1732-1737 페이지의 신경망에 관한 IEEE / INNS 국제 공동 회의 (IJCNN-2007) 절차에서 일반화 된 커널 시스템을 보여줍니다. ( www , pdf )

나는 또한 (연구 품질) MATLAB 도구 상자 (슬프게도 지침 없음)를 작성했으며 여기에서 찾을 수 있습니다 .

목표 분포를 모델링 할 수있는 것은 불확실성 정량화 등에 매우 유용하므로 커널 학습 방법에 유용하게 (증분 적으로 증가 할 경우) 추가됩니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.