어떤 커널 방법이 최상의 확률 출력을 제공합니까?

최근에 기본 이벤트의 확률을 추정하기 위해 Platt의 SVM 출력 스케일링을 사용했습니다. 더 직접적인 대안은 "Kernel logistic Regression"(KLR) 및 관련 "Import Vector Machine"으로 보입니다.

누구나 확률 출력을 제공하는 커널 방법이 현재 최첨단인지 알 수 있습니까? KLR의 R 구현이 존재합니까?

당신의 도움을 주셔서 대단히 감사합니다!

logistic svm kernel-trick

— RichardN
소스

(+1) 매우 흥미로운 질문 ...

— steffen

답변:

가우스 프로세스 분류 (예상 전파 사용)는 아마도 머신 러닝의 최첨단입니다. MATLAB 구현이 매우 우수한 웹 사이트 인 Rasmussen과 Williams (무료로 다운로드 가능) 의 훌륭한 책 이 있습니다 . 더 많은 소프트웨어, 서적, 논문 등은 여기에 있습니다 . 그러나 실제로 KLR은 대부분의 문제에 대해서도 잘 작동 할 것입니다. 가장 어려운 점은 커널 및 정규화 매개 변수를 선택하는 것입니다. 교차 유효성 검사로 가장 잘 수행됩니다. 매우 효율적으로 Cawley and Talbot (2008)을 참조하십시오 .

— 디크 란 유대류
소스

(+1) 모델 선택 문제에 대한 링크와 조언에 감사드립니다.

— chl

라플라스 근사를 기반으로 한 구현을 사용하지 말아야합니다. 후부는 기울어지고 모드를 중심으로 한 대칭 근사는 일반적으로 잘 작동하지 않습니다.

— Dikran Marsupial

디크 란 감사합니다! KLR과 커널 스무딩의 관계를 설명해 주시겠습니까? KLR 모델은 svm [loss + 패널티] 공식과 유사하게 만들어지고 기울기 하강을 통해 해결됩니다. 그러나 KLR에 대한 같은 시간 참조 (예 : "Kernel Logistic Regression and Import Vector Machine", Zhu and Hastie 2005)는 평활화 문예 (예 : "일반화 된 부가 모델", Hastie 및 Tibshirani 1990)로 이동합니다.

— RichardN

나는 평활화 문헌에 익숙하지 않지만 커널 모델은 스플라인 평활화와 밀접한 관련이 있습니다. 필자는 가장 좋은 곳은 Grace Wahba ( stat.wisc.edu/~wahba ) 의 출판물 일 것이라고 생각합니다 .

— Dikran Marsupial

고마워, 나는 와바의 출판물을 자세히 살펴볼 것이다. 기껏해야 R에서 KLR 구현을 권장 할 수 있습니까?

— RichardN

로지스틱 회귀에 사용되는 커널은 비모수 적이라는 것을 알고 있으므로 우선 그 제한이 있습니다.

R 패키지와 관련하여 내가 알고 잘 작동하는 것은 np : 혼합 데이터 유형에 대한 비모수 적 커널 스무딩 방법

이 패키지는 다양한 비모수 적 (및 반모 수적) 커널 방법을 제공하여 연속적, 비 순차적, 정렬 된 요인 데이터 유형의 혼합을 원활하게 처리합니다.

최신 커널 상태에 관해서는 2009 년 부터이 백서에 설명 된 것들을 실험 해 볼 것을 권장합니다 .이 책을주의 깊게 읽고 자신에게 가장 적합한 것을 선택하십시오.

— 마리아나 수퍼
소스

Mariana, 답변 해 주셔서 감사합니다. 그러나 "커널 방법"이란 커널 스무딩 방법이 아니라 "커널 트릭"을 사용하는 Support 벡터 시스템과 같은 방법을 의미합니다.

— RichardN