SVM이 여전히 최첨단 인 도메인은 무엇입니까?


10

심층 신경망 및 기타 신경망 기반 모델은 컴퓨터 비전, 객체 분류, 강화 학습 등과 같은 현재의 많은 영역을 지배하고있는 것으로 보입니다.

SVM (또는 다른 모델)이 여전히 최신 결과를 생성하는 도메인이 있습니까?

답변:


12

최신 기술은 측정 방법이 명확하지 않기 때문에 어려운 기준입니다. 최신 기술과 유사한 대체 기준은 언제 SVM을 시도 것인지 묻는 것입니다.

SVM에는 몇 가지 장점이 있습니다.

  1. 커널 트릭을 통해 원래 기능 세트가 아닌 여러 비선형 기능 조합에 대한 패턴을 배우려는 경우 SVM의 런타임이 크게 증가하지 않습니다. 대조적으로, 딥 뉴럴 네트워크와 같은보다 현대적인 접근법은 동일한 패턴을 모델링하기 위해 더 깊거나 넓어 져야하므로 훈련 시간이 늘어납니다.
  2. SVM은 "보존 적"가설을 선택하는 데 고유 한 편견이 있습니다.이 가설은 최대 마진 가설을 찾으려고하기 때문에 데이터를 과적 합할 가능성이 적습니다. 어떤 의미에서, 그들은 Occam의 면도기를 "굽습니다".
  3. SVM에는 두 개의 하이퍼 파라미터 (커널 및 정규화 상수 선택) 만 있으므로 특정 문제에 쉽게 조정할 수 있습니다. 일반적으로 매개 변수 공간을 통해 간단한 그리드 검색을 수행하여 자동으로 수행 할 수 있습니다.

SVM에는 몇 가지 단점이 있습니다.

  1. SVM에는 학습하려는 데이터 포인트 수에 따라 입방체로 확장되는 런타임이 있습니다 (예 : 영형()런타임) 1 . 예를 들어, 딥 신경망에 대한 일반적인 훈련 접근법과 잘 비교되지 않습니다.영형(이자형) 시간, 어디서 데이터 포인트 수입니다. 이자형 훈련 신기원의 수이며 네트워크의 가중치 수입니다. 일반적으로,이자형<<.
  2. 커널 트릭을 사용하기 위해 SVM은 두 쌍의 포인트 사이에서 커널 화 된 "거리"값을 캐시합니다. 이것은 그들이 필요하다는 것을 의미합니다영형(2)기억. 이것은 대부분의 실제 세트에서 큐빅 런타임보다 훨씬 더 많은 문제입니다. 수천 개가 넘는 데이터 포인트는 대부분의 최신 서버를 스레 싱 상태로 두어 효과적인 런타임을 몇 배나 증가시킵니다. 포인트 1과 함께, 이는 SVM이 상한에서 5,000-10,000 개의 데이터 포인트를 초과하는 세트에 대해 실행 불가능하게 느려지는 경향이 있음을 의미합니다.

이러한 모든 요소는 SVM이 정확히 하나의 유스 케이스와 관련이 있음을 나타냅니다. 대상 패턴이 사소한 것으로 생각되는 작은 데이터 세트는 많은 기능의 규칙적이지만 비선형적인 함수입니다. 이 사용 사례는 실제로 상당히 자주 발생합니다. SVM이 자연스럽게 접근 한 최근의 예제 응용 프로그램은 기능 쌍 간의 상호 작용 (특히 에이전트 쌍 간의 통신) 결과 인 것으로 알려진 대상 기능에 대한 예측 모델을 구축하는 것이 었습니다. 따라서 2 차 커널을 사용하는 SVM은 보수적이고 합리적인 추측을 효율적으로 학습 할 수 있습니다.


1 다른 답변에서 언급했듯이 SVM을 이보다 빠르게 해결하는 대략적인 알고리즘이 있습니다.


7

딥 러닝 및 신경망은 최근 분야의 발전으로 인해 가장 많은 관심을 받고 있으며 대부분의 전문가들은 이것이 머신 러닝 문제를 해결할 미래라고 믿고 있습니다.

그러나 실수하지 마십시오. 클래식 모델은 여전히 ​​뛰어난 결과를 생성하며 특정 문제에서는 딥 러닝보다 더 나은 결과를 생성 할 수 있습니다.

선형 회귀는 여전히 세계에서 가장 많이 사용되는 기계 학습 알고리즘입니다.

입력 데이터의 모양과 품질에 대한 정확도가 매우 많이 결정되므로 클래식 모델이 항상 더 나은 성능을 발휘하는 특정 영역을 식별하기가 어렵습니다.

따라서 알고리즘과 모델 선택은 항상 절충안입니다. 더 작은 데이터 세트로 클래식 모델의 성능을 향상시키는 것은 다소 정확한 설명입니다. 그러나 적은 양의 데이터에서 딥 러닝 모델 성능을 개선하기위한 많은 연구가 진행되고 있습니다.

대부분의 클래식 모델은 계산 리소스가 덜 필요하므로 목표가 속도보다 빠르면 훨씬 좋습니다.

또한 클래식 모델은 구현 및 시각화가 쉬워 성능에 대한 또 다른 지표가 될 수 있지만 목표에 따라 다릅니다.

무제한 레이블이 붙은 무제한의 관찰 가능한 데이터 세트가 있고 문제가있는 도메인 내에서 올바르게 구현하면 딥 러닝으로 인해 대부분의 경우 더 나은 결과를 얻을 수 있습니다.

그러나 내 경험상 실제 조건은 결코 완벽하지 않습니다


0

@John의 답변에 전적으로 동의하십시오. 더 많은 포인트로 그것을 시도하고 보완 할 것입니다.

SVM의 몇 가지 장점 :

a) SVM은 SMO와 같은 효율적인 해결 방법 이있는 볼록 최적화 문제로 정의됩니다 .

b) 높은 차원의 공간에서 그리고 차원의 수가 샘플의 수보다 큰 경우에도 효과적입니다.

c) 의사 결정 기능 (지원 벡터라고 함)에 훈련 지점의 하위 집합을 사용하므로 메모리 효율성도 높습니다.

d) 결정 기능에 대해 다른 커널 기능을 지정할 수 있습니다.. 가장 간단한 형태의 커널 트릭은 데이터를 다른 클래스로 명확하게 나누는 다른 차원으로 데이터를 변환하는 것을 의미합니다.

서포트 벡터 머신의 단점은 다음과 같습니다.

a) 피처 수가 샘플 수보다 훨씬 많은 경우 커널 기능과 정규화 용어를 선택할 때 과적 합을 피하는 것이 중요합니다. 커널 모델은 모델 선택 기준과도하게 맞추는 데 매우 민감 할 수 있습니다

b) SVM은 확률 추정치를 직접 제공하지 않습니다. 많은 분류 문제에서 실제로 클래스 멤버쉽의 가능성을 원하므로 확률을 얻기 위해 SVM의 출력을 사후 처리하는 것보다 로지스틱 회귀와 같은 방법을 사용하는 것이 좋습니다.


-1

저 차원 테이블 형식 데이터의 데이터 집합에 사용됩니다. DNN은 과도한 매개 변수로 인해 저 차원 입력에서 효율적이지 않습니다. 따라서 데이터 집합의 크기는 크지 만 각 샘플은 저 차원 SVM이 DNN을 능가합니다.

보다 일반적으로 데이터가 테이블 형식이고 샘플 필드 간의 상관 관계가 약하고 시끄럽다면 SVM은 높은 차원의 데이터에서도 여전히 DNN을 이길 수 있지만 특정 데이터에 따라 다릅니다.

불행히도 나는 주제에 관한 특정 논문을 회상 할 수 없으므로 대부분 상식적인 추론이므로 신뢰할 필요는 없습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.