SVM의 일반화 범위

Support Vector Machines의 일반화 능력에 대한 이론적 결과에 관심이 있습니다. 예를 들어 분류 오류 확률 및 이러한 시스템의 Vapnik-Chervonenkis (VC) 치수 등이 있습니다. 그러나 문헌을 통해 읽은 결과, 유사한 반복 결과가 특히 주어진 범위를 유지하는 데 필요한 기술적 조건과 관련하여 저자마다 약간 씩 다른 경향이 있다는 인상을 받았습니다.

내가 SVM 문제와 내가 재발 하 한 형태 또는 다른에서 발견되는 주요 일반화 결과의 상태 3의 구조를 기억합니다 다음에 나는 박람회에 걸쳐 3 명 주요 참조를 제공합니다. $-$

문제 설정 :

독립적이고 동일하게 분포 된 (iid) 쌍 의 데이터 샘플이 있다고 가정합니다. 여기서 모든 에 대해 및 . 우리는 최소 마진 최대화하는 서포트 벡터 머신 (SVM) 구성 에 의해 정의 된 분리하는 초평면 사이 , 및 및 정의 된 두 클래스를 분리하기 위해 및 중 가장 가까운 지점 입니다. SVM은 슬랙 변수를 도입하여 소프트 마진을 통해 약간의 오류를 허용합니다. $(x_i,y_i)_{1\leq i\leq n}$ $i$ $x_i \in \mathbb{R}^p$ $y_i \in \{-1,1\}$ $m^*$ $\{x : w \cdot x + b = 0\}$ $w \in \mathbb{R}^p$ $b \in \mathbb{R}$ $x_1,\cdots,x_n$ $y = -1$ $y = 1$ $\xi_1,\cdots,\xi_n$ $-$ 하지만 편의상 위해 우리는 커널의 가능성을 무시합니다. 솔루션 매개 변수 $w^*$ 및 $b^*$ 는 다음 볼록 2 차 최적화 프로그램을 해결하여 얻습니다.

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

이 기계의 일반화 능력에 관심이 있습니다.

Vapnik-Chervonenkis 차원 $VC$ :

첫 번째 결과는 (Vapnik, 2000)에 기인하며, 그는 분리 초평면, 정리 5.1의 VC 치수를 한정한다. 분들께 $R = \max_{x_i} \|x_i\|$ , 우리는 :

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

이 결과는 (Burges, 1998), 정리 6에서 다시 찾을 수 있습니다. 그러나 버프 스 정리는 Vapnik의 동일한 결과보다 더 제한적입니다. 그는 갭 허용 분류기로 알려진 분류기의 특수 범주를 정의해야하기 때문입니다. 정리 가 SVM에 속하는 . $-$ $-$

오류 확률에 대한 경계 :

(Vapnik, 2000)에서 139 페이지의 정리 5.2는 SVM 일반화 기능에 대해 다음과 같은 한계를 제공합니다.

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

여기서 는 SVM의 지원 벡터 수입니다. 이 결과는 (Burges, 1998), 식 (86) 및 (93)에서 각각 다시 발견되는 것으로 보입니다. 그러나 다시 Burges는 Vapnik과 다른 것처럼 보이며 위의 최소 기능 내에서 구성 요소를 조건에 따라 다른 정리로 분리합니다. $n_{SV}$

(Vapnik, 2000), p.133에 나타나는 다른 결과는 다음과 같습니다. 모든 , 대해 다시 가정 하고 및 하면 를 다음과 같게 정의 합니다. $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

또한 를 SVM에 의해 잘못 분류 된 훈련 예의 수로 정의 합니다. 그런 확률로 우리는 테스트 예제가 제대로 분리되지 않을 확률 주장 할 수 -margin 초평면 즉, SVM과 마진 : 바운드있다 $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

그러나 (Hastie, Tibshirani and Friedman, 2009), p.438에서 매우 비슷한 결과가 발견되었습니다.

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

결론 :

이 결과들 사이에는 어느 정도의 충돌이있는 것 같습니다. 반면에 SVM 문헌에서 정식이기는하지만이 참고 문헌 중 두 개는 약간 오래된 것으로 시작합니다 (1998 년과 2000 년). 특히 SVM 알고리즘에 대한 연구가 90 년대 중반에 시작되었다고 생각하면 더욱 그렇습니다.

내 질문은 :

이 결과가 오늘날에도 유효합니까, 아니면 잘못된 것으로 입증 되었습니까?
그 이후로 상대적으로 느슨한 조건으로 더 엄격한 경계가 도출 되었습니까? 그렇다면 누구와 어디서 찾을 수 있습니까?
마지막으로 SVM에 대한 주요 일반화 결과를 종합하는 참조 자료가 있습니까?

참고 문헌 :

JC Burges (1998). "패턴 인식을위한 벡터 머신 지원에 대한 튜토리얼", 데이터 마이닝 및 지식 발견 , 2 : 121-167

Hastie, T., Tibshirani, R. 및 Friedman, J. (2009). 통계 학습의 요소 , 2 판, Springer

Vapnik, VN (1998). 통계 학습 이론 , 1 판, John Wiley & Sons

Vapnik, VN (1999). "통계학 학습 이론의 개요", 신경망 에서의 IEEE 트랜잭션 , 10 (5) : 988-999

Vapnik, VN (2000). 통계 학습 이론의 본질 , 2 판, Springer

machine-learning svm vc-dimension

— 다넬 올리보
소스

SVM에 대한 최신 (2008 년 기준) 위험 범위를 요약 한 참조 : "지원 벡터 머신"(Ingo Steinwart, Andreas Christmann, Springer 2008) .

— 등록

나는 당신이 언급 한 문헌을 자세히 알지 못하지만, Boucheron et al.에서 최신의 일반화 범위에 대한 포괄적 인 요약을 찾을 수 있다고 생각합니다. (2004) (링크 : https://www.researchgate.net/profile/Olivier_Bousquet/publication/238718428_Advanced_Lectures_on_Machine_Learning_ML_Summer_Schools_2003_Canberra_Australia_February_2-14_2003_Tubingen_Germany_August_4-16_2003_Revised_Lectures/links/02e7e52c5870850311000000/Advanced-Lectures-on-Machine-Learning-ML-Summer-Schools-2003- 캔버라-호주 -2 월 2 월 14 일 -2003- 튀빙겐-독일 -8 월 -4-16-2003- 개정-강의 .pdf # page = 176 )

나는 SVM의 일부를 다음과 같이 묶어 상세하게 설명하고 증명할 것이다.

SVM 바운드에 대해 구체적으로 설명하기 전에 일반화 바운드가 달성하려는 것을 이해해야합니다.

먼저 실제 확률 를 알고 있다고 가정 하면 가장 적합한 분류 기준은 베이 분류 기준입니다. 즉 $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

통계 학습 이론의 목표는 이제 클래스 의 분류 자 (예 : SVM) 및 베이 분류기, 즉 참고 인 예상 손실이 소정의 데이터 및 모델 클래스에서 최적의 분류이다 . 용어 는 오차 (다른 용어)보다 훨씬 쉽게 경계 수 있으므로 추정 에러와 종종 초점 불린다. 또한 여기에서 근사 오류를 생략합니다. $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

추정 오차 는 로 더 분해 될 수있다 이제 두 단계로 묶을 수 있습니다. $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

경계 McDiarmid 불평등을 사용한 $Z - \mathbb{E}Z$
Rademacher 복잡도를 가진 경계 $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

McDiarmids 부등식을 사용하면 손실 함수가 이하의 범위에 있으면 단계 1은 여기서 는 신뢰 수준입니다. 두 번째 단계에서 우리는 수 있습니다. -손실, 당신은 Rademacher 복잡성을 더 경계하기 위해 VC 차원이 필요합니다. 그러나 힌지 손실과 같은 L-lipschitz 함수의 경우 의해 추가로 제한 될 수 있습니다. 여기서 $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ 정규화기를 나타냅니다. Hinge-Loss 및 (Gauchy-Schwartz 불평등으로 증명 됨)의 경우 이는 더욱 단순화됩니다. 마지막으로 모든 결과를 종합하면

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
소스