VC 차원 경계를 학습하는 적절한 PAC

VC 치수 d 를 갖는 개념 클래스 대해, O ( d) 를 얻기에 충분 하다는 것이 잘 알려져있다.$\mathcal{C}$$d$$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$PAC에 ε )레이블이 붙은 예는배운다$\mathcal{C}$. PAC 학습 알고리즘 (이러한 많은 샘플을 사용하는)이 올바른지 또는 부적절한 지 확실하지 않습니까? Anthony와 Biggs뿐만 아니라 Kearns와 Vazirani의 교과서에는 PAC 학습 알고리즘이 부적절한 것처럼 보입니다 (즉, 출력 가설이있지 않음$\mathcal{C}$)

1. 적절한 PAC 학습 환경에 대해 유사한 상한값이 유지되는지 누군가가 명확히 할 수 있습니까? 그렇다면 명시 적으로 언급되고 자체 포함 된 증거가 포함 된 참조를 제공해 주시겠습니까?

2. 최근 Hanneke는 계수를 제거하여이 한계를 개선했습니다 . 경우 누군가가 명확히 수 로그 ( 1 / ε ) 적절한 PAC 학습 설정에 대한 이동식 것으로 알려져있다? 아니면 여전히 공개 질문입니까?$\log(1/\varepsilon)$$\log(1/\varepsilon)$

이 질문에 관심을 가져 주신 Aryeh 에게 감사드립니다 .

다른 언급 된 바와 같이, (1)에 대한 응답이 예 와 경험적 위험 최소화하는 간단한 방법 $\mathcal{C}$ 달성 $O((d/\varepsilon)\log(1/\varepsilon))$ 샘플 복잡성 (Vapnik 및 Chervonenkis, 1974 참조; Blumer, Ehrenfeucht, Haussler, Warmuth, 1989).

(2)에 관해서는,이 공간을이 존재한다는 사실은 알려져 $\mathcal{C}$ 없이 적절한 학습 알고리즘 달성 한 더 이상 $\Omega((d/\varepsilon)\log(1/\varepsilon))$ 샘플 복잡성 때문에 적절한 학습이 최적의 달성 할 수없는 $O(d/\varepsilon)$ 샘플 복잡성. 내가 아는 한,이 사실은 실제로 출판 된 적이 없지만 Daniely와 Shalev-Shwartz (COLT 2014) (원래 멀티 클래스 학습의 다른 질문이지만 관련 질문을 위해 공식화 됨)의 관련 주장에 근거하고 있습니다.

간단한 경우 $d=1$ 고려하고 공간 $\mathcal{X}$ 를 $\{1,2,...,1/\varepsilon\}$ 로 두십시오 . . . , 1 / ε } 와 $\mathcal{C}$ 싱글 인 $f_z(x) := \mathbb{I}[x = z], z \in \mathcal{X}$ : 즉, 각 분류 $\mathcal{C}$ 행 정확히 하나의 포인트를 분류 $\mathcal{X}$ 로서 $1$ 과 등과 같은 $0$. 가 하한 들어, 임의의 싱글로서 타겟 기능을 $f_{x^*}$ 여기서, $x^{*} \sim {\rm Uniform}(\mathcal{X})$ , 및 $P$ 의 여백 분포 $X$ , 균일에 $\mathcal{X}\setminus\{x^*\}$ . 이제 학습자 레이블 어떤 예를 볼 수 없다 $1$ 하지만, 포인트 선택해야 $z$ 에 추측 레이블이 $1$ (중요한 것은``모두 0 ''기능은 하지 에 $\mathcal{C}$임의의 적절한 학습자 그렇게 해야 어떤 추측 $z$ 그것의 모든 점을 볼 때까지), 및 $\mathcal{X}\setminus\{x^*\}$ 는 적어도 갖는 $1/2$ 즉, 자신의 사후 확률 (잘못된 추측 확률 $f_z$ 갖는 $z \neq x^*$$1/2$ 이상 ) 쿠폰 수집기 인수는 Ω ( ( 1 / ε ) 로그 ( 1 / ε ) ) 가 필요함을 나타냅니다.$\Omega((1/\varepsilon)\log(1/\varepsilon))$$\mathcal{X} \setminus \{x^*\}$ 모든 점을 볼 수있는 표본 . 따라서 이것은 모든 적절한 학습자에 대해 $\Omega((1/\varepsilon)\log(1/\varepsilon))$ 의 하한을 증명합니다 .

일반 $d>1$ 경우 $\mathcal{X}$ 를 $\{1,2,...,d/(4\varepsilon)\}$ 취할 $\mathcal{C}$ 분류 기준으로 $\mathbb{I}_{A}$ 세트의 ⊂ X 정확하게 크기 거라고 , 임의로 목표 함수 선택 C를 하고 가지고 P를 단지 포인트 균일로 다시 목표 함수를 분류 0 ( 따라서 학습자는 1 이라는 점을 보지 못합니다.$A \subset \mathcal{X}$$d$$\mathcal{C}$$P$$0$$1$). 그런 다음 쿠폰 컬렉터 인수의 일반화는 우리가 필요로하는 의미 $\Omega((d/\varepsilon)\log(1/\varepsilon))$ 샘플은 적어도 보려면 $|\mathcal{X}| - 2d$ 구별 점 $\mathcal{X}$ , 임의의 적절한 학습자 적어도 갖고이 많은 고유 점 보지 않고 $1/3$ 보다 큰 점점 확률 $d/4$ 의 추측의 의 차원 의 선택된 가설에 점 잘못된 시간 을$A$$d$$h_{A}$오류율이 $\varepsilon$ 보다 큰 것을 의미합니다 . 따라서이 경우 $\Omega((d/\varepsilon)\log(1/\varepsilon))$ 보다 작은 샘플 복잡도를 가진 적절한 학습자가 없으며 , 이는 적절한 학습자가 최적의 샘플 복잡도 $O(d/\varepsilon)$ 달성하지 못함을 의미 합니다.

결과는 구성된 공간 $\mathcal{C}$ 에 따라 상당히 다릅니다 . 존재 공간 거기에서 $\mathcal{C}$ 적절한 학습자가 달성 $O(d/\varepsilon)$ 최적 샘플 복잡성, 실제로 심지어 정확한 전체 식 $O((d/\varepsilon)+(1/\varepsilon)\log(1/\delta))$ 으로부터는 ( Hanneke, 2016a). 일반 ERM 학습자에 대한 일부 상한 및 하한은 (Hanneke, 2016b)에서 개발되었으며 공간 C 의 특성으로 정량화되었습니다.$\mathcal{C}$특정 학습자가 때때로 최적의 샘플 복잡성을 달성 할 수있는 좀 더 전문화 된 사례에 대해 논의합니다.

참고 문헌 :

Vapnik and Chervonenkis (1974). 패턴 인식 이론. 1974 년 모스크바 나우 카

Blumer, Ehrenfeucht, Haussler 및 Warmuth (1989). 학습 성과 Vapnik-Chervonenkis 차원. 전산 기계 학회지, 36 (4) : 929–965.

Daniely and Shalev-Shwartz (2014). 멀티 클래스 문제에 대한 최적의 학습자. 제 27 차 학습 이론 회의에서 발췌.

Hanneke (2016a). PAC 학습의 최적의 샘플 복잡성. 머신 러닝 리서치, Vol. 17 (38), 1-15면.

Hanneke (2016b). 여러 학습 알고리즘에 대한 개선 된 오류 경계. 머신 러닝 리서치, Vol. 17 (135), 1-55 쪽.

귀하의 질문 (1)과 (2)는 관련이 있습니다. 먼저 적절한 PAC 학습에 대해 이야기합시다. 제로 샘플 오류를 달성하면서도 Ω ( d)을 요구하는 적절한 PAC 학습자가 있음이 알려져 있습니다예. ϵ의존성을간단히 증명하려면 균일 분포 하에서구간의 개념 클래스[a,b]⊆[0,1]을 고려하십시오. 가장 작은일관된 간격을 선택하면표본 복잡도는O(1/ϵ)가됩니다. 그러나가장 큰일관된 구간을선택하고목표 개념이[0,0]과 같은 점 구간이라고 가정합니다$\Omega(\frac{d}{\epsilon}\log\frac1\epsilon)$$\epsilon$$[a,b]\subseteq[0,1]$$O(1/\epsilon)$$[0,0]$. 그런 다음 간단한 쿠폰 수집기 인수는 우리가 대략받지 않으면 예제, 우리는 음의 예제들 사이의 간격 (우리가 보게 될 유일한 종류)에 속지 않을 것입니다-균일 한 분포 하에서1/[샘플 크기]의 특성 거동을 갖습니다. 이 유형의 더 일반적인 하한은$\frac{1}{\epsilon}\log\frac1\epsilon$$1/$

P. Auer, R. Ortner. 교차로 폐쇄 개념 클래스를위한 새로운 PAC. 기계 학습 66 (2-3) : 151-163 (2007) http://personal.unileoben.ac.at/rortner/Pubs/PAC-intclosed.pdf

적절한 PAC에 대한 것은 추상 사례에서 긍정적 인 결과를 얻기 위해 ERM 이외의 알고리즘을 지정할 수 없다는 것입니다. 이는 "표지 된 샘플과 일치하는 개념을 찾는 것"입니다. 간격과 같은 추가 구조가있는 경우 위와 같이 최소 대 최대 일관된 세그먼트라는 두 가지 다른 ERM 알고리즘을 검사 할 수 있습니다. 그리고 이것들은 다른 샘플 복잡성을 가지고 있습니다!

부적절한 PAC의 힘은 다양한 투표 방식을 설계 할 수 있다는 것입니다 (Hanneke의 결과는 이와 같습니다). (이 이야기는 불가지론 적 PAC에 대해 더 간단합니다. ERM은 최고 수준의 최악의 속도를 제공합니다.)

편집하다. D. Haussler, N. Littlestone, Md K. Warmuth의 1- 포함 그래프 예측 전략이 나에게 생겼습니다. 무작위로 그려진 점에 대한 {0,1}-함수 예측. Inf. 계산. 115 (2) : 248-292 (1994)는 보편적 인 적절한 PAC 학습자를 위한 자연스러운 후보 일 수 있습니다 .$O(d/\epsilon)$

현재 허용되는 답변에 추가하려면

1. 예. 표본 복잡도 상한은 적절한 PAC 학습을 위해 유지됩니다(그러나 계산적으로 효율적인 학습 알고리즘으로 이어지지 않을 수도 있음을 유의하는 것이 중요합니다.NP=RP가아니라면일부 클래스는 효율적으로 적절한 PAC 학습 불가 Cf. 예 : Kearns—Vazirani 책의 정리 1.3). L은 가설 클래스가H=C 인일관된 가설 파인더가 있기 때문에 실제로 Kearns-Vazirani 책 (Theorem 3.3)에 나와있습니다. [1]도 참조하십시오.

   $$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$ $\mathsf{NP}=\mathsf{RP}$$L$$\mathcal{H}=\mathcal{C}$

2. 알 수 없는. Hanneke의 알고리즘 [2]은 부적절한 학습 알고리즘입니다. 적절한 PAC 학습을 위해 샘플 복잡성 에서이 추가 요소를 제거 할 수 있는지 (이론적으로 정보, 이론적으로 계산 효율 요구 사항을 따로 설정 하는 것 ) 는 여전히 미해결 문제입니다. Cf. [3]의 끝에서 열린 질문들 :$\log(1/\varepsilon)$

   일반적으로 , ( ε , δ )- 적절한 PAC 학습을 위해 [1]의 상한에 있는 인자가 필요한지 여부는 여전히 공개적인 질문 입니다.$\log(1/\varepsilon)$$(\varepsilon, \delta)$

   (동일한 논문의 각주 1도 관련이 있습니다)

[1] A. Blumer, A. Ehrenfeucht, D. Haussler 및 MK Warmuth. 학습 성과 Vapnik-Chervonenkis 차원. ACM 저널, 36 (4) : 929–965, 1989.

[2] S. Hanneke. PAC 학습의 최적의 샘플 복잡성. J. 마하 배우다. 입술 17, 1, 1319-1333, 2016.

[3] S. Arunachalam과 R. de Wolf. 학습 알고리즘의 최적 양자 샘플 복잡성. 제 32 회 전산 복잡성 회의 (CCC)의 절차, 2017.