임의 분포에 대한 불가지론 학습

하자 / 라벨 쌍 비트 스트링을 통해 배포 될 및하자 부울 값 함수들의 집합 일 . 각 기능의 경우 , 보자 및하자 알고리즘 가 모든 분포에 대해 를 무의식적으로 학습 한다고 가정합니다. 경우 확률 적으로 이면 와 같은 함수 찾을 수 있습니다 , 주어진 시간과 의 샘플 수 $D$ $\{0,1\}^d\times \{0,1\}$ $C$ $f:\{0,1\}^d\rightarrow\{0,1\}$ $f \in C$

e r r (f, D) = \underset{(x, y) \sim D}{Pr} [f (x) \neq y]

$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$

O P T (C, D) = min_{f \in C} e r r (f, D)

$OPT(C,D) = \min_{f \in C}\ err(f,D)$

A

$A$

C

$C$

D

$D$

2 / 3

$2/3$

f

$f$

e r r (f, D) \leq O P T (C, D) + ϵ

$err(f,D) \leq OPT(C,D) + \epsilon$

D

$D$

d

$d$ 와

의 다항식으로

1 / ϵ

$1/\epsilon$ 입니다.

질문 : 임의의 분포에 대해 어떤 클래스의 함수 $C$ 가 진 단적으로 학습 가능한 것으로 알려져 있습니까?

수업이 너무 간단하지 않습니다! 모노톤 연결조차도 임의의 분포에 대해 불가지론 적으로 배울 수있는 것으로 알려지지 않았으므로 사소한 클래스의 함수를 찾고 있습니다.

reference-request machine-learning lg.learning

— 아론 로스
소스

가치에 대한 지적 미숙 OPT (C, D)> 0 (즉, 잘못된 가설 클래스가있을 때 불가지론 학습은 경우에 초점을 맞추고 있음

— 수레 쉬 벤 카트

좋은 지적. OPT (C, D) = 0 인 특수한 경우 PAC 학습이며 훨씬 쉽습니다. 불가지론 학습의 경우, OPT (C, D)가 무엇이든 보증이 유지되어야합니다.

— Aaron Roth

OPT (C, D)> 0 인 "PAC w / Classification Noise"사례도 있는데, 올바른 가설 클래스 (실현 가능한 설정)를 가지고 있지만 노이즈로 인해 레이블이 무작위로 뒤집기 때문에 약간의 오류가 있습니다 ... I 다른 설정의 이름이 덜 혼동되기를 바랍니다.

— Lev Reyzin

그것은 OPT (C, D)의 상한을 가진 불가지론적인 학습처럼 들립니다

— Suresh Venkat

분류 노이즈 모델에서 노이즈가 임의적이지 않기 때문에 확실하지 않습니다. 따라서 불가지론 적 모델에서 학습 (또는 경험적 위험 최소화기를 찾는)을 야기한 일부 적대적 노이즈 패턴이있는 경우 분류 노이즈 모델에서 자주 발생하지 않을 수 있습니다 (예 : PAC 델타 매개 변수에 해당).

— Lev Reyzin

수업이 너무 단순하지 않은 경우 다음과 같은 PAC 학습 가능 수업이 있습니다. 의견에 대한 응답으로, 다 항적으로 많은 가설이있는 클래스는 제외됩니다.

~~일정한 깊이 결정 트리 (및 많은 많은 가설을 가진 다른 클래스)~~
~~초평면 ( 고유 한 레이블을 생성하는 가설 만 ) $R^2$ $O(n^2)$~~
구간의 합집합 (동적 프로그래밍)
비트 의 첫 번째 중 일부에 대한 패리티 ( this and this 참조 ) $\log(k)\log\log(k)$ $n$
~~저 차원 설정의 다른 가설 클래스.~~

PAC가 (적어도 적절하게) PAC가 배우는 것은 NP-Hard와 거의 같습니다.

불가지론 학습에 대한 Adam Kalai의 튜토리얼 도 관심을 가질 수 있습니다.

— 레브 레이 진
소스

감사. 따라서 일정한 깊이 결정 트리, 2 차원 초평면 (나는 다른 저 차원 설정을 가정)은 다항식으로 많은 기능을 갖는 범주에 속합니다. log (k) loglog (k) 비트의 패리티와 구간의 합집합은 초 다수 적으로 많은 함수를 포함한다는 점에서 흥미 롭습니다. 이와 같은 다른 사람들이 있습니까?

— Aaron Roth

R ^ 2에는 무수히 많은 초평면이 있지만 데이터 포인트를 다르게 분류하는 O (n ^ 2) 만 있습니다. 내 머리 꼭대기에서 다른 흥미로운 수업을 모르지만 생각하거나 찾은 경우 답변을 편집합니다.

— Lev Reyzin

그래서 당신은 무제한 VC 차원 클래스를 원하십니까?

— Suresh Venkat

무한한 VC 차원은 확실히 흥미로울 것이지만, 큰 유한 (고정 된 d) 클래스는 이미 매우 흥미 롭습니다 (그리고 드문 것 같습니다)

— Aaron Roth

@LevReyzin Kalai 강의 링크가 작동하지 않습니다. 친절하게 고칠 수 있습니까? 나는 인터넷에서 검색했지만 이것도 찾을 수 없었습니다.

— Anirbit