불가지론 PAC 샘플링 하한

이것은 잘 알려진 클래식 PAC이 학습을 위해 예제의 오차 한계 acheive 위해 필요한 WHP, 여기서 개념 클래스의 VC-치수이다. $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

있다는 것이 알려져 예는 무관 경우 필요한가? $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— 아리에
소스

하한이 어떻게 보이는지 잘 모르겠습니다. Hoefding 경계가 빡빡하면 존재해야합니다. 오류의 확률이 P 경우이 결합 된 상태 1 FN를 들어, 당신은 기껏해야한다는

+ 오차 내에서 페이지를 추정하기 위해 샘플 -

WHP 그래서이 개 개념을 어떤 개념 클래스를 고려,

및

및 VC 차원 2.

(또는 그 반대)가 되도록 예제를 통해 분포를 취하십시오. VC 차원이 2이기 때문에 가능합니다.

만 사용하는 알고리즘 인 것 같습니다.

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

예는 개선 된 Hoefding 경계를 의미합니다.

O (1 / ϵ)

$O(1/\epsilon)$

— Aaron Roth

즉, 나는에 꽉 Hoeffding 바인드 생각

에 대한

. 위의 추론은 일반적으로 알려져 있다고 생각합니다.

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— Lev Reyzin

알았어-ML 코스에 대한 또 다른 운동을 한 것 같습니다 ... :) 입력에 감사드립니다. Aaron와 Lev!

— Aryeh

@Aaron, 아마도 이것이 답이었을 것입니다.

— Suresh Venkat

지금은 하한이 실제로 안토니와 바틀렛 (프레젠테이션 참조에 의해 설립되었습니다 것을 깨닫게 여기를 ).

2018 년 9 월 24 일 수정 이 질문은 내가 수년 동안 계속해서 점령하고 최근에 I. Pinelis와 나는 Ann에 나타날 불가지론 적 PAC 하한에서 정확한 최적 상수를 얻었습니다 . 통계 .

— 아리에
소스

귀하의 논문에서이 작품을 인용하지 마십시오 ( jmlr.org/papers/volume17/15-389/15-389.pdf ). 실현 가능한 사례에서 최적의 샘플 복잡성이 상한값으로 작업과 관련이 없습니까? 이러한 대응하는 최적의 샘플 복잡도 상한은 불가지론 적 사례로 알려져 있습니까?

— gradstudent

실현 가능한 사례가 모두 관련이 있다고 생각하지 않습니다. 실현 가능한 경우, ERM은 최적의 비율을 보장하지 않습니다. 따라서 로그 팩터를 제거하기 위해 Hanneke와 다른 사람들이 모든 노력을 기울여야했으며, 적절한 학습자가 최적의 비율을 달성 할 수 있는지 여부는 여전히 알 수 없습니다. 반대로, 불가지론 경우에, ERM이 최적의 속도를 달성하는 것이 오랫동안 알려져왔다.

— Aryeh