균일 분포에서 2-DNF에 대한 적절한 PAC 학습

샘플 쿼리를 사용 하고 균일하게 분포 된 적절한 PAC 학습 2-DNF 수식 의 쿼리 복잡성에 대한 최신 결과는 무엇입니까 ? 아니면 사소한 것이 있습니까?

나는 학습 이론에 전혀 익숙하지 않으며이 질문은 다른 분야에서 동기를 부여 받았기 때문에 그 대답은 분명 할 것입니다. 나는 Kearns와 Vazirani의 책을 확인했지만 그들은이 설정을 명시 적으로 고려하지 않는 것 같습니다.

올라 갔다. 주요 관심 매개 변수는 쿼리 복잡성이지만 실행 시간도 중요합니다. 가능하면 실행 시간은 쿼리 복잡도와 거의 동일하거나 다항식이어야합니다.

올라 갔다. Balcan and Harvey의 "서브 모듈러 기능 학습"의 부록 B (18 페이지 상단)는 "2-DNF가 효율적으로 PAC를 배울 수있는 것으로 잘 알려져 있습니다"라고 언급합니다. 그러나 그들은이 결과가 적절한 학습을 위한 것인지 아니면 어떤 참조 를했는지에 대해서는 언급하지 않습니다 .

나는 당신이 다음과 같은 사소한 경계를 고려할지 모르겠지만 여기에 간다.

먼저 혼동하지 않도록 명확하게 $c$-DNF $k$용어 DNF (자주하는 일) $c$변수에 대한 -DNF 수식 $x_1, \ldots, x_n$ 형태이다 $\vee_{i=1}^{k}(\ell_{i,1} \wedge \ell_{i,2} ... \ell_{i,c})$ 어디 $\forall 1 \le i \le k$ 과 $1 \le j \le c$, $\ell_{i,j} \in \{x_1, \ldots, x_n, \bar{x}_1, \ldots, \bar{x}_n \}$.

먼저 몇 개의 다른 용어가 존재할 수 있는지 물어볼 수 있습니다 $c$-DNF. 각 용어는$c$ 의 $n$ 각각 부정되거나 그렇지 않은 변수 $2^c\binom{n}{c}$다른 가능한 용어. 2-DNF 사례에서 각 용어는 다음과 같이 나타납니다.$|\mathcal{H}| = 2^{2^c\binom{n}{c}}$ 가능한 "타겟" $\mathcal{H}$ 가설 공간입니다.

필요한 알고리즘을 상상해보십시오 $m$ 샘플 및 모든 시도 $|\mathcal{H}|$표본에 대해 완벽하게 예측하는 것을 찾을 때까지 가설을 세웁니다. 오캄의 면도기 정리에 따르면$m = O(\frac{1}{\epsilon}|(\mathcal{H}|+\frac{1}{\delta})$ 오류가있는 대상을 찾기위한이 알고리즘의 샘플 $\le \epsilon$ 확률로 $\ge 1-\delta$.

우리의 경우 $c=2$, $\lg|\mathcal{H}| = O(n^2)$, 즉 $n^2$ (적절한) 학습을 수행하기위한 샘플.

그러나 학습의 전체 게임은 실제로 샘플 복잡성 (특히 속성 효율적인 학습에서 게임의 일부 임)이 아니라 다항식 시간 알고리즘을 설계하려고합니다. 효율성에 관심이 없다면$n^2$ PAC 샘플 복잡성에 대한 가장 간단한 답변입니다.

업데이트 (변경된 질문이 제공됨) :

샘플 복잡성에만 관심이 있다고 명시했기 때문에, 나는 가장 단순한 주장 인 무차별 대치 법을 제시했습니다. 그러나 내 대답은 약간 은근했습니다. $2$-DNF는 실제로 다항식 시간에 배울 수 있습니다! 이것은 발리언트 (Valiant)의 원본 논문 인 " 학습 가능한 이론 " 에서 비롯된 것 입니다. 사실로$c$-DNF는 누구나 배울 수 있습니다 $c = O(1)$.

인수는 다음과 같습니다. 당신은 볼 수 있습니다$c$분리의 -DNF $\approx n^c$ "메타 변수"와 예제와 일치하지 않는 메타 변수를 제거하여 분리를 배우려고합니다. 이러한 솔루션은 "적절한"솔루션으로 쉽게 다시 변환 할 수 있으며$O(n^c)$시각. 부수적으로, 다항식 시간 알고리즘이 있는지 여부는 여전히 열려 있습니다.$c = \omega(1)$.

여부에 관해서는 $n^2$샘플 복잡도는 하한이며, 대답은 거의 그렇습니다. 이 논문 은 Ehrenfeucht et al. Occam 경계가 거의 꽉 찼음을 보여줍니다.