PAC 학습의 경우, 계산되지 않은 학습자에 의한 정보 이론 학습에 필요한 샘플 복잡성과 다항식에 필요한 샘플 복잡성 사이에 다항식 갭이 존재하는 자연스러운 개념 클래스 (예 : 의사 결정 목록의 하위 집합)가 있습니다. 시간 학습자. (예 : http://portal.acm.org/citation.cfm?id=267489&dl=GUIDE 또는 http://portal.acm.org/citation.cfm?id=301437 참조 )
이러한 결과는 특정 예에서 비밀을 인코딩하는 데 의존하는 것처럼 보이므로 학습자가 SQ- 모델 학습으로 자연스럽게 변환하지는 않습니다. 학습자는 분포의 통계적 속성을 쿼리하기 만합니다.
SQ 모델에서 정보 이론 학습이 O (f (n)) 쿼리로 가능한 개념 클래스가 존재하는지 여부는 알려져 있지만 g (n)에 대한 Omega (g (n)) 쿼리를 통해서만 계산 효율적인 학습이 가능합니다 ) >> f (n)?
답변:
나는이 질문을 얼마 전에 물었다. 적어도 특정 분포와 관련하여 학습하기 위해서는 이론적으로 SQ 학습 가능하지만 SQ 학습에 NP가 어려운 개념 클래스의 상당히 간단한 예가 있습니다. \ phi를 SAT 인스턴스의 이진 인코딩으로 지정하고 y를 사 전적으로 우선적으로 만족하는 것으로 지정하십시오 (또는 0 ^ n은 인스턴스가 만족스럽지 않습니다). 이제 f (\ phi)를 도메인의 절반 이상이 MAJ (\ phi)이고 나머지 절반이 PAR (y)와 같은 함수가되게하십시오. 여기서 MAJ는 문자열 \ phi에서 1로 설정된 변수에 대한 대부분의 함수이고 PAR (y)는 문자열 y에서 1로 설정된 변수에 대한 패리티 함수입니다. F를 이런 식으로 얻은 함수의 클래스라고하자. SQ가 균일 분포 U에 대해 F를 배우려면 \ phi를 찾은 다음 y를 찾기 위해 대다수를 배우기 만하면됩니다. 반면에, 균일 분포에서 SAT에서 F 로의 SQ 학습 (3/4보다 큰 정확도로)을 줄이는 것은 상당히 쉽습니다. 그 이유는 당연히 패리티가 SQ에 "보이지 않는"것이므로 F를 배우기 위해 SAT를 풀어야하기 때문입니다.