통계 쿼리 모델 알고리즘?

교차 검증 된 Q & A 로이 질문 을했지만 통계보다 CS와 관련이있는 것 같습니다.

당신이 날은 개별 관찰 자체가 고용 IE가 아닌 데이터 세트의 통계적 특성을 배울 기계 학습 알고리즘의 예 줄 수 통계 쿼리 모델을 ?

PAC 모델에서 작동하는 거의 모든 알고리즘 (패리티 학습 알고리즘 제외)은 SQ 모델에서 작동하도록 만들 수 있습니다. 예를 들어 Blum et al. 몇 가지 인기있는 알고리즘이 SQ와 동등한 것으로 번역됩니다 ( Practical Privacy : SuLQ 프레임 워크 ) 이 논문은 원칙적으로 "프라이버시 (privacy)"에 관한 것이지만 무시할 수있다. 실제로 SQ 쿼리로 알고리즘을 구현하는 것이다.

반면에 무의식 학습은 SQ 모델에서 훨씬 어렵습니다. 계산 문제는 제쳐두고 (중요하지만), 무의식 학습에 필요한 샘플 복잡도는 실제 학습에 액세스 할 수있는 경우 정확한 학습에 필요한 것과 거의 동일합니다. 데이터 포인트. 반면에 SQ 모델에서는 불가지론 학습이 훨씬 어려워집니다. 모노톤 분리만큼 단순한 클래스의 경우에도 일반적으로 초 다수 적으로 많은 쿼리를 작성해야합니다. 이 보고서는 Feldman ( 발행성에 응용 한 통계 쿼리 학습의 완전한 특성화 ) 또는 Gupta et al. ( 개인적으로 연결 해제 및 통계 쿼리 장벽 해제 )

SQ 모델은 노이즈 허용 학습을 분석하기 위해 만들어졌습니다. 즉 통계 쿼리를 수행하여 작동하는 알고리즘은 분류 노이즈 하에서 작동합니다. Aaron이 말했듯이, 대부분의 PAC 알고리즘은 SQ 모델에서 동등한 것으로 판명되었습니다. 한 가지 예외는 가우시안 제거인데, 이는 패리티를 학습하는 데 사용됩니다 ( 영리한 응용 프로그램을 사용할 수도 있음)분류 노이즈 모델에서 log (n) loglog (n) 크기 패리티를 학습합니다. 또한 통계 쿼리를 통해 패리티를 학습 할 수 없으며 의사 결정 트리와 같은 가장 흥미로운 클래스가 패리티 함수를 시뮬레이션 할 수 있음을 알 수 있습니다. 따라서 의사 결정 트리, DNF 등과 같은 많은 흥미로운 클래스에 대한 PAC 학습 알고리즘을 얻으려면 통계 쿼리 모델에서 작동하지 않는 근본적으로 새로운 학습 알고리즘이 필요하다는 것을 알고 있습니다.

Aaron의 답변을 약간 명확하게 설명하고 싶습니다. 거의 모든 불가지론 알고리즘 (가우시안 제거를 사용하는 것을 제외하고 다시 한 번)은 SQ 모델에서 작동하도록 만들 수 있습니다. 당연히, 불가지론 학습은 비 지속적 학습보다 어렵지만 이것은 독립적 인 질문입니다.