PAC 학습 이전에 있었던 일


9

기계 학습 / AI에 대한 사전 지식이없는 초보자로 PAC 학습 (계산 학습 이론)을 조사하고 있습니다. 역사적 관점에서 주로 모델을 조사하고 있습니다.

이를 위해 가장 중요한 것은 물론 모델을 기반으로 한 결과입니다. 이 결과를 문서화하기에 충분한 논문이 있습니다. 그러나 나는 또한 PAC 모델의 개념과 함께 Valiant가 어디서 왔는지에 대한 역사적 맥락을 스케치하기 위해 PAC 학습 이전에 무슨 일이 있었는지에 대해 쓰고 싶다.

내가 지금까지 찾은 서류 / 조사가 없습니다.이를 문서화하고 기계 학습에 대한 실제 지식이없는 사람은 이것을 찾기가 어렵습니다. 따라서 여기에 도움이 될만한 전문가가 충분하다고 생각하기 때문에 여기에서이 부드러운 질문을하고 있습니다. 참조는 높이 평가됩니다.

PAC 이전에 무슨 일이 있었는지 연구하고 연구 할 수있을 때, PAC 모델에 대해 왜 학계가 그렇게 열성적인 지에 대해 더 잘 이해할 수있을 것입니다. 이것은 또한 내 역사적인 작업에 기록해야 할 관심사입니다!


4
모든 학계가 PAC 모델에 열광하는 것은 아닙니다. 기계 학습의 일부 사람들은 실제로 그것을 좋아하지 않습니다 (특히 더 많은 사람들).
Yuval Filmus

답변:


8

참조는 높이 평가됩니다.

저자는 출판이 시작될 때 문맥의 결과와 결과의 관련성을 다루어야합니다. 방금 "L. Valiant. 학습 가능한 이론. ACM의 커뮤니케이션, 1984 년"의 소개를 훑어 보았습니다. Valiant가 실제로 귀하의 질문을 잘 다루고 있음을 알게되었습니다.

Valiant의 원본 용지는 무료로 제공되며 읽기가 어렵지 않습니다. (제 7 장을 제외하고는 저자가 어려운 수학 문제를 해결할 수도 있지만 논문의 실제 내용에 크게 기여하지는 않습니다.) 적어도 소개를 읽는 것은 이것에 대한 너무 긴 답변을 읽는 것보다 더 가치가 있습니다. 질문, 그래서 나는 그것을 실제로 시도하는 것이 좋습니다.


이 답변의 나머지 부분에서는이 소개를 읽는 것이 역사적 맥락에 관한 질문에 대답 할 수 있는지 여부를 나타내는 소개의 일부 구절을 인용하려고합니다. 그러나 저자는 그러한 질문에 대해 편견을 갖는 특권을 가지고 있음에 유의하십시오.

... 그러한 시스템은 적어도 아주 좋은 출발이 될 것입니다. 먼저, 사전 프로그래밍 된 지식을 구현하는 가장 유명한 시스템, 즉 DENDRALMYCIN 과 같은 전문가 시스템을 살펴보면 본질적으로 명제 미적분학 이상의 논리적 표기법이 사용되지 않습니다.

명제 미적분학이 예측 미적분학이나 오늘날 때때로 사용되는 다양한 유형 이론 체계보다 훨씬 약하기 때문에 이것은 상황에 대한 흥미로운 정보입니다. (그러나 충분히 이상하게도 Prolog (1972)와 ML (1973)은 "그러한"전문가 시스템을위한 메타 언어로 의도 된 것으로, 내가 알 수있는 한 단순한 명제 논리를 뛰어 넘는 것 같습니다. 데이터베이스 관리를위한 1969)입니다 주장 술어 논리에 기반 할 수 있습니다.)

이 백서에 포함 된 주요 기술 발견은 이러한 확률 적 학습 개념을 통해 모든 부울 함수 클래스에 대해 수렴 학습이 가능하다는 것입니다. 이것은 학습이 신뢰할만한 추론을하기에 불충분 한 정보로부터 일부 일반적인 규칙을 "유도"하는 과정으로 여겨지는 전통적인 방법과이 접근법을 구별하는 것으로 보인다.

나는 여기에 전적으로 동의합니다. 솔루션이 주어진 문제를 어떻게 해결할 수 있는지, 어떤 의미에서 솔루션인지 설명 할 수 있어야합니다. 그렇지 않으면, 당신은 모호한 휴리스틱의 버그가있는 구현과 적절한 휴리스틱의 올바른 구현을 구별 할 수없는 "무료 점심"이론으로 끝납니다.

요약하면,이 논문은 알고리즘 복잡성에 의해 허용되는 것으로 학습 가능한 것의 한계를 탐구하려고 시도합니다. 결과는 앞서 언급 한 세 가지 특성 ((1)-(3))을 조정하려고 시도하기 때문에 학습에 관한 이전 연구의 다양한 본문과 구별됩니다. 우리의 접근 방식에 가장 가까운 것은 귀납적 추론 문헌이다 ...]. 통계 및 기타 도구를 사용하여 패턴 인식 및 분류에 대한 작업이 많이 있습니다 [...]. 형식적인 의미가 덜한 학습은 인공 지능의 한 분야로 널리 연구되어 왔습니다.

((1)-(3))의 속성은 (1) "기계가 특성화 가능한 개념의 전체 클래스를 입증 할 수있다"는 것입니다. 프로세스에는 실행 가능한 (다항식) 단계 만 필요합니다 ".


4

한도에서의 언어 식별 은 학습 성의 개념을 포착하려는 첫 번째 알려진 시도입니다. 1967 년 골드에서 소개되었으며 언어 학습에 관련된 귀납적 추론의 모델입니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.