이론을 증명하기 위해 딥 네트워크를 훈련시킬 수 있습니까?

1 차 술어 미적분학에 많은 수의 증거가 있다고 가정하십시오. 우리는 또한 그 형태의 수학 영역에 공리, 목록, 정리가 있다고 가정하자.

입증 된 각각의 명제와 해당 특정 명제를 둘러싼 기존 이론의 본문을 훈련 세트에서 예로 제시하고 관련 레이블로서 명제에 대한 알려진 좋은 증거를 고려하십시오. 이제이 예제 세트를 학습하도록 특별히 설계된 딥 인공 네트워크와 하이퍼 파라미터가 올바르게 설정되었습니다.

새로운 제안과 그것을 둘러싼 기존 이론이 입력에서 1 차 술어 미적분학으로 제시되는 방식으로 깊은 인공 네트워크를 훈련시킬 수 있습니까?

(물론 그러한 증명은 수동으로 확인해야합니다.)

좋은 증거의 비율이 충분히 높으면 훈련 된 딥 네트워크에 제안을 제안하는 유전자 알고리즘을 만들어서 증거를 만들 수 있습니까?

가능합니까?

이러한 종류의 딥 네트워크 디자인을 사용하여 Collatz 추측 또는 Riemann 추측을 해결하거나 수학자가 합법적 인 증거에 더 잘 도달 할 수있는 방식으로 패턴을 재 배열 할 수 있습니까?

지난 수십 년 동안 개발 된 기존 프로덕션 시스템에는 추론 규칙이 코딩되어 있습니다. Leibniz의 비전을 바탕으로 모든 고전 논리를 기호 언어로 인코딩하고 기계적으로 처리 할 수 ​​있습니다. 1 차 술어 논리가 개발되었고 명명법이 공식화되었습니다.

자동 정리 증명의 비전은 괴델의 두 불완전 성 정리에 의해 상당히 도전을 받았지만, 튜링의 완전성 작업과 폰 노이만 (Von Neumann)에 의해 실제로 그것을 실현하기위한 아키텍처의 개발은 기계적인 추론 과정을 자동화하는 작업을 되살 렸습니다.

Minsky 시대에 MIT의 AI 연구소는 그러한 노력으로 살아 있었지만, 조합 폭발이라고 불리는 것은 사소한 복잡성에 대한 임의의 이론을 자동으로 증명하는 데 필요한 공간을 검색하기에 컴퓨팅 리소스 가용성이 충분하지 않은 것으로 나타났습니다. 연결 규칙이라고하는 대형 병렬 컴퓨터와 메타 규칙과 휴리스틱 방식을 사용하는 다양한 체계가 결합 폭발 문제를 극복하기 위해 사용되었습니다.

인공 네트워크가 도입되었고 LISP 커뮤니티가 처음 제안했을 때 생산 기계와 경쟁 할 수 있다는 아이디어가 엉망이되었습니다. 그러나 컴퓨팅 리소스를 늘리는 데 상당한 성공을 거두었고 최근 머신 러닝의 성과를 달성하기 위해 많은 사람들이 20 세기에 제기 된 질문을하기 시작했습니다.

우리는 인공 네트워크가 임의의 논리 및 대수 함수를 배울 수 있다는 것을 이미 알고 있습니다. ¹ 적절한 학습 환경이 주어지면 논리 추론을 배우는 것은 대뇌 피질이 현재 진화하는 시점에서 할 수있는 일입니다. 신경망이 그인지 수준에 도달 할 수 있는지 여부는 많은 사람들이 요구하는 공개적인 질문입니다.

주류 AI 및 머신 러닝 연구는 논리적 추론 규칙의 인공 네트워크 획득에 초점을 맞추지 않고 있습니다. DRools 및 기타 일반적으로 사용되는 다른 생산 시스템과 같은 시스템에이를 프로그래밍하는 것이 더 합리적인 접근 방식이 항상 그런 것은 아니라고 생각하기 때문입니다. 문제는 다른 솔루션이 이미 존재하는 경우 흥미롭지 만 확실히 비싼 것을 수행하기에 충분한 투자 수익이 있는지 여부입니다.

이 질문은 AI가 수학에서 얼마나 좋은지에 대한 또 다른 인공 지능 스택 교환 질문과 유사합니다. 주어진 답변 중 하나가 여기에 적용됩니다.

AI에 대한 최근의 관심은 정부 지출뿐만 아니라 상업 지출도 재 확보했기 때문에이 기간 동안 어떤 접근 방식도 무시하지 않는 것이 중요합니다. 이러한 지출은 인력, 컴퓨팅 능력 및 이전에는 극복 할 수 없었던 장애물을 극복하기위한 인센티브를 증가시킵니다.

각주

[1] PAC Learning은 주어진 모델을 사용하여 학습 할 수있는 가설 클래스의 특징과 학습 프로세스의 예상 정확도 및 신뢰도를 고려하여 학습 알고리즘의 실제 계산 가능성을 결정하기위한 프레임 워크입니다.

일반적으로 아이디어가 실현 가능할 수 있지만 신경망은 아마도이 문제를 탐색하는 데 사용 하는 잘못된 고급 도구 일 것입니다 .

신경망의 강점은 입력을 출력에 매핑 할 때 매우 비선형 솔루션을 허용하는 내부 표현을 찾는 데 있습니다. 우리가 신경망을 훈련시킬 때, 그 매핑들은 예제의 반복을 통해 통계적으로 학습됩니다. 이것은 훈련 세트와 유사한 데이터가 주어 졌을 때 잘 보간 되지만 잘못 추정 하는 모델을 생성하는 경향이 있습니다 .

신경망 모델에는 컨텍스트가 부족하여 생성 모델 (예 : 유효하거나 흥미로운 증거를 생성하는 시퀀스에 대해 훈련 된 RNN)을 사용하면 통계적으로 만족 스럽지만 의미없는 쓰레기를 쉽게 생성 할 수 있습니다.

필요한 것은 조합 방식으로 증거를 탐색하고 확인할 수있는 구성 원칙입니다. 실제로 귀하의 아이디어와 같은 것이 이미 두 번 이상 수행되었지만 현재 참조를 찾을 수 없습니다.

이 중 어느 것도 인공 지능 내에서 증명을 검색하는 신경망 사용을 중단시키지 않습니다. 수학 AI 내에 검색을 안내하는 데 좋은 휴리스틱이 필요한 장소가있을 수 있습니다. 예를 들어 문맥 X는 재미 있거나 관련성이있을 것입니다. 우도 점수 평가 는 신경 네트워크가 넓은 AI 방식의 일부로서 할 수있는 일. 이는 신경망이 강화 학습과 결합되는 방식과 유사합니다.

원칙적으로 신경망에서 아이디어 전체를 구축하는 것이 가능할 수 있습니다. 결국, 인간의 추론이 생물학적 뉴런을 사용하여 유사하게 작동한다고 의심 할만한 이유가 있습니다 (인공적인 것이이 두 가지 방식과 일치 할 수 있음이 입증되지 않았습니다). 그러나 이러한 시스템의 아키텍처는 최신 NN 설계 또는 교육 설정을 뛰어 넘습니다. 충분한 레이어를 추가 한 다음 데이터를 공급하는 것만으로는 문제가되지 않습니다.

우리가 아는 것

세계 은행 (World Bank) 페이지 에 따르면 , "현재 1998 년의 8,900 만 명에서 증가한 약 2 억 명의 고등학생이 있습니다." 수학 요건으로 100 명 중 1 명 이상이 정리 증명을 개발하고 40 년 이상 후에 살아야했습니다.

정리를 증명할 수있는 최소한 2 천만 개의 신경망이 있지만, 긍정적으로이 질문에 답할 수있는 예는 부족합니다. 이러한 신경망은 인공적인 것이 아니라 생물학적이며 Collatz 추측이나 Riemann 추측이 아니라 이전에 입증 된 이론으로 대부분 입증되었습니다.

무엇을 믿는가

심층 Q- 러닝 및주의 기반 장치는 인간 두뇌의 기능이 시뮬레이션되고 아마도 능가 될 때까지 다른 학습 시스템 설계에 의해 결합 될 것이라고 믿는 사람들은 그러한 인간 능력 중 하나로 증명되는 정리를 포함 할 것입니다. 이들은 인공 시스템에서 달성 될 또 다른 복잡한인지 기능으로 술어 논리와 추론을 선언 할 것입니다.

일부 기능이 인간에게 부여되어 예약 된 기능이라고 믿는 사람들은 술어 논리와 추론을 인간에게만 예약 된 것으로 선언 할 수 있습니다.

진행 상황

술어 논리와 추론을 사용하여 가장 간단한 증거까지도 입증 할 수있는 능력을 나타내는 학술 논문은 없습니다. 정부 또는 민간 기업이 어느 정도의 성공을 거두었을 가능성이 있지만, 아직 공개되지 않았습니다.

인공 네트워크가 눈에 띄게 개발된다면 생산 또는 규칙을 기반으로하는 AI 시스템이 가장 효과적인 영역에서 생산 시스템을 능가 할 수 있다는 아이디어는 AI 개발 초기에 제안되었습니다. 그 당시에는 논쟁이되었고 지금은 논쟁이되었지만, 그 주장은 수학적이지 않으므로 불가능하다는 강력한 증거는 없습니다.

확실히 인간 사고의 다른인지 적 측면은 AI 연구의 중요한 목표입니다. 대화, 자동화 된 교육, 계획, 전략적 분석 및 차량 조종은 DQN보다 더 많은 것을 요구하고 관심 기반 네트워크 접근 방식이 제공 할 수있는 고등 생각의 모든 측면이지만, 이러한 분야의 연구 노력은 가치 있고 자금이 충분합니다.

잠재적 인 접근

논리적인지 능력에 대한 연구는 문제에서 언급 된 추측보다 훨씬 간단한 증거를 이미 시작해야합니다. 예를 들어, 음이 아닌 두 정수의 합이 음이 아닌 다른 정수 여야한다는 것이 입증되었습니다. 술어 미적분에서, 이는 문자열로 표시 될 수 있습니다.

$\forall a∈C, b∈C: s=a+b \implies s∈C$

a와 b는 계산 숫자 집합의 구성원이며 두 숫자의 합으로 정의 된 s는 계산 숫자 집합의 구성원이어야한다고 말합니다. 그 증거는 1 차 술어 미적분의 일련의 문자열로 표현 될 수도 있습니다.

소규모 연구 프로젝트 없음

이러한 예는 수년간의 수학 과정을 수료하고 증거를 작성한 사람에게는 단순 해 보일 수 있습니다. 어린이에게는 간단하지 않으며 인공 지능 네트워크가 모든 논리적 추론 규칙을 적용하고 정수 산술과 같은 공식 시스템의 증거에 도달하기위한 메타 규칙을 통합하는 함수로 수렴하는 것은 매우 어렵습니다.

RNN과 같은 완벽한 네트워크는 MLP (Multilayer Perceptron)보다 확실히 이점이 있습니다. 주의 기반 네트워크는 합리적인 연구 옵션이 될 수 있습니다. 아래 참고 문헌에 표시된 다른 것들이 있습니다.

입력 벡터가 수백 킬로바이트 일 수 있기 때문에 병렬 컴퓨팅 플랫폼이 연구에 필요할 것입니다. 연구 과정에 1 ~ 2 년이 걸리지 않으면 예제의 크기와 필요한 횟수는 추정하기가 어렵습니다.

계산 숫자, 더하기 부호 및 등호의 정의를 먼저 정의해야하며, 이러한 정의와 다수의 공리, 가정, 명예 및 목록은 제안서와 같은 공식적인 형식으로 입력 예제의 일부 여야합니다. 그 제안과 함께 위에서 입증되었습니다.

그것은 하나의 예만을 준비하는 일입니다. 딥 네트워크에 대한 추론 규칙에 대한 직관적 인 지식을 훈련하려면 수천 명이 필요합니다. (나는 이론적 인 이유로 잘 설명하기 위해 적어도 100 페이지가 걸리는 매우 직관적 인 단어를 선택했다.)

예제 데이터 세트가 최소 수천 건의 사례를 가져야하기 때문에 소규모 프로젝트는 아니며 각 사례는 이론을 공유 할 수 있지만 제안서가 완벽하게 구성되고 필요한 이론 본문도 제시되도록 설정해야합니다. 각 훈련 반복에 대한 입력에서 완벽한 형태로.

제 생각에는 간단한 수학 제안에 대한 응답으로 실행 가능한 증거를 제공하기 위해 네트워크를 훈련시키기 위해 딥 네트워크, 수렴 및 술어 미적분학에 대한 적절한 이해를 갖춘 밝은 연구원 팀이 필요합니다.

그러나 그것은 작은 성취가 아닐 것입니다

그것은 일부 사람들에게는 터무니없는 노력처럼 보일지 모르지만, 누군가가 컴퓨터에게 논리적이되는 법을 가르친 것은 처음 일 것입니다. 유기체, 소크라테스에 대한 논리적 추론을 가르치기 위해서는 지구 시대 바로 자연이 필요했습니다.

사람들은 컴퓨터가 컴퓨터가 논리적이라는 설계 상 로직을 수행하는 디지털 회로로 구성되어 있다고 가정합니다. 재미 나 돈을 위해 해킹하는 것보다 더 깊이 생각하는 경향이있어 수십 년 동안 소프트웨어 개발에 종사해 온 사람은 다르게 알고 있습니다. 신중한 프로그래밍 후에도 컴퓨터는 논리적 추론을 시뮬레이션하지 않으며 임의의 버그에 대해 자체 프로그래밍 된 동작을 수정할 수 없습니다. 실제로 오늘날 대부분의 소프트웨어 개발은 ​​버그 수정입니다.

논리적 사고를 시뮬레이션하는 것은인지와 더 넓은 인간 능력을 시뮬레이션하기위한 주요 단계 일 것입니다.

참고 문헌

질문 답변을위한 신경망 구성 학습 Jacob Andreas, Marcus Rohrbach, Trevor Darrell 및 Dan Klein UC, Berkeley 2016 https://arxiv.org/pdf/1601.01705.pdf

여러 층의 표현을 배우기 2007 토론토 대학교 컴퓨터 공학과 Geoffrey E. Hinton학과 http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf

신경 튜링 머신 (슬라이드 쇼) 저자 : Alex Graves, Greg Wayne, Ivo Danihelka 발표자 : Tinghui Wang (Steve) https://eecs.wsu.edu/~cook/aiseminar/papers/steve.pdf

신경 튜링 기계 (종이) Alex Graves, Greg Wayne, Ivo Danihelka https://pdfs.semanticscholar.org/c112/6fbffd6b8547a44c58b192b36b08b18299de.pdf 2014

강화 학습, 신경 튜링 머신 Wojciech Zaremba, Ilya Sutskever ICLR 회의 논문 https://arxiv.org/pdf/1505.00521.pdf?utm_content=buffer2aaa3&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 2016

연속적이고 불연속적인 어드레싱 기법을 갖춘 동적 신경 튜링 머신 Caglar Gulcehre1, Sarath Chandar1, Kyunghyun Cho2, Yoshua Bengio1 https://arxiv.org/pdf/1607.00036.pdf 2017

온라인 자체 구축 신경 퍼지, 추론 네트워크 및 애플리케이션 Chia-Feng Juang 및 Chin-Teng Lin IEEE 퍼지 시스템에서의 트랜잭션, v6, n1 1998 https://ir.nctu.edu.tw/bitstream/11536/ 32809 / 1 / 000072774800002.pdf

게이트 그래프 시퀀스 신경망 Yujia Li 및 Richard Zemel ICLR 회의 논문 2016 https://arxiv.org/pdf/1511.05493.pdf

사람처럼 배우고 생각하는 빌딩 머신 Brenden M. Lake, Tomer D. Ullman, Joshua B. Tenenbaum 및 Samuel J. Gershman 행동 및 뇌 과학 2016 https://arxiv.org/pdf/1604.00289.pdf

어휘, 음성 및 언어 처리에 대한 IEEE Transactions https://s3.amazonaws.com/ 대규모 음성 어휘 인식을위한 상황에 따라 사전 훈련 된 심층 신경망 academia.edu.documents / 34691735 / dbn4lvcsr-transaslp.pdf? AWSAccessKeyId = AKIAIWOWYYGZ2Y53UL3A & Expires = 1534211789 & Signature = 33QcFP0JGFeA % 2FTsqjQZpXYrIGm8 % 3D & response-content_disposition_distributed_distributed_distributed_distributed_distributed- 디스플레이 라인 _ % 3D 상세 _ 배지

지식 기반의 학습 및 추론을위한 엔티티 및 관계 포함 Bishan Yang1, Wen-tau Yih2, Xiaodong He2, Jianfeng Gao2 및 Li Deng2 ICLR 컨퍼런스 논문 2015 https://arxiv.org/pdf/1412.6575.pdf

Deep Belief Nets를위한 빠른 학습 알고리즘 Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh (Yann Le Cun과 통신) 신경 계산 18 2006 http://axon.cs.byu.edu/Dan/778/papers/Deep % 20Networks / hinton1 * .pdf

FINN : 빠르고 확장 가능한 이진 신경망 추론을위한 프레임 워크 Yaman Umuroglu, et al 2016 https://arxiv.org/pdf/1612.07119.pdf

기계 학습에서 기계 추론으로 Léon Bottou 2011 년 2 월 8 일 https://arxiv.org/pdf/1102.1808.pdf

딥 러닝 Yann LeCun1,2, Yoshua Bengio3 & Geoffrey Hinton4,5 Nature vol 521 2015 https://www.evl.uic.edu/creativecoding/courses/cs523/slides/week3/DeepLearning_LeCun.pdf

가능하지만 좋은 생각은 아닙니다.

논리적 증거는 AI의 가장 오래된 영역 중 하나이며, 통계적 추론에 의존하지 않기 때문에 훈련 할 필요가없고 신경망 접근 방식보다 신뢰할 수있는 특수 목적 기술이 있습니다. 대신 수학자 친구 인 연역적 추론을 사용하십시오.

주요 분야는 " 자동 정리 증명 (Automated Theorem Proving) "으로 불리며 , 연구 분야로 조금만 계산 될 정도로 오래되었습니다. 혁신은 많지 않지만 일부 사람들은 여전히 ​​노력하고 있습니다.

기본 개념은 정리 증명은 고전적이거나 경험적 가이드 검색이라는 것입니다. 허용되는 구내로 구성된 주에서 시작합니다. 그런 다음 유효한 논리적 추론 규칙을 적용하여 사실이어야하는 새로운 구내를 생성하여 지식의 범위를 넓 힙니다. 결국, 폭 넓은 우선 검색 또는 반복 심화 와 같은 열거 검색 또는 도메인 별 휴리스틱을 사용하는 A * 와 같은 검색을 통해 원하는 전제를 증명할 수 있습니다 . 많은 솔버도 하나의 논리 규칙 ( 통일 ) 만 사용하기 때문에 완전하고 검색의 분기 요소를 줄입니다.