딥 뉴럴 네트워크와 딥 러닝이 일반 인텔리전스를 달성하기에 부족한 이유는 무엇입니까?

딥 러닝 (DL) 및 딥 (er) 네트워크와 관련된 모든 것은 "성공적인"것처럼 보이며 최소한 매우 빠르게 진행되며 AGI에 도달했다는 신념을 배양합니다. 이것은 대중적인 상상력입니다. DL은 AGI 생성을 포함하여 많은 문제를 해결하기위한 엄청난 도구입니다. 그러나 충분하지 않습니다. 도구는 필요한 성분이지만 종종 불충분합니다.

도메인의 주요 인물은 다른 곳에서 진행하고 있습니다. 이 보고서 / 청구서 는 Yoshua Bengio , Yann LeCun 및 Geoff Hinton의 진술에 대한 링크를 수집합니다 . 이 보고서는 또한 다음을 설명합니다.

DL의 주요 약점은 다음과 같습니다. 가장 간단한 가능한 모델 뉴런 (LeCun이 호출하는대로 "만화")에 의존합니다. 에너지 기능과 로그 우도 방법의 기초 인 19 세기 통계 역학 및 통계의 아이디어 사용; 백프로 프 및 확률 론적 경사 하강과 같은 기법에서 이들의 조합으로, 매우 제한적인 적용 체제 (오프라인, 대부분의 배치, 감독 학습)로 이어지고, 재능이 많은 실무자 (일명 "Stochastic Graduate Descent")가 필요합니다. 훈련 데이터 및 계산 능력 인재를 유인하거나 구매하고 무제한 리소스를 배포하여 데이터를 수집하고 위기에 처할 수있는 대기업에게는 유용하지만 DL은 우리 대부분에게 접근하거나 유용하지 않습니다.

흥미롭고 관련성이 있지만 이러한 종류의 설명은 실제로 문제의 요점을 다루지 않습니다.

이 질문은 광범위 해 보이지만 간단한 대답이 없기 때문일 수 있습니다. DL이 AGI에 부족한 점을 정확히 지적하는 방법이 있습니까?

신경망을 다루는 사람은 시스템을 인간과 같은 지능과 비교할 때 중요한 요점을 놓칩니다. 인간은 성인 인간이 간신히 관리 할 수있는 문제를 해결할 수있을뿐 아니라 이해할 수있는 모든 것을하기 위해 수개월이 걸립니다. 인간의 뇌의 크기는 우리의 신경망에 비해 엄청납니다. 방향이 맞을 수도 있지만 스케일이 꺼져 있습니다. 인간 두뇌의 뉴런 수는 메모리별로 일치시킬 수 있지만 실시간 시뮬레이션을위한 병렬 처리량은 아직까지는 적어도 임의의 연구원에게는 달성 할 수 없습니다. 조금 오래되었지만 이것은 처리 능력이 얼마나 부족한 지에 대한 아이디어를 줄 수 있습니다.

딥 러닝은 주로지도 학습에서 성공하는 반면 뇌는 주로 비지도 감독 방식으로 범주를 만듭니다. 우리는 아직 그 방법을 모른다. ( Google 두뇌를 살펴보십시오 : 16,000 코어.이 모든 것이 할 수있는 일은 고양이와 사람의 얼굴을 아주 심하게 정확하게 인식하는 것입니다.)

딥 러닝은 고도로 구조화되지 않은 활성화를 사용합니다. 즉, 신경망 분류기에서 "개"와 "고양이"의 높은 수준의 표현은 전혀 유사 할 필요는 없습니다. 반면에 뇌는 억제 뉴런을 사용 하여 의미 론적 측면으로 분해 가능한 희소 분포 표현 을 만듭니다 . 그것은 아마도 비유에 의한 추상화와 추론에 중요 할 것입니다.

뇌에는 여러 부분이 함께 작용합니다. 딥 러닝 연구원은 메모리 또는주의 메커니즘을 아키텍처 에 통합하기 시작했습니다 .

뇌는 다양한 의미에서 정보를 통합합니다. 대부분의 Deep Learning 응용 프로그램은 텍스트 나 그림과 같은 한 가지 유형의 입력 만 사용합니다.

뇌는 서열을 범주로 모델링 할 수 있습니다. (기본적으로 모든 동사의 이름은 순차적 (즉, 시간적) 범주입니다.) 그런 다음이 범주를 장기 계층 계획으로 정렬 할 수 있습니다. 지금까지 나는 딥 러닝에서 그 방향으로 아무것도 보지 못했습니다.

또한 신경망은 아직 인간 두뇌와 같은 규모로 작동 할 수 없습니다. 이 질문에 대한 답을 살펴보면 인간의 뇌는 앞으로 수십 년 동안 뉴런 수보다 앞설 것입니다. 신경망은 유사한 성능 (높은 정확도로 인해)에 도달하기 위해 뇌와 동일한 수의 뉴런이 필요하지 않을 수 있지만, 예를 들어 비디오 처리는 여전히 입력 및 처리량 측면에서 꽤 제한적입니다.

IMHO의 첫 번째 장애물은 규모입니다 .Google의 가장 큰 DNN조차도 뇌의 규모에 가깝지 않으며 몇 배 정도의 요소입니다.

인간의 두뇌를 만드는 요소가 여전히 빠져 있다고 생각합니다. 서로 다른 많은 네트워크가 작동합니다.

명상이 두뇌의 시너지 효과를 높여인지 능력을 향상시키는 것처럼, 우리는 그것을 기계에도 적용 할 수 있습니다.

예를 들어 구글은 우리가 이미 배운 것을 강화하기 위해 꿈꾸는 컴퓨터를 배우고있다. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

그리고 여기 신경망의 네트워크 인 pathnet이 있습니다. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

이 모든 역학을 만들어서 충분한 힘으로 모아서 우리는 아주 가까워 질 것입니다!

오늘날 인공 지능 지지자들은 복잡한 문제를 빠르게 해결할 수있는 능력 인 컴퓨팅 문제에 중점을두고 있습니다. 이 방향에서 어떤 성공을 거두더라도 특정 영역에서 인간을 능가 할지라도 인간 (일반) 지능으로 이어지지는 않을 것이라고 생각합니다. 대신, 신경 학적 사건이 어떤 감각을 유발하는지 (Quilalia의 경험)에 대한 연구를 향해 노력해야한다. 물론 이것은 철학의 어려운 문제이지만 이것이 일반 지능과 그 능력의 유일한 열쇠라고 생각합니다. 리버스 엔지니어링 및 테스트 가능한 이론은이 목적을 위해 발전해야합니다.