딥 뉴럴 네트워크와 딥 러닝이 일반 인텔리전스를 달성하기에 부족한 이유는 무엇입니까?


11

딥 러닝 (DL) 및 딥 (er) 네트워크와 관련된 모든 것은 "성공적인"것처럼 보이며 최소한 매우 빠르게 진행되며 AGI에 도달했다는 신념을 배양합니다. 이것은 대중적인 상상력입니다. DL은 AGI 생성을 포함하여 많은 문제를 해결하기위한 엄청난 도구입니다. 그러나 충분하지 않습니다. 도구는 필요한 성분이지만 종종 불충분합니다.

도메인의 주요 인물은 다른 곳에서 진행하고 있습니다. 이 보고서 / 청구서Yoshua Bengio , Yann LeCunGeoff Hinton의 진술에 대한 링크를 수집합니다 . 이 보고서는 또한 다음을 설명합니다.

DL의 주요 약점은 다음과 같습니다. 가장 간단한 가능한 모델 뉴런 (LeCun이 호출하는대로 "만화")에 의존합니다. 에너지 기능과 로그 우도 방법의 기초 인 19 세기 통계 역학 및 통계의 아이디어 사용; 백프로 프 및 확률 론적 경사 하강과 같은 기법에서 이들의 조합으로, 매우 제한적인 적용 체제 (오프라인, 대부분의 배치, 감독 학습)로 이어지고, 재능이 많은 실무자 (일명 "Stochastic Graduate Descent")가 필요합니다. 훈련 데이터 및 계산 능력 인재를 유인하거나 구매하고 무제한 리소스를 배포하여 데이터를 수집하고 위기에 처할 수있는 대기업에게는 유용하지만 DL은 우리 대부분에게 접근하거나 유용하지 않습니다.

흥미롭고 관련성이 있지만 이러한 종류의 설명은 실제로 문제의 요점을 다루지 않습니다.

이 질문은 광범위 해 보이지만 간단한 대답이 없기 때문일 수 있습니다. DL이 AGI에 부족한 점을 정확히 지적하는 방법이 있습니까?


답변:


7

신경망을 다루는 사람은 시스템을 인간과 같은 지능과 비교할 때 중요한 요점을 놓칩니다. 인간은 성인 인간이 간신히 관리 할 수있는 문제를 해결할 수있을뿐 아니라 이해할 수있는 모든 것을하기 위해 수개월이 걸립니다. 인간의 뇌의 크기는 우리의 신경망에 비해 엄청납니다. 방향이 맞을 수도 있지만 스케일이 꺼져 있습니다. 인간 두뇌의 뉴런 수는 메모리별로 일치시킬 수 있지만 실시간 시뮬레이션을위한 병렬 처리량은 아직까지는 적어도 임의의 연구원에게는 달성 할 수 없습니다. 조금 오래되었지만 이것은 처리 능력이 얼마나 부족한 지에 대한 아이디어를 줄 수 있습니다.


이 간결한 답변에 감사드립니다. DL 기술로만 AGI 이상을 달성하는 데 크기 만 중요하다고 말하는가? 크기는 중요하지만 아직 누락 된 부분이 있습니다. (이 단락에서 말장난은 전적으로 의도 된 것입니다).
Eric Platon

1
예를 들어, 셀룰러 오토마타 라 볼프람을 고려해 봅시다. 매우 간단하지만 놀라운 복잡성을 초래합니다.
Eric Platon

양자 처리는 어떤 형태로든이 처리 문제에 제안 된 솔루션 중 하나입니까?
DukeZhou

양자 처리는 한 시점에서 결정에 도달하는 데 사용될 수 있지만 인간의 뇌 에서처럼 연속적인 흐름을 시뮬레이션하는 데 사용될 수는 없습니다. 시스템이 관측되면 양자 파형이 무너져 본질적으로 느린 순차 시스템으로 줄입니다.
Cem Kalyoncu

1
@CemKalyoncu 실제로. 그러나 코끼리는 인간보다 거의 3 배나 많다 . 크기 주장은 중요하지만 크기만으로는 충분하지 않은 것 같습니다.
Eric Platon 2012

6

딥 러닝은 주로지도 학습에서 성공하는 반면 뇌는 주로 비지도 감독 방식으로 범주를 만듭니다. 우리는 아직 그 방법을 모른다. ( Google 두뇌를 살펴보십시오 : 16,000 코어.이 모든 것이 할 수있는 일은 고양이와 사람의 얼굴을 아주 심하게 정확하게 인식하는 것입니다.)

딥 러닝은 고도로 구조화되지 않은 활성화를 사용합니다. 즉, 신경망 분류기에서 "개"와 "고양이"의 높은 수준의 표현은 전혀 유사 할 필요는 없습니다. 반면에 뇌는 억제 뉴런을 사용 하여 의미 론적 측면으로 분해 가능한 희소 분포 표현 을 만듭니다 . 그것은 아마도 비유에 의한 추상화와 추론에 중요 할 것입니다.

뇌에는 여러 부분이 함께 작용합니다. 딥 러닝 연구원은 메모리 또는주의 메커니즘을 아키텍처 에 통합하기 시작했습니다 .

뇌는 다양한 의미에서 정보를 통합합니다. 대부분의 Deep Learning 응용 프로그램은 텍스트 나 그림과 같은 한 가지 유형의 입력 만 사용합니다.

뇌는 서열을 범주로 모델링 할 수 있습니다. (기본적으로 모든 동사의 이름은 순차적 (즉, 시간적) 범주입니다.) 그런 다음이 범주를 장기 계층 계획으로 정렬 할 수 있습니다. 지금까지 나는 딥 러닝에서 그 방향으로 아무것도 보지 못했습니다.

또한 신경망은 아직 인간 두뇌와 같은 규모로 작동 할 수 없습니다. 이 질문에 대한 답을 살펴보면 인간의 뇌는 앞으로 수십 년 동안 뉴런 수보다 앞설 것입니다. 신경망은 유사한 성능 (높은 정확도로 인해)에 도달하기 위해 뇌와 동일한 수의 뉴런이 필요하지 않을 수 있지만, 예를 들어 비디오 처리는 여전히 입력 및 처리량 측면에서 꽤 제한적입니다.


여기에도 흥미로운 점이 있습니다. 감사합니다. 여기서 내가 걱정하는 것은 대조 과정 ([딥] 학습)과 구조 (네트워크 또는 뇌의)입니다. 이 추세가 맞다면 AGI는 우리가 가진 것에 기반한 시간 문제 일뿐입니다. 딥 네트워크에서 의미 론적 문제에 대해 언급했을 것입니다. 아마도 적대적 모델에서 가장 잘 보입니다. 이것은 무언가 가 빠졌음을 나타내며이 답변에서 가장 좋은 주장 중 하나입니다. 현재 구조가 충분하지 않다는 것을 이해합니다 (즉, 초기 메모리 모델). 그러나 이것은 "이유"문제를 간접적으로 해결합니다. 답을 다듬는 방법이 있습니까?
Eric Platon

ML 게임에 대한 최근의 "광학 전용"접근 방식이 감독 학습에서 벗어나려고 하는가?
DukeZhou

@ DukeZhou : RL 기술이 감독되지 않은 학습에서 역할을 할 수 있다고 생각하지만 지금은 RL이 아직 높은 수준의 개념을 배우지 않는 것 같습니다.
BlindKungFuMaster

1
@EricPlaton : 귀하의 의견을 잘 모르겠습니다. 내가 놓친 것은 1. 구조와 2. 규모입니다. 물론 알고리즘이지만 구조와 얽혀 있습니다.
BlindKungFuMaster

3

IMHO의 첫 번째 장애물은 규모입니다 .Google의 가장 큰 DNN조차도 뇌의 규모에 가깝지 않으며 몇 배 정도의 요소입니다.


2

인간의 두뇌를 만드는 요소가 여전히 빠져 있다고 생각합니다. 서로 다른 많은 네트워크가 작동합니다.

명상이 두뇌의 시너지 효과를 높여인지 능력을 향상시키는 것처럼, 우리는 그것을 기계에도 적용 할 수 있습니다.

예를 들어 구글은 우리가 이미 배운 것을 강화하기 위해 꿈꾸는 컴퓨터를 배우고있다. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

그리고 여기 신경망의 네트워크 인 pathnet이 있습니다. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

이 모든 역학을 만들어서 충분한 힘으로 모아서 우리는 아주 가까워 질 것입니다!


"그것"이 무엇인지 명확히 할 수 있습니까? 딥 러닝 또는 똑같이 딥 네트워크의 프로세스 일 수 있습니다. 이것들은 다릅니다.
Eric Platon

1
둘 다 심층 신경망이 주로 작동하지만 DNN도 신경 가소성 기능이 우수해야한다고 생각합니다. 그러나 이것은 우리가 기본을 만질 수있는 것입니다. 인간의 뇌가 정확히 어떻게 작동하는지조차 알지 못합니다
Alexander

1

오늘날 인공 지능 지지자들은 복잡한 문제를 빠르게 해결할 수있는 능력 인 컴퓨팅 문제에 중점을두고 있습니다. 이 방향에서 어떤 성공을 거두더라도 특정 영역에서 인간을 능가 할지라도 인간 (일반) 지능으로 이어지지는 않을 것이라고 생각합니다. 대신, 신경 학적 사건이 어떤 감각을 유발하는지 (Quilalia의 경험)에 대한 연구를 향해 노력해야한다. 물론 이것은 철학의 어려운 문제이지만 이것이 일반 지능과 그 능력의 유일한 열쇠라고 생각합니다. 리버스 엔지니어링 및 테스트 가능한 이론은이 목적을 위해 발전해야합니다.


1
Quaila가 quaila 자체가되는 것을 제외하고 (우리는 사람들이이 기계에 대한 권한을 부여 할 경우 특히) 기계가 할 흥미로운 특성 수 있지만 수있는 매우 철학 어려운 문제, 놀이에 두 가지 문제가있다. (A) 지능 자체는 qua 라를 필요로하지 않을 수 있으며, 주관적인 일인칭 경험, 즉 철학적 좀비가 없어도 영리 할 수 ​​있습니다.
왼쪽 SE에서 10_6_19

(B) 산업은 복잡한 문제를 빠르게 해결하는 데에만 관심이 있으며, 빠른 기계가 생각하거나 느낄 수 있는지에 대해 실제로 걱정하지 않습니다. AGI는 복잡한 문제를 신속하게 해결할 수있는 정도로만 필요합니다 ... 지성은 끝까지의 수단 일뿐입니다. (예 : 기계 권한을받을 자격이 수 있으므로 사실, 산업이하는 생각과 느낌 기계를 원하지 않을 수도 있습니다 ... 그리고 권리는 기업이 자신의 도구로 무엇을 할 수 제한, 좀 규정 등이있다.)
왼쪽 SE에 10_6_19
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.