인공 신경망에서 인간의 뇌에 대해 무엇을 배울 수 있습니까?

질문 / 제목이 구체적이지 않다는 것을 알고 있으므로 다음과 같이 정리하려고합니다.

인공 신경망은 비교적 엄격한 디자인을 가지고 있습니다. 물론, 그들은 일반적으로 생물학의 영향을 받아 실제 신경망의 수학적 모델을 구축하려고 시도하지만 실제 신경망에 대한 우리의 이해는 정확한 모델을 만들기에는 충분하지 않습니다. 따라서 실제 신경망에 "가까운"정확한 모델이나 어떤 것도 상상할 수 없습니다.

내가 아는 한, 모든 인공 신경망은 실제 신경망과는 거리가 멀다. 생물학에 고전적인 완전 연결된 MLP는 존재하지 않습니다. 재발 성 신경망에는 실제 신경 가소성이 결여되어 있으며 RNN의 각 뉴런은 동일한 "피드백 아키텍처"를 갖지만 실제 뉴런은 정보를 개별적으로 저장하고 공유합니다. 컨볼 루션 신경망은 효과적이고 대중적이지만 (예를 들어, 인간 두뇌의 이미지 처리는 컨볼 루션 레이어로만 구성되는 반면, GoogLeNet과 같은 현대적인 솔루션은 이미 수십 개의 레이어를 사용합니다. 비록 컴퓨터에서 훌륭한 결과를 내고 있지만) 그들은 인간의 성과에 가깝지 않습니다. 특히 "계층 당 성능"을 생각할 때 실제 신경망에 비해 상당히 많은 양의 레이어와 데이터 감소가 필요하기 때문에.

또한, 내 지식으로는, 모듈 식, 자기 확장 / 자기 재구성 인공 신경 네트워크조차 실제 신경 네트워크의 거대한 적응성과 비교하여 "고정 및 정적"이다. 생물학적 뉴런은 일반적으로 뉴런을 다양한 다른 영역 및 다른 뉴런에 연결하는 수천 개의 수상 돌기를 가지고 있습니다. 인공 신경망은 훨씬 "직선"입니다.

인공 신경망에서 인간의 뇌와 실제 신경망에 관해 배울 수있는 것이 있습니까? 아니면 고전적인 정적 알고리즘보다 성능이 우수한 소프트웨어를 만들려고 시도합니까 (또는 그러한 알고리즘이 실패하는 경우에도 해당)?

누군가이 주제에 관해 (바람직하게 과학적인) 출처를 제공 할 수 있습니까?

편집 : 더 많은 답변을 높이 평가합니다 (:

언급했듯이 대부분의 신경망은 뇌의 일반적인 간단한 추상화를 기반으로합니다. 가소성과 같은 특성을 모방하는 데 부족할뿐만 아니라 실제 뉴런처럼 신호와 타이밍을 고려하지 않습니다.

최근의 인터뷰에서 귀하의 특정 질문, 빅 데이터 및 기타 거대한 엔지니어링 노력의 망상에 관한 기계 학습 Maestro Michael Jordan 이 적절하다고 느꼈습니다 .

그러나 신경 과학의 경우 깊은 원리를 이해하려면 수십 년 또는 수백 년이 걸리는 것이 사실입니다. 매우 낮은 수준의 신경 과학에서 진전이 있습니다. 그러나인지 능력,인지 방법, 기억 방법, 행동 방식 등의 문제에 대해 뉴런이 정보를 저장하는 방법, 정보가 어떻게 계산되는지, 규칙이 무엇인지, 알고리즘이 무엇인지, 표현이 무엇인지, 등. 따라서 우리는 아직 지능 시스템의 구축을 안내하기 위해 뇌에 대한 이해를 사용할 수있는 시대가 아닙니다.

인공 신경망에서 뇌 기능에 대해 지금까지 배운 것은 많지 않습니다. [설명 : 나는 기계 학습에 사용되는 신경망에 대해이 답변을 썼습니다; @MattKrause (+1)는 일부 생물학적 신경 현상의 신경망 모델 이 많은 경우에 도움이되었을 수도 있습니다.] 그러나 이것은 기계 학습에서 인공 신경망에 대한 연구가 다소 제프리 힌튼 (Geoffrey Hinton)이 거의 한 손으로 전체 분야를 다시 시작하여 지금까지 수십억 달러를 끌어들이는 2006 년 경까지의 침체.

Hinton 은 Google에서 Brains, Sex, and Machine Learning (45:30) 이라는 강의에서 인공 신경망이 [대부분의] 뉴런이 아날로그 신호가 아닌 스파이크와 통신하는 이유에 대한 힌트를 제공 할 수 있다고 제안했습니다. 즉, 급락은 드롭 아웃과 유사한 정규화 전략으로 볼 것을 제안합니다. 드롭 아웃은 주어진 경사 하강 단계에서 가중치의 일부만 업데이트 될 때 과적 합을 방지하기 위해 최근에 개발 된 방법입니다 ( Srivastava et al. 2014 참조 ). 분명히 그것은 잘 작동 할 수 있으며 Hinton은 아마도 스파이크 (즉, 주어진 순간에 침묵하는 대부분의 뉴런)가 비슷한 목적을 수행한다고 생각합니다.

나는 신경 과학 연구소에서 일하고 있으며 힌튼의 주장에 확신하는 사람은 아무도 모른다. 배심원은 아직 출석하지 않았으며 (아마도 꽤 오랫동안 퇴출 될 예정 임) 적어도 인공 신경망이 뇌 기능에 대해 잠재적으로 가르쳐 줄 수있는 예입니다 .

인간의 뇌가 단지 "몇 개의"컨볼 루션 레이어만을 사용한다는 것은 사실이 아닙니다. 영장류 뇌의 약 1/3은 어떻게 든 시각 정보 처리에 관여합니다. 펠레 만 (Felleman)과 반 에센 (Van Essen ) 의이 다이어그램 은 시각에서 정보가 원숭이 뇌를 통해 어떻게 흘러가는지에 대한 대략적인 개요입니다.

이 상자들 각각은 해부학 적으로 정의 된 영역으로, 몇 가지 처리 단계 (대부분의 경우 실제 레이어)를 포함합니다. 다이어그램 자체는 25 세이며, 무엇이든 상자가 많고 줄이 더 많다는 것을 알게되었습니다.

이다 깊은 학습 많은 일이 더 몇 가지 기본 신경 진실을 기반으로보다 뇌 "막연하게 영감"것이 사실. "딥 러닝"은 또한 "로지스틱 로지스틱 회귀"보다 훨씬 더 섹시하게 들리는 이점이 있습니다.

그러나 신경 네트워크의 수학적 모델은 뇌에 대한 우리의 이해에 많은 기여를했습니다. 극단적으로 일부 모델은 알려진 생물학과 생물 물리학을 정확하게 모방하려고 시도합니다. 여기에는 일반적으로 개별 이온 및 해당 흐름에 대한 용어가 포함됩니다. 일부는 실제 뉴런의 3D 재구성을 사용하여 모양을 제한합니다. 관심이 있다면 ModelDB 에는 많은 모델 모음과 관련 서적이 있습니다. 대부분 무료 NEURON 소프트웨어를 사용하여 구현됩니다 .

근본적인 생물 물리학에 대해 너무 걱정하지 않고 특정 행동 또는 신경 생리 학적 효과를 모방하려고 시도하는 대규모 모델이 있습니다. Connectionist 또는 Parallel-Distributed-Processing 모델은 1980 년대 후반과 1990 년대에 특히 인기가 있었고 현재 기계 학습 응용 프로그램에서 찾을 수있는 것과 유사한 모델을 사용했습니다 (예 : 생체 물리학, 간단한 활성화 기능 및 고정 관념 연결이 없음). 심리적 과정. 우리가 더 강력한 컴퓨터와 더 나은 훈련 전략을 가지고 지금 복귀 할 수 있을지 궁금해하지만, 이들은 다소 유행에 빠지지 않았습니다. (아래 편집 참조)

마지막으로, 중간에 어딘가에 "현상학"과 생물학적 세부 사항 (예를 들어, 특정 특성을 가지고 있지만 염화물 채널의 정확한 분포를 갖지 않는 명시 적으로 억제되는 용어)을 포함하는 많은 연구가 있습니다. 예를 들어 Xiao Jing Wang (및 다른 많은 사람들의 작품)과 같은 많은 현재 작업 이이 범주에 적합 합니다.

편집 :이 글을 쓴 이후로 (실제) 시각 시스템을 객체 인식 작업에 대해 훈련 된 심층 신경망과 비교하는 작업이 폭발적으로 일어났습니다. 놀라운 점이 몇 가지 있습니다. 신경망의 첫 번째 계층에있는 커널은 기본 시각 피질의 커널 / 수용 필드와 매우 유사하며 이후 계층은 더 높은 가시 영역의 수용 필드와 유사합니다 ( 예 : Nikolaus Kriegeskorte의 작업 참조 ). 신경망을 재 훈련하면 광범위한 행동 훈련에 비슷한 변화가 발생할 수 있습니다 (Wenliang and Seitz, 2018) . DNNs 인간은 때때로 - 그러나 항상하지 너무 오류가 유사한 패턴을 --make.

현재 실제 신경 네트워크와 인공 신경 네트워크 사이의 유사성, 구체적으로 이미지에 관한 것 [*], 또는 모든 줄무늬의 신경 네트워크가없는 경우에도 패턴을 찾는 경향을 반영하는지 여부는 여전히 불분명합니다. 그럼에도 불구하고이 두 가지를 비교하는 것은 점점 더 뜨거운 연구 분야가되었으며 우리는 그로부터 무언가를 배울 것 같습니다.

* 예를 들어, CNN의 초기 시각 시스템 / 첫 번째 레이어에 사용 된 표현은 자연스러운 이미지를위한 최적의 희소 기반입니다.

우리가 실제로 배운 것은 스파 스 활성화와 선형 정류 활성화 함수의 사용입니다. 후자는 기본적으로 한 가지 이유인데, 왜 이런 종류의 활성화 기능을 사용하면 신경망을 호출하는 데 사용하는 인공 계산 네트워크에 대한 훈련 비용이 급격히 줄어들 기 때문에 소위 신경망에 관한 활동이 폭발적으로 증가한 이유가 있습니다.

우리가 배운 것은 시냅스와 뉴런이 이런 식으로 구축되는 이유와 왜 바람직한 지입니다. 이러한 선형 정류 활성화 (f (x) : = x> a? x : 0)는 스파 스 활성화 ( '뉴런'(무게) 중 일부만) 활성화됩니다.

지식이 생물학적 기능으로 확장되는 동안 우리가하는 일은 왜 이것이 진화에 의해 선택되고 선호되는지 이해합니다. 우리는 이러한 시스템이 충분하지만 훈련 중 오류 제어 측면에서 안정적이며 뇌의 에너지 및 화학 / 생물학적 자원과 같은 자원을 보존한다는 것을 이해합니다.

우리는 단순히 뇌가 왜 그런지 이해합니다. 또한 전략을 훈련하고 살펴보면 가능한 정보 흐름과 관련된 정보 처리에 대해 이해하고 바로 그 주제에 대한 가설을 세우고 평가할 수 있습니다.

예를 들어, 10 년 전에 기억할 수있는 것은 자연어를 배우는 시스템을 훈련시키는 것이었고, 그 발견은 언어를 배우는 아기의 유사 행동을 재구성하는 비슷한 문제를 보여주는 시스템이었습니다. 다른 종류의 언어를 배우는 것의 차이점조차도 ​​충분히 비슷했습니다.

따라서 이러한 접근 방식과 디자인을 연구함으로써 언어 학습 중 인적 정보 처리는 언어 관련 문제에 대한 훈련 권장 사항과 치료법을 도출 할 정도로 유사하여 인간의 어려움을 돕고 이해하고보다 효율적인 치료법을 개발하는 데 도움이되었다고 결론지었습니다. 실제로 실제로 다른 질문이되었습니다).

한 달 전에 저는 쥐 뇌의 3D 탐색 및 기억이 실제로 작동하는 방법에 대한 기사를 읽었으며 모든 발견에 대한 계산 모델을 만들어 실제로 진행되고있는 것을 이해하는 데 큰 도움이되었습니다. 그래서 인공 모델은 생물학적 시스템에서 관찰 된 것의 공백을 채웠습니다.

신경 과학자들이 회로, 정보 흐름 및 논리 처리 장치에 대해 이야기하는 생물 학자보다 엔지니어의 언어를 더 많이 사용한다는 사실을 알게되었을 때 정말 놀랐습니다.

우리는 인공 신경망에서 많은 것을 배우고 있습니다. 왜냐하면 뇌의 구조가 왜 그런지, 왜 진화가 대안적인 방법보다 이것을 선호하는지에 관한 규칙과 확신을 얻을 수있는 경험적 놀이장을 제시하기 때문입니다.

아직도 많은 공란이 있지만 내가 읽은 것에서-최근에 CNN 등에 들어 갔지만 2000 년대 초 대학 시간 동안 인공 지능, 퍼지 논리 및 신경 네트워크가있었습니다.

그래서 나는 신경망과 AI 분야의 모든 과학자들과 실무자들에게 감사의 마음을 가져 10 년 동안의 개발과 발견을 따라 잡았습니다. 잘 했어, 잘 했어!