인공 신경망과 생물학적 신경망은 어떻게 비슷하고 다른가?

"Neural Networks는 우리가 인간의 두뇌를 모델링하는 데 가장 좋은 근사치"라고 여러 번 들었습니다. 그리고 Neural Networks는 우리의 두뇌를 닮은 것으로 알려져 있습니다.

나는이 모델이 단순화되었다고 의심하지만 얼마입니까?

바닐라 NN은 우리가 인간의 뇌에 대해 알고있는 것과 얼마나 다른가? 우리도 알고 있습니까?

인공 신경망 (ANN)이 생물학적 신경망 (BNN)과 다른 점은 찾고있는 대상에 따라 다릅니다. 우리는 모두 ANN이 생물학적으로 영감을 받았다는 것을 알고 있습니다.
구조적 차이 : 일반적으로 신경망은 네 가지 구성 요소로 구성됩니다.

• 뉴런
• 토폴로지 : 뉴런 간의 연결 경로
• 무게
• 학습 알고리즘

인공 신경망의 경우 초기 상태와 가중치가 무작위로 할당됩니다 . 대한 동안 뉴런과의 연결 구조 사이의 연결의 생물학적 신경망 강도가 무작위로 시작되지 않습니다. 초기 상태는 유 전적으로 파생되며 진화의 부산물 . BNN에서 학습은 뇌의 무수한 뉴런 사이의 상호 연결에서 비롯됩니다. 뇌 가 새로운 자극을 경험할 때 이러한 상호 연결은 구성을 변경합니다 . 이러한 변경으로 인해 새로운 연결, 기존 연결의 강화 및 기존 및 사용되지 않는 연결이 제거됩니다 . 고정 토폴로지를 사용하여 ANN 을 처음부터 교육 (BNN의 경우 토폴로지 변경 사항 기억)은 해결중인 문제에 따라 다릅니다. 현재 메커니즘은 ANN의 토폴로지를 변경하지 않으며 가중치는 무작위로 초기화되고 최적화 알고리즘을 통해 조정됩니다. 또 다른 대조는 네트워크의 뉴런 수에 있습니다. 전형적인 ANN은 수백 또는 수천 개의 뉴런으로 구성됩니다. 인간 두뇌의 생물학적 신경 네트워크는 수십억으로 구성되어 있습니다.



. 이 숫자는 동물마다 다릅니다.
당신은 더 찾을 수 있습니다 여기 와 여기에 .

그들은 더 이상 가까이 있지 않습니다!

[인공] 신경망 은 우리가 이전에 뇌의 뉴런 사이에서 관찰 한 연결에서 모호한 영감을 받았습니다 . 처음에는 아마도 생물학적 뇌와 근사하도록 ANN을 개발하려는 의도가 있었을 것입니다. 그러나 우리가 다양한 작업에서 응용 프로그램을 볼 수있는 현대의 작업 ANN은 동물 두뇌의 기능적 모델을 제공하도록 설계되지 않았습니다. 내가 아는 한, CNN 또는 RNN 모델의 연결과 무게 분포를 살펴보면 생물학적 뇌에서 새로운 것을 발견했다고 주장하는 연구는 없습니다.

인공 신경 네트워크가 뇌의 신경 구조에서 영감을 받는다는 일반적인 진술은 부분적으로 만 사실입니다.

Norbert Wiener, Claude Shannon, John von Neuman 등이 전자 두뇌라고 불리는 것을 개발함으로써 실용적인 AI를 향한 길을 시작한 것은 사실입니다. 또한 사실이다

• 인공 네트워크에는 활성화라는 기능이 있습니다.
• 생물학적 뉴런과 같은 다 대다 관계에 연결되어 있으며
• 최적의 행동을 배우도록 설계되었습니다.

그러나 그것은 유사성의 정도입니다. MLP (Multilayer Perceptron) 또는 RNN (Recurrent Neural Network)과 같은 인공 네트워크의 세포는 뇌 네트워크의 세포와 다릅니다.

활성화하는 사물의 배열에서 최초의 소프트웨어 찌르기 인 퍼셉트론은 뉴런의 배열이 아닙니다. James Watt의 원심 거버너가 Gauss에 의해 수학적으로 모델링 된 이후 엔지니어링에서 일반적으로 사용되어 온 그라디언트와 관련된 기본 피드백을 적용했습니다. 수세기 동안 사용되어 온 원리 인 연속 근사법을 사용하여 감쇠 매트릭스를 점진적으로 업데이트했습니다. 매트릭스에 출력을 생성하기 위해 동일한 활성화 함수의 어레이를 공급하는 벡터를 곱했다. 그게 다야.

다층 토폴로지로의 2 차원 투영은, 야 코비안이 층들에 음의 피드백으로서 적절하게 분배 될 때, 시퀀스의 감쇠 매트릭스를 조정할 수있는 정정 신호를 생성하는데 사용될 수 있다는 인식에 의해 가능 해졌다. 퍼셉트론과 네트워크 전체가 만족스러운 행동으로 수렴 될 것입니다. 퍼셉트론의 순서에서 각 요소를 레이어라고합니다. 피드백 메커니즘을 다시 전파라고합니다.

네트워크를 교정하는 데 사용되는 수학은 구배 하강 (gradient descent)이라고합니다. 왜냐하면 그것은 물을 찾기 위해 지형의 구배를 사용하는 탈수 장님과 비슷하기 때문에 그 문제도 비슷합니다. 그는 민물을 찾고 수화보다는 죽음에 수렴하기 전에 지역의 최소 점 (낮은 지점)을 찾을 수 있습니다.

최신 토폴로지는 디지털 이미지 복원, 메일 정렬 및 그래픽 응용 프로그램에 사용 된 기존 컨볼 루션 작업을 추가하여 CNN 토폴로지 제품군을 생성하고 첫해 화학에서 화학 평형과 같은 것을 독창적으로 사용하여 최적화 기준 생성을 결합한 것입니다. GAN 토폴로지 제품군.

Deep은 대부분의 AI 컨텍스트에서 수많은 동의어입니다. 때로는 벡터 매트릭스 제품, 활성화 및 컨볼 루션보다 상위 레벨 토폴로지에서 복잡성을 유추합니다.

이러한 깊은 네트워크가 신경 과학자들이 포유류 뇌 조직에서 수십 년 전에 발견 한 것과 얼마나 다른지 알고있는 사람들에 의해 활발한 연구가 진행되고 있습니다. 그리고 두뇌의 학습 회로와 신경 화학이 게놈 관점에서 조사되면서 오늘날 더 많은 차별화 요소가 발견되고 있습니다.

• 신경 가소성 ... 수상 돌기 및 공리 성장, 사망, 방향 전환 및 기타 모핑으로 인한 회로 토폴로지의 변화
• 위상 적 복잡성 ... 많은 수의 공리가 상호 작용하지 않고 열 십자이며 의도적으로 크로스 토크 (독립적)로부터 보호됩니다 ^.
• 화학적 신호 ... 포유류의 뇌에는 회로에 국소적인 영향을 미치는 수십 개의 신경 전달 물질과 신경 조절 화합물이 있습니다 ^{[주 2]}
• 소기관 ... 살아있는 세포는 많은 하부 구조를 가지고 있으며 여러 유형이 뉴런의 신호 전달과 복잡한 관계를 갖는 것으로 알려져 있습니다.
• 완전히 다른 형태의 활성화 ... 일반적인 인공 신경망에서의 활성화는 단순히 범위와 영역 모두에 대한 서수 스칼라를 가진 함수입니다 ... 포유류 뉴런은 들어오는 신호의 진폭과 상대적인 시간적 근접성의 함수로 작동합니다 ^{[주 3]}

[1] 토폴로지는 아이러니하게도 (건물 설계, 네트워크 프로비저닝, WWW 분석 및 시맨틱 네트워크 분야에서) 아키텍처의 하위 집합이지만 동시에 토폴로지보다 인공 지능의 급진적 인 중심에 있습니다. 제어 시스템의 수학 및 효과적인 실현

[2] 화학의 역할은 DNA 정보 전파와 관련이있는 사회 및 생식 행동을 학습하는 데 필수적 일 수 있으며, 생태계와 뇌의 수준에서 복잡한 방식으로 학습을 연결합니다. 또한 장기 및 단기 학습은 두뇌 학습을 두 가지 고유 한 기능으로 나눕니다.

[3] 생물학적 뉴런 활성화에 대한 들어오는 신호 타이밍의 영향은 어느 정도 이해되지만 뉴런 출력보다 훨씬 많은 영향을 미칠 수 있습니다. 그것은 다원성과 화학에도 영향을 줄 수 있으며, 소기관은 그 역할을 할 수 있습니다.

요약

기계 학습 라이브러리의 역할은 바비 인형과 켄 인형이 실제 커플을 시뮬레이션하는 것처럼 인간의 두뇌를 시뮬레이션하는 것입니다.

그럼에도 불구하고, 딥 러닝 분야에서 현저한 것들이 일어나고 있으며, 자율 주행 차가 우리의 일생 동안 완전히 자율적으로 운영된다면 놀라지 않을 것입니다. 나는 학생들에게 개발자가되는 것을 권장하지 않습니다. 컴퓨터는 아마도 인간보다 훨씬 더 나은 코딩을 할 수 있으며, 훨씬 더 빨리 그리고 아마도 더 빨리 코딩 할 것입니다. 일부 과제는 생물학이 발전시킨 종류가 아니며 수십 년의 연구 끝에 컴퓨터가 인간의 능력을 능가하여 결국 인간의 능력을 몇 배나 능가 할 수 있습니다.