인간의 뇌는 어떤 활성화 기능을 사용합니까?
답변:
당신이 읽고있는 것을 행동 잠재력이라고 합니다. 뉴런 내에서 정보가 흐르는 방식을 제어하는 메커니즘입니다.
뉴런은 전위가 있으며 이는 셀 내부와 외부의 전압 차이입니다. 또한 기본 휴식 잠재력과 활성화 가능성이 있습니다. 뉴런은 홀로 남아 있으면 휴식 전위로 이동하는 경향이 있지만 수상 돌기에서 들어오는 전기 활성화는 전위를 이동할 수 있습니다.
뉴런이 전위 (활성화 전위)에서 특정 임계 값에 도달하면, 전체 뉴런과 그 연결 축색 돌기는 세포 내부 / 외부 이온 교환의 연쇄 반응을 거쳐 축삭을 통한 "전 파파"를 초래합니다.
TL; DR : 뉴런이 특정 활성화 전위에 도달하면 전기적으로 방전됩니다. 그러나 뉴런의 전위가 그 값에 도달하지 않으면 뉴런은 활성화되지 않습니다.
인간의 뇌는 특정한 활성화 기능을 사용합니까?
뇌의 다른 부분에있는 IIRC 뉴런은 약간 다르게 행동하며,이 질문이 표현되는 방식은 뉴런 활성화의 특정 구현이 있는지를 묻는 것처럼 들립니다 (모델링하는 것과 반대).
그러나 일반적으로 서로 비교적 유사하게 행동합니다 (뉴런은 신경 화학 물질을 통해 서로 통신하고 정보는 활동 전위라고 알려진 메커니즘을 통해 뉴런 내부로 전파됩니다). 그러나 그들이 일으키는 세부 사항과 차이점은 중요 할 수 있습니다.
다양한 생물학적 뉴런 모델 이 있지만 Hodgkin-Huxley 모델 이 가장 주목할 만합니다.
또한 뉴런에 대한 일반적인 설명은 뉴런 역학에 대한 일반적인 설명을 제공하지 않습니다.
그러나, 정보가 뉴런 내부로 전파되는 방법은 일반적으로 나트륨 / 칼륨 이온 교환으로 잘 알려져 있습니다.
그것은 (활성화 가능성) ReLU와 매우 흡사합니다 ...
어떤 일이 발생하기 전에 임계 값이 필요하다는 점에서 ReLU와 같습니다. 그러나 ReLU는 다양한 출력을 가질 수 있지만 뉴런은 전혀 또는 전혀 없습니다.
또한 ReLU (및 일반적으로 다른 활성화 기능)는 입력 공간과 관련하여 차별화 할 수 있습니다. 이것은 백프로 프에 매우 중요합니다.
이것은 X 축이 입력 값이고 Y 축이 출력 값인 ReLU 기능입니다.
그리고 이것은 X 축이 시간이고 Y가 출력 값인 활동 전위입니다.
포유류의 뇌는 활성화 기능을 사용하지 않습니다. 퍼셉트론을 기반으로하는 머신 러닝 설계 만이 이전 레이어의 출력 벡터에 매개 변수 행렬을 곱하고 결과를 무 상태 수학 함수로 전달합니다.
스파이크 응집 거동이 부분적으로 모델링되었지만 1952 Hodgkin 및 Huxley 모델보다 훨씬 상세하지만 모든 모델은 생물학적 뉴런을 기능적으로 근사화하기 위해 상태 저장이 필요합니다. RNN과 그 파생 상품은 퍼셉트론 설계의 단점을 해결하려는 시도입니다.
이러한 차이점 외에도 활성화 기능에 합산되는 신호 강도가 매개 변수화되어 있지만 전통적인 ANN, CNN 및 RNN은 정적으로 연결되어 있지만 인텔은 2019 년 너바나 아키텍처로 수정한다고 주장합니다. 파이썬이나 자바로 설정된 호출 레이어.
스칼라 출력을 생성하는 스칼라 입력의 기능보다 활성화 메커니즘을 더 중요하게 만드는 중요한 세 가지 생물학적 뉴런 특징이 있으며, 이는 대수적 비교에 의문을 제기합니다.
- 상태는 신경 가소성 (변경) 연결성으로 유지되며 이것은 층에 몇 개의 뉴런이 아니라 3 차원의 신호 전파 방향과 네트워크의 토폴로지로 구성되어 있지만 혼돈 스럽습니다.
- 세포질과 세포 소기관 내에서 유지되는 상태로, 2018 년 현재 부분적으로 만 이해
- 생물학적 회로를 통한 펄스가 시냅스를 통해 도달 할 수있는 시간적 정렬 계수가 있다는 사실은 이들이 집계되는 방식으로 펄스의 피크가 시간적으로 일치하지 않기 때문에 활성화 확률은 마치 그 자체만큼 높지 않습니다. 일시적으로 정렬되었습니다.
사용할 활성화 함수에 대한 결정은 대체로 테스트 순열과 결합 된 이론적 수준의 수렴 분석을 바탕으로 어떤 것이 ctheonvergence에서 속도, 정확성 및 신뢰성의 가장 바람직한 조합을 나타내는 지 확인합니다. 신뢰성은 대부분의 입력 사례에 대해 전역 최적 (일부 로컬 최소 오류 기능이 아님)에 대한 수렴에 전혀 도달 함을 의미합니다.
실용 기계 학습 포크와 생물학적 시뮬레이션 및 모델링 간의 분기 된 연구입니다. 두 지점은 스파이크 (정확도-신뢰성 (완료)) 네트워크의 출현으로 어느 시점에 다시 합류 할 수 있습니다. 머신 러닝 브랜치는 뇌의 시각 및 청각 경로와 같은 생물학적 물질로부터 영감을 얻습니다.
그것들은 두 포크를 따라 진행하는 것을 돕기 위해 이용 될 수있는 평행과 관계를 가지고 있지만, 활성화 함수의 형태를 비교하여 지식을 얻는 것은 위의 세 가지 차이점, 특히 시간적 정렬 계수와 뇌 회로의 전체 타이밍에 의해 혼란스러워합니다. 반복을 사용하여 모델링했습니다. 두뇌는 CPU와 데이터 버스의 루프 나 시간 공유에 의존하지 않는 진정한 병렬 컴퓨팅 아키텍처입니다.
이 질문에 대한 나의 해석은 '인공 신경망 (ANN)의 어떤 활성화 기능이 뇌에서 발견되는 것과 가장 가까운가?'였습니다.
위의 선택된 답변에 동의하지만 단일 뉴런이 디락을 출력한다는 점에 동의하지만 ANN의 뉴런을 현재 출력이 아닌 출력 발사 속도를 모델링하는 것으로 생각하면 ReLU가 가장 가깝다고 생각합니까?
http://jackterwilliger.com/biological-neural-networks-part-i-spiking-neurons/