펄스 신경망이 애플리케이션에 사용되는 방식은 무엇입니까?

펄스 또는 스파이 킹 신경망은 생물학적 뉴런의 더 많은 막 역학을 통합하는데, 여기서 펄스는 다음 층으로 정보를 전달합니다. 뉴런은 예를 들어 백프로 프에서와 같이 반드시 동시에 "발화"할 필요는 없습니다.

그러나 머신 러닝 문제에 이러한 모델을 사용하는 것에 대한 장벽이있는 것 같습니다. 보다 생물학적으로 현실적인 모델을 사용하는 머신 러닝 전문가에게는 어떤 특정한 문제가 있습니까?

주요 문제는 아무도 뇌가 어떻게 작동하는지 모른다는 것입니다. :)

이론

내가 알 수있는 한 신경망 연구에는 세 가지 큰 단계가 있습니다.

1. 퍼셉트론 (또는 임계 값 게이트) 모델-단일 부울 레이어가있는 일부 다중 레이어 퍼셉트론으로 부울 함수를 계산할 수 있습니다.
2. 뉴런 모델-네트워크 요소가 S 자형 활성화 기능 (연속 가능한 인피 트 및 출력 세트)을 사용하는 이전 버전의 개선 된 버전. 또한 모든 부울 함수를 계산할 수 있으며 (임계 값을 적용한 후) 또한 연속 함수에 근접 할 수 있습니다.
3. "시간 코딩"을 사용하여 네트워크 요소간에 정보를 전달하는 스파이 킹 뉴런 모델. 이전 모델의 모든 기능을 수행 할 수 있으며, 더 적은 수의 뉴런으로 수행 할 수도 있습니다.

기본적으로 여기에서의 진화는 인간의 뇌가 작동하는 방식에 더 가까이 다가가는 것이며 마지막 모델은 최고의 충실도를 갖습니다.

연습

SNN은 매우 유망한 것으로 보이며이 제품 위에 SpikeNET이 내장 된 상용 제품도 있습니다 ( "SpikeNET이 수행 할 수있는 작업"및 "SpikeNET이 아직 수행 할 수없는 작업"아래에서 직면 한 문제를 확인할 수 있음).

나는 스파이 킹 네트워크의 특정 문제에 대해 말할 수 없지만 일반적으로 사람들은 SNN이 점점 더 인간의 두뇌처럼 작동하기를 원하기 때문에 문제가 발생한다는 인상을 받았습니다.

• 그들은 정보를 코딩하는 방법을 선택하기를 원합니다- 지연 코딩 (더 높은 자극 뉴런이 더 자주 더 빨리 스파이하는 경향이 있음 ), 이진 코딩 (정보는 주어진 시간 간격 내의 스파이크 수로 표시됨), 시간 코딩을 통해 수행 될 수 있습니다. (정보는 식별 가능한 시간 간격의 입도의 역수입니다), 순위 순서 코딩 (뉴런이 수신 한 첫 번째 스파이크에 영향을 미치고 나중에 스파이크가 영향을 받음) 및 기타는 없습니다.
• 그들은 두 뉴런이 동일하게 "온"(또는 둘 다 "오프") 일 때 뉴런 간의 가중치를 증가시키는 Hebbian 소성을 모방합니다.
• 그들은 뉴런 그룹이 다른 뉴런의 반응을 억제하는 승리 뉴런과 경쟁하는 자체 조직을 적용합니다. 스파이 킹 뉴런을 사용하면 단일 발사 이벤트만을 기반으로 승자를 빠르게 계산할 수 있습니다.

Wikipedia에는 "펄스 코드 신경 네트워크의 구현 문제"섹션 이있는 "펄스 신경 네트워크" 책에 대한 링크가 있지만 이에 대해서는 충분히 교육하지 않았습니다.

주제 소개에 관해서는이 논문을 추천합니다 : 펄스 신경 네트워크 및 그 응용 ( pdf )

모든 신경망 알고리즘 은 훈련 알고리즘에서 일정한 형태의 경사 하강 을 사용하는 것으로 보이며 ANN이 아닌 모델도 경사 하강을 사용합니다. SNN에 대해 시간적으로 구배 하강을 적용하는 방법에 대한 이론은없는 것 같습니다. 한 가지 가능성은 SNN과 유사한 생물학적으로보다 현실적인 모델을 사용하는 신경 형성 컴퓨팅 의 증가입니다 . 그러나 필기 인식, 음성 인식, 객체 인식, 언어 번역 등과 같은 많은 표준 ML 문제에서 ANN을 통해 달성 된 매우 명확한 벤치 마크와 같이 현재까지 신경 형태 분야에서 달성 된 강력한 기계 학습 벤치 마크 / 획기적인 것이없는 것처럼 보입니다.