인간 두뇌와 신경망의 전력 효율

계산을위한 총 에너지 예산이 인간의 뇌 에너지 예산 ( 12.6 와트 ) 과 동일한 경우 지금 우리는 얼마나 큰 인공 신경망 (전철 역전주기 또는 네트워크 출력 평가)을 실행할 수 있습니까?

생물학적 뉴런 의 발사 속도 와 대략 일치하는 것으로 초당 1 사이클을 가정하자 .

neural-networks human-like

— 리 오리
소스

나는이 질문을하려고했다. 나는 다른 누군가가 이미 한 것이 행복하다 :)

— Eka

IBM의 True North와 함께 12.6 와트에서 1 억 2 천 6 백만 인공 뉴런

2014 년에 IBM의 True North 칩은 100mW 미만으로 1 백만 개의 뉴런을 추진하고있었습니다.

12.6 와트에서 약 1 억 2 천 6 백만 개의 인공 뉴런입니다.

마우스는 7,000 만 신경이있다.

IBM은 "단순한"4kW로 인간의 두뇌 규모의 True North 메인 프레임을 구축 할 수 있다고 생각 합니다.

3D 트랜지스터가 시장에 출시되면 동물의 뇌 효율을 매우 빠르게 따라 잡을 수있을 것입니다.

— 독소 소이
소스

> 12.6 와트에서 대략 1 억 2 천 6 백만 인공 뉴런입니다. > 마우스에는 7 천만 개의 뉴런이 있습니다. 문제는 하나의 인공 "뉴런"이 실제 생물학적 뉴런과 실제로 일대일인지 알 수 없다는 것입니다.

— mindcrime

대략 60 년 동안 신경 과학자 / AI 연구자들은 인간 뇌의 처리 능력을 지속적으로 과소 평가했다는 점을 염두에 두어야합니다. 나는 우리의 마음이 단지 100MB 만 저장할 수 있다는 큰 이름으로 초기 추정치를 보았습니다! 우리는 아직 비트 심도, 적절한 아키텍처, 뇌 세포의 양자 상태 등을 고려하지 않았습니다. . AI 연구자들은 역사적으로 항상 자신의 능력을 과대 평가했다.

— SQLServerSteve

실제로 IBM 칩은 잊어 버렸습니다. 나는 그들의 효율성에 대한 알려진 비판이 있기 때문에 질문을 작성할 때 그것들을 고려하지도 않았습니다 (예 : facebook.com/yann.lecun/posts/10152184295832143 참조 ). 기술적으로 그들은 여전히 신경망을 구현하지만 나에게서 +1입니다.

— liori

@mindcrime & SQLServerSteve 음, 문제는 스톡 하드웨어에서 실행되는 바닐라 피드 포워드 ANN에 관한 것입니다. 그것은 내가 질문에서 얻은 인상이 아닙니다.

— Doxosophoi

아직 상상하지 못한 인공 신경망에 관한 것도 아닙니다.

— Doxosophoi

자신을 12.6 와트로 제한하면 많은 일을하지 않을 것입니다. 최신 GPU의 전력 소비량을 살펴보고 사람들이 훈련하고있는 네트워크의 크기를 확인한 다음 축소하십시오. 참고로, 현대 GPU 는 사용량이 많을 때 52-309 와트 사이 를 소비하는 것으로 보입니다 .

분명히 에너지 효율은 인간의 두뇌가 여전히 ANN의 머리가되는 영역 중 하나입니다.

— 마음의 범죄
소스