Jeff Hawkins의 AI 프레임 워크의 결함은 무엇입니까?


19

팜 파일럿의 발명가 인 제프 호킨스 (Jeff Hawkins )는 2004 년 에 인간 지능이 어떻게 작동하는지에 대한 이론을 자세히 설명하는 On Intelligence 라는 매우 흥미로운 책을 출판했습니다 .

이 이론을 메모리 예측 프레임 워크 라고 하며, 예를 들어 상향식 (피드 포워드)뿐만 아니라 하향식 정보 처리 및 다른 미래 시나리오에 대한 동시 적이지만 불연속적인 예측 기능 (예 : 이 논문에서 ).

Memory-Prediction 프레임 워크의 약속은 미래의 가능성에 대한 안정적인 고수준 표현의 감독되지 않은 생성입니다. 아마도 AI 연구 영역 전체에 혁명을 일으킬 것입니다.

호킨스 는 회사를 설립 하고 그의 아이디어를 이행하기 시작했습니다. 불행히도 10 년이 지난 후에도 그의 아이디어에 대한 약속은 여전히 ​​이루어지지 않았습니다. 지금까지 구현은 이상 감지에만 사용되며 이는 실제로 원하는 것과 반대입니다. 이해를 추출하는 대신 인공 피질이 이해하지 못하는 인스턴스를 추출합니다.

내 질문은 Hawkins의 프레임 워크가 어떻게 부족한지입니다. 그의 이론이 실제로 작동하지 못하게하는 구체적 또는 개념적 문제는 무엇인가?

답변:


11

짧은 대답은 호킨스의 비전이 아직 널리 접근 가능한 방식으로, 특히 예측과 관련하여 없어서는 안될 부분으로 구현되지 않았다는 것입니다.

긴 대답은 몇 년 전 호킨스의 책을 읽었으며 HTM (Hierarchical Temporal Memory)의 가능성에 흥분했다는 것입니다. 나는 의식, 자유 의지 및 기타 주제의 의미에 대한 그의 철학적 인 생각에 대해 약간의 예약이 있다는 사실에도 불구하고 여전히 있습니다. HTM 그물이 지금까지 예상했던만큼 성공하지 못한 주요 이유와 관련이 없기 때문에 여기에서 그 오해에 대해 자세히 설명하지 않을 것입니다. 그들은 호킨스 이론에서 중요한 역할을하는 예측 아키텍처를 대부분 생략했다. Gerod M. Bonhoff가 HTM에 대한 훌륭한 논문 1 을 발표함에 따라,

Numenta가 채택한 가장 중요한 설계 결정은 계층 내에서 피드백을 제거하는 대신 가중치를 위해 데이터 풀링 알고리즘 만 사용하여이 이론적 개념을 시뮬레이션하도록 선택하는 것입니다. 이 결정은 즉시 의심되며 HTM의 주요 개념을 위반합니다. 호킨스의 주장은 피질의 기능에 필수적이며 그의 이론의 핵심이다. 여전히 Numenta는 대부분의 HTM 적용 가능한 문제는 구현 및 독점 풀링 알고리즘을 사용하여 해결할 수 있다고 주장합니다. "

나는 여전히이 분야의 로프를 배우고 있으며 Numenta가 Hawkins의 아이디어, 특히 가장 중요한 예측 아키텍처의 전체 구현을 위해이 접근법을 폐기했는지 여부를 말할 수 없습니다. 그들이 가지고 있더라도,이 디자인 결정은 아마도 수년 동안 채택을 지연했을 것입니다. 그것은 비판 그 자체가 아닙니다. 아마도 예측 값을 추적하고 즉시 업데이트하는 계산 비용은 신경망을 처리하는 데 드는 일반적인 비용 외에도 독점적으로 풀링과 같은 반 측정을 시도하는 것 외에 다른 경로를 남기지 않고 너무 많이 감당할 수 없었습니다. 메커니즘. 그럼에도 불구하고 그 이후로 읽은 모든 최고의 연구 논문은 일반적으로 예측 기능이 없기 때문에 Numenta의 플랫폼에 의존하기보다는 알고리즘을 다시 구현하기로 결정했습니다.볼로냐 대학 생체 인식 시스템 연구소에 대한 Maltoni의 기술 보고서 2 . 그러나이 모든 경우에 변형 HTM을 즉시 사용할 수 있도록 쉽게 액세스 할 수있는 소프트웨어는 없습니다 (내가 아는 한). 이 모든 것의 핵심은 기독교에 관한 GK Chesterton의 유명한 최대 값처럼 "HTM은 시도되지 않았으며 원하는 것으로 발견되지 않았습니다. 어려운 것으로 밝혀졌으며 시도되지 않았습니다." Numenta는 예측 단계를 생략했기 때문에 HTM이 무엇인지에 대한 Hawkins의 전체 비전을 코딩하려는 모든 사람을 기다리는 주요 걸림돌이라고 가정합니다.

1 Bonhoff, Gerod M., 2008, 변칙적 네트워크 활동 탐지를 위해 계층 적 시간 메모리 사용. 2008 년 3 월 오하이오 주 라이트 패터슨 공군 기지 공군 연구소에서 발표.

2 Maltoni, Davide, 2011, 계층 적 시간 메모리에 의한 패턴 인식. DEIS 기술 보고서 ​​2011 년 4 월 13 일 발행. 볼로냐 대학교 생체 시스템 연구소 : 이탈리아 볼로냐.


1
좋은 답변입니다! 분명히 IBM이 지금 총격을
다하고 있다고 덧붙이고 싶다

1

생산 준비 10 년?

그것을 관점에서 보자. 퍼셉트론은 1957 년에 도입되었습니다. 1986 년 PDP 서적이 출시 될 때까지 실제로는 유용한 모델로 개화하기 시작하지 않았습니다.

PDP 서적에서 우리는 지난 10 년까지 사용 가능한 딥 네트워크로 정교화되는 것을 보지 못했습니다. Andrew Ng와 Jeff Dean 고양이 인식 작업을 2012 년의 딥 네트워크 정의 이벤트로 생각하면 25 년 이상 생산 준비가 완료된 것입니다.

https://ko.wikipedia.org/wiki/Timeline_of_machine_learning


그것은 그 질문에 대한 답이 아닙니다. 또한, 우리는 이미 매우 인상적인 AI 성과를 달성하기에 충분히 빠른 컴퓨터를 가지고 있습니다. 그러나 이러한 성과는 HTM에서 발생하지 않습니다.
BlindKungFuMaster
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.