OP rcpinto의 제안에 따라, 나는 "캘리버의 결과를 낳은 Graves et al.의 연구에 대한 약 6 개의 논문"을보고 몇 가지 링크를 제공하는 것에 대한 의견을 변환했다. 이것은 Google DeepMind 자체가 아닌 NTM과 관련된 질문의 일부에 대해서만 응답하며, 여전히 머신 러닝의 로프를 배우고 있으므로이 논문의 일부 자료는 제 머리 위에 있습니다. 그래도 Graves et al.의 원본 논문 {1] 에서 많은 자료를 파악했으며 자체 개발 한 NTM 코드를 테스트하는 데 가깝습니다. 나는 또한 지난 몇 달 동안 다음의 논문들을 최소한 감추었다. 그들은 엄격한 과학적인 방식으로 NTM 연구를 모방하지는 않았지만, 많은 실험 결과는 최소한 접선으로 원본을 뒷받침하는 경향이 있습니다.
• 이 문서 에서는 변형 버전의 NTM 주소 지정에 대한 Gulcehere 등. Graves 등의 테스트를 정확하게 복제하려고 시도하지는 않지만 DeepMind 팀과 마찬가지로 일반 재귀 LSTM에 비해 원래 NTM 및 여러 변형에 대해 훨씬 더 나은 결과를 보여줍니다. 그들은 N-grams Graves et al. 대신에 Facebook Q & A 데이터 세트의 10,000 개 훈련 샘플을 사용합니다. 그들의 논문에서 작동되었으므로 가장 엄격한 의미의 복제는 아닙니다. 그러나 그들은 원래의 NTM 버전과 여러 가지 변종을 설치하고 실행하면서 동일한 규모의 성능 향상을 기록했습니다. 2
• 원래의 NTM과 달리이 연구 는 차별화 할 수없는 강화 학습 버전을 테스트했습니다. 컨트롤러가 앞으로 나아 가지 않는 한 반복 복사와 같은 프로그래밍과 같은 여러 가지 문제를 해결할 수없는 이유 일 수 있습니다. 그럼에도 불구하고 그들의 결과는 NTM에 대한 아이디어를 뒷받침 할만큼 충분히 좋았다. 그들의 논문의 최신 개정판은 분명히 읽을 수 있으며, 아직 읽지 않았으므로 아마도 그들의 변종의 일부 문제가 해결되었을 것입니다. 삼
• LSTM과 같은 일반적인 신경망에 대해 NTM의 원래 맛을 테스트하는 대신 이 백서 에서는 여러 고급 NTM 메모리 구조에 대해 설명했습니다. 그들은 Graves et al.과 같은 유형의 프로그래밍과 유사한 작업에서 좋은 결과를 얻었습니다. 테스트를 받았지만 동일한 데이터 세트를 사용하고 있다고 생각하지 않습니다 (연구가 작성된 데이터 세트가 운영중인 데이터 세트를 나타내는 방법을 말하기는 어렵습니다). 4
• On p. 이 연구의 8 에서 NTM은 Omniglot 문자 인식 데이터 세트에서 몇 가지 LSTM, 피드 포워드 및 가장 근접한 이웃 기반 방식을 능가합니다. 저자가 요리 한 외부 메모리에 대한 대안은 분명히 그것을 능가하지만 여전히 잘 작동합니다. 저자는 Google의 라이벌 팀에 속한 것으로 보이므로 복제 가능성을 평가할 때 문제가 될 수 있습니다. 5
• On p. 2 이 저자들은 복제 작업 테스트에서 "매우 큰 서열"에 대해 더 나은 일반화가 이루어지고 있으며, 훨씬 작은 NTM 네트워크를 사용하여 유전 적 NEAT 알고리즘으로 진화하여 토폴로지를 동적으로 성장시키는 것으로보고했습니다. 6
NTM은 상당히 새롭기 때문에 원래 연구를 엄격하게 복제 할 시간이 많지 않았다고 생각합니다. 그러나 여름 동안 내가 감추었 던 소수의 논문은 실험 결과를지지하는 것으로 보인다. 나는 뛰어난 성능 이외의 것을보고하는 것을 아직 보지 못했습니다. 물론 부주의 한 인터넷 검색에서 쉽게 찾을 수있는 PDF 만 읽을 수 있기 때문에 가용성 편향이 있습니다. 이 작은 샘플에서 대부분의 후속 연구는 복제가 아닌 개념을 확장하는 데 중점을 두 었으며 복제 데이터의 부족을 설명합니다. 도움이 되길 바랍니다.
1 그레이브스, 알렉스; 2014 년 12 월 10 일자, Ivo, Wayne, Greg 및 Danihelka, "Neural Turing Machines".
2 Gulcehre, Caglar; 찬 다르, 사라 스; 2016 년 6 월 30 일, "경성 및 하드 어드레싱 체계를 갖는 동적 신경 튜링 머신", Chos, Kyunghyun 및 Yoshua의 Bengio, 2016.
3 2015 년 5 월 4 일자로 출판 된 "강화 학습 신경 튜링 머신 (Reinforcement Learning Neural Turing Machines)"2015 년 Ilya Zaremba, Wojciech and Sutskever.
4 장; 웨이; 2015 년 10 월 25 일자로 출판 된 Yu, Yang and Zhou, 보웬, 2015 년
5 산토로, 아담; Bartunov, Sergey; 봇 비닉, 매튜; Wierstra, Daan and Lillicrap, Timothy, 2016, "메모리 증강 신경망을 이용한 원샷 학습", 2016 년 5 월 19 일 발행.
6 볼 그 레브, 라스무스; Jacobsen, Emil Juul 및 Sebastian Risi는 "진화하는 신경 튜링 머신"이라고 알려지지 않았습니다. 출판사 없음
(아마도) Boll Greve et al. 코넬 대학 도서관에 게시되었습니다. arXiv.org 리포지토리 : 뉴욕, 이타카.