신경 아키텍처 : 데이터 정보 자동 설계

신경망의 최근 진보는 점점 더 복잡 해지는 디자인 복잡성을 특징으로하는 일련의 새로운 아키텍처로 요약된다. LeNet5 (1994)에서 AlexNet (2012), Overfeat (2013) 및 GoogleLeNet / Inception (2014) 등 ...

머신이 데이터에 따라 어떤 아키텍처를 사용할지 결정 / 설계하게하려는 시도가 있습니까?

또한 신경 진화 에 관한 문헌을보고 싶을 수도 있습니다 . 예 :

• 자렘 바, 우지에 흐 일리아 서스 커버. Rafal Jozefowicz " 반복적 인 네트워크 아키텍처의 실험적 탐구. "(2015) : 진화 계산을 사용하여 최적의 RNN 구조를 찾았습니다.
• 프랭크 데논 코트. " 내측 망상 형성 : 행동 선택을위한 신경 기질? 진화 적 계산을 통한 평가. ". 석사 논문. École Normale Supérieure Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius 및 Jürgen Schmidhuber. " 서열 학습을위한 진화하는 메모리 셀 구조. "인공 신경 네트워크에 관한 국제 회의, pp. 755-764. Springer Berlin Heidelberg, 2009 .: 최적의 RNN 구조를 찾기 위해 진화 계산을 사용했습니다.

강화 학습 :

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le 및 Jeff Dean. "매개 변수 공유를 통한 효율적인 신경 구조 검색." arXiv 프리 프린트 arXiv : 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret 및 Le, Quoc V. 강화 학습을 통한 신경 아키텍처 검색. ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. 딥 네트워크에서 뉴런 수 배우기. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. 강화 학습을 사용하여 신경망 아키텍처 설계. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. 강화 학습을 통한 신경 아키텍처 검색. https://arxiv.org/abs/1611.01578

여러 가지 잡다한:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. 경사 하강에 의한 경사 하강에 의한 학습 학습. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Ji Lee 대화법 분류를위한 가우스 프로세스로 신경망 하이퍼 파라미터 최적화 , IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri 및 Scott Yang. "AdaNet : 인공 신경망의 적응 구조 학습." arXiv 프리 프린트 arXiv : 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : 네트워크의 구조와 가중치를 모두 배우는 접근법.

연구가 그러한 방향으로 나아가고있는 것 같습니다 :

• 미 코니, 토마스 " 차별화 구조를 갖는 신경망. ", arXiv (2016) : 저자는 목적 함수에 포함시키기 위해 차별화 가능한 네트워크 구조의 개념을 소개합니다.

Google의 AutoML 이 그러한 예 중 하나입니다. ImageNet 데이터 세트에 성공적으로 적용되었으며, 이 문서 작성 시점에서 NASNet 은 정확도 측면에서 다른 모든 모델을 능가했습니다. 주요 논문은 다음과 같습니다.

확장 가능한 이미지 인식을위한 전송 가능한 아키텍처 학습-Zoph, et. 알.