NN 아키텍처를 동적으로 조정 : 불필요한 발명?

저는 박사 과정을 시작하고 있으며, 제가 스스로 결정한 궁극적 인 목표는 작업 환경을 모니터링하고 당면한 문제에 맞게 아키텍처를 동적으로 조정하는 ANN을 개발하는 것입니다. 데이터 세트가 연속적이지 않고 시간이 지나도 변경되지 않는 경우 왜 조정해야합니까?

가장 큰 문제는 최근에 딥 러닝이 등장함에 따라 여전히 관련 주제입니까? FFNN은 개념 드리프트 문제에서 틈새 시장을 발견 할 기회가 있습니까?

스레드에 너무 많은 질문이 오버로드되는 것을 두려워하지만, 이것은 완전히 논외가 아닙니다. RNN에 대해 알고 있지만, 그들에 대한 경험은 제한적입니다. RNN의 맥락에서 동적 아키텍처 적응이 관련 주제 여야한다고 생각합니다. 문제는 이미 답변을 받았으며 바퀴를 다시 발명 할 것인가입니다.

PS는 메타 최적화에 교차 게시

Cascade-Correlation Neural Networks는 훈련 과정에서 숨겨진 노드를 추가하여 구조를 조정하므로 시작하기 좋은 곳이 될 수 있습니다. 내가 본 다른 대부분의 작업은 신경망의 진화 알고리즘을 사용하여 레이어 수, 숨겨진 노드 수 등을 자동으로 조정합니다.

안타깝게도이 작업은 제 영역을 벗어 났으므로 시작하는 데 도움이되는 특정 문서 나 참조를 추천 할 수 없습니다. 딥 러닝 커뮤니티 내에서 동시에 네트워크 구조와 매개 변수를 공동으로 최적화하려는 작업은 보지 못했다고 말할 수 있습니다. 실제로, 대부분의 딥 러닝 아키텍처는 한 번에 하나의 레이어를 탐욕스럽게 학습하는 것을 기반으로하므로 딥 뉴럴 네트워크에 대한 온라인 학습조차도 손대지 않은 영역으로 만듭니다 (Martens et al.의 Hessian Free Optimization에 대한 연구는 주목할만한 예외입니다).

건설적인 신경망 (예 : CC 알고리즘 @alto 등)에 대한 새로운 접근 방식을 개발해야하는 또 다른 이유 는 통계 외부의 응용 프로그램에 있습니다. 특히, 이론적 신경 과학 및인지 과학에서, 발달 신경 네트워크는 발달 및 신경 생성과 은유 적 유사성으로 인해 종종 사용된다. 이를 위해 계단식 상관 관계를 많이 사용하는 예를 보려면 Thomas R. Shultz의 간행물을 보십시오 . 불행히도 캐스케이드 상관 관계 접근법은 생물학적 비현실적 이며 신경 과학이 구부러지면 조절 가능한 아키텍처가있는 새로운 NN을 개발 및 / 또는 신경 생성의 더 나은 모델로 사용하는 방법을 고려할 가치가 있습니다.