기존의 토폴로지 (perceptron, Konohen 등)에 적합하지 않거나 신경망의 문제를 해결하기 위해 신경망의 문제를 해결하고 싶다고 가정합니다. 기계공과 나는 대신 내 자신에 의존합니다.
임의의 문제에 대해 신경망의 토폴로지 선택 (즉, 계층 수, 활성화 유형, 연결 유형 및 방향 등)을 어떻게 자동화 할 수 있습니까?
나는 초보자이지만 일부 토폴로지 (또는 적어도 perceptrons)에서는 숨겨진 레이어의 뉴런이 수학적으로 의미있는 컨텍스트를 표현하지 않기 때문에 내부 메커니즘을 이해하는 것이 불가능하지는 않지만 매우 어렵다는 것을 깨달았습니다.
답변:
이 경우에는 유전자 알고리즘을 사용하여 스스로 작업하는 대신 토폴로지를 생성하고 싶을 것입니다. 저는 개인적으로 NEAT (NeuroEvolution of Augmenting Topologies)를 좋아 합니다.
원래 NEAT 용지에는 연결에 대한 가중치 변경이 포함되어 있지만 토폴로지 만 원하는 경우 가중치 알고리즘을 대신 사용할 수 있습니다. 어떤 것을 사용해야할지 확실하지 않은 경우 활성화 기능을 혼합 할 수도 있습니다. 다음 은 역 전파 및 다중 뉴런 유형을 사용하는 예입니다.
다른 답변 은 네트워크 가중치 또는 토폴로지를 생성하는 NEAT 를 언급 합니다. NeuroEvolution : 전달 기능 진화와 이종 네트워크의 중요성 이라는 논문 은 신경 진화 기술에 대한 간략한 요약을 제공하며 NEAT에 대한 대안적인 접근 방식을 제공합니다. 직교 유전자 프로그래밍 을 사용 하여 여러 활성화 기능을 발전시킵니다.