모듈 식 신경망은 어떤 작업에서도 큰 모 놀리 식 네트워크보다 효과적입니까?


16

MNN (Modular / Multiple Neural Networks)은 서로 또는 다른 더 높은 네트워크에 공급할 수있는 더 작고 독립적 인 네트워크를 훈련하는 데 중점을 둡니다.

원칙적으로, 계층 적 조직은보다 복잡한 문제 공간을 이해하고 더 높은 기능에 도달 할 수 있지만 과거에 이와 관련하여 수행 된 구체적인 연구의 예를 찾기가 어렵습니다. 몇 가지 출처를 찾았습니다.

https://en.wikipedia.org/wiki/Modular_neural_network

https://www.teco.edu/~albrecht/neuro/html/node32.html

https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y

몇 가지 구체적인 질문이 있습니다.

  • MNN 사용에 대한 최근의 연구가 있습니까?

  • MNN이 대규모 단일 네트워크보다 성능이 우수한 작업이 있습니까?

  • MNN을 멀티 모달 분류에 사용할 수 있습니까? 즉, 기본적으로 다른 유형의 데이터 (텍스트와 이미지)에서 각 넷을 훈련하고 모든 출력에서 ​​작동하는 더 높은 수준의 중개자에게 피드백을 제공 할 수 있습니까?

  • 소프트웨어 엔지니어링 관점에서 볼 때 분산 시스템에서 이러한 내결함성이 있고 쉽게 분리 할 수 ​​있습니까?

  • 신경 구조 검색과 같은 프로세스를 사용하여 서브 네트워크의 토폴로지를 동적으로 조정하는 작업이 있습니까?

  • 일반적으로 MNN은 어떤 방식으로 실용적입니까?

이러한 질문이 순진한 것으로 보이는 경우, 나는 생물학 / 신경 과학 배경에서 ML과 더 광범위하게 CS에 들어 왔으며 잠재적 인 상호 작용에 사로 잡혔습니다.

시간을내어 통찰력을 빌려 주셔서 감사합니다!


- 나는 성능을 개선하고, 필터링 등의 모듈 형 시스템의 구현에 대해 생각했던 확실히 - 불필요한 종속성을 입력하십시오. 유레카 순간이라고 생각했지만 이미 확립 된 구조인지는 몰랐습니다.
Tobi

답변:


2

이 주제와 관련하여 실제로 조사가 진행 중입니다. 지난 3 월의 첫 번째 간행물은 모듈화가 명시되어 있지는 않았지만 얼마 전부터 이루어졌지만 어떻게 든 훈련은 모 놀리 식으로 유지되고 있다고 지적했습니다. 이 백서는이 문제에 대한 몇 가지 주요 질문을 평가하고 모듈 식 및 재발 성 신경망의 훈련 시간과 성능을 비교합니다. 보다:

일부는 모듈화에 중점을 두지 만 모 놀리 식 교육을 유지합니다 ( Jacob Andrea의 연구 , 특히 추론 학습 은 세 번째 질문과 매우 관련됨)를 참조하십시오. 2019 년 말과 내년 3 월 사이에 더 많은 결과가있을 것입니다.

마지막 두 가지 질문과 관련하여 모듈화가 일반화의 주요 열쇠라는 것을 알기 시작했습니다. 몇 가지 논문을 추천 해 드리겠습니다 (arxiv 또는 Google Scholar에서 모두 찾을 수 있음).

  • 확률 적 적응 신경 구조 키워드 검색 (성능과 자원 사용의 균형을 맞추기 위해 다양한 변형)을 검색합니다.

  • 신경 프로그래밍 아키텍처를 재귀를 통해 일반화하십시오 (작업 하위 모듈화를 수행하며 신경망 분야에서 일반화가 보장되는 것은 처음이라고 생각합니다).

  • 심층 신경망 및 트리 검색으로 Go 게임 마스터하기 (네트워크 토폴로지는 실제로 검색 트리 자체입니다. 그래프 신경망을 찾으면 더 많은 것을 볼 수 있습니다).


1

단일 심층 네트워크와 비교하여 별도로 훈련 된 네트워크로 구성된 시스템의 벤치 마크 비교는 보편적으로 적용 가능한 최선의 선택을 나타내지 않을 것입니다. 1 우리는 여러 종류의 인공 네트워크와 다른 유형의 구성 요소가 결합 된 더 큰 시스템의 수가 증가한 것을 문헌에서 볼 수 있습니다. 예상됩니다. 시스템이 복잡 해짐에 따라 모듈화는 성능 및 기능 증가에 대한 요구가 산업화만큼 오래되었습니다.

우리 실험실은 로봇 제어, 열역학적 계측 및 데이터 분석과 함께 작동하며 인공 네트워크는 이러한 큰 시스템 환경의 구성 요소입니다. 유용한 기능을 자체적으로 수행하는 단일 MLP 또는 RNN은 없습니다.

수십 년 전의 계층 구조에 대한 추측과 달리 대부분의 경우 잘 작동하는 토폴로지 접근 방식은 발전소, 자동화 된 공장, 항공, 기업 정보 아키텍처 및 기타 복잡한 엔지니어링 제작물에서 볼 수있는보다 일반적인 시스템 모듈 관계를 따릅니다. 연결은 흐름의 연결이며 잘 설계되면 감독 기능이 최소화됩니다. 통신 프로토콜이 포함 된 모듈간에 흐름이 발생하며 각 모듈은 기능을 잘 수행하여 더 낮은 수준의 복잡성과 기능적인 세부 사항을 캡슐화합니다. 실제 관행에서 가장 효과적인 것으로 보이는 것은 다른 네트워크를 감독하는 네트워크가 아니라 균형과 공생입니다. 인간의 뇌에서 명확한 마스터-슬레이브 디자인의 식별은 마찬가지로 미끄러운 것 같습니다.

문제는 시스템 정보 토폴로지를 구성하는 정보 경로를 찾는 것이 아닙니다. 정보 흐름은 종종 문제 분석시 명백합니다. 어려운 점은 이러한 독립 네트워크를 훈련시키기위한 최상의 전략을 찾는 데 있습니다. 훈련 의존성은 일반적이고 종종 중요하지만, 동물에서는 훈련이 제자리에서 이루어 지거나 전혀 발생 하지 않습니다. 우리는 시스템에서 그러한 종류의 학습이 실용적이며 달성하는 조건을 발견하고 있습니다. 이 라인에 대한 대부분의 연구는 연구 시간 측면에서 높은 신뢰성과 부담을 줄이는 방법을 찾기위한 것입니다.

더 높은 기능이 항상 이익이되는 것은 아닙니다. 종종 안정성이 떨어지고 적은 개발 비용으로 추가 개발 리소스를 소비합니다. 하나의 개발 프로세스에서 더 높은 수준의 자동화, 리소스 절약 및 안정성을 결합 할 수있는 방법을 찾으십시오.

동일한 목표를 가진 병렬 시스템은 좋은 생각이지만 새로운 것은 아닙니다. 하나의 항공 시스템에서 9 개의 병렬 시스템은 3 개의 그룹으로 동일한 목표를 갖습니다. 각 그룹은 다른 컴퓨팅 방식을 사용합니다. 동일한 접근 방식을 사용하는 두 시스템이 동일한 출력을 제공하고 세 번째가 다른 경우, 일치하는 출력이 사용되며 세 번째의 차이는 시스템 결함으로보고됩니다. 다른 접근법 중 두 가지가 유사한 결과를 제공하고 세 번째가 실질적으로 다른 경우, 두 개의 유사한 결과의 병합이 사용되며 세 번째는 반대 접근법을 추가로 개발하기위한 사용 사례로보고됩니다.

향상된 내결함성에는 비용, 8 개의 추가 시스템 및 관련 컴퓨팅 리소스 및 연결성 및 테일러 비교기가 있지만, 삶과 죽음의 문제인 시스템에서는 추가 비용이 지불되고 안정성이 최대화됩니다.

동적 토폴로지 적응은 중복 시스템 및 내결함성과 관련이 있지만 어떤면에서는 상당히 다릅니다. 개발 분야에서 따라야 할 기술은 신경 형성 컴퓨팅이며, 이는 부분적으로 신경 가소성에 영향을받습니다.

고려해야 할 마지막 차이점은 프로세스 토폴로지, 데이터 토폴로지 및 하드웨어 토폴로지입니다. 이 세 가지 기하학적 프레임은 흐름, 표현 및 역학 간의 관계를보다 직접적으로 매핑하는 특정 방식으로 정렬 된 경우 더 큰 효율성을 제공 할 수 있습니다. 그러나 이들은 고유 한 토폴로지입니다. 정렬의 의미는 이러한 개념과 특정 제품 또는 서비스 목표에 대해 나오는 세부 사항에 깊이 들어 가지 않으면 분명하지 않을 수 있습니다.

각주

[1] 단일 장치로 훈련되고 다른 인공 네트워크에 연결되지 않은 기능을하는 딥 네트워크는 반드시 모 놀리 식일 필요는 없습니다. 대부분의 실제 딥 네트워크는 활성화 기능과 종종 셀 유형 측면에서 이기종 계층 시퀀스를 갖습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.