숨겨진 레이어를 2 개만 사용하여 숫자 정렬


10

Ilya Sutskever와 Quoc Le의 신경망을 이용한 시퀀스 학습 의 초석 논문을 읽고 있습니다. 첫 페이지에는 다음과 같이 간단히 언급되어 있습니다.

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size 

숨겨진 레이어를 2 개만 사용하여 숫자를 정렬하는 방법을 간략하게 설명 할 수 있습니까?

답변:


3

몇 가지 연구를 통해 최대 3 개의 레이어로 정렬을 수행 할 수 있으며 네트워크의 크기를 다항식으로 제한하는 경우 해당 솔루션이 최적이라는 것을 입증하는 논문을 발견했습니다.

나눗셈 및 관련 문제에 대한 심도 효율적인 신경망 은 955 페이지의 정리 7 (PDF의 10 페이지)을 참조하십시오.


1
관련 논문을 찾아 주셔서 감사합니다! 실제로,이 논문은 "깊이"3으로 정렬을 수행하는데, 이것은 단지 두 개의 숨겨진 레이어를 의미하는 것으로 보입니다. 하한, "바운드 깊이의 임계 회로" igi-web.tugraz.at/people/maass/psfiles/34o.pdf(ResearchGate 에도 있음) esp 페이지 131-132 (3 pdf에서 -4).
벤 레이니 거

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.