사소한 문제를 해결하는 노드가 거의없는 신경망이 있습니까?


11

신경 노드가 존재하는지 알고 싶습니다. (= 80 % 이상의 정확도로) 사소한 문제를 해결하고 노드를 거의 사용하지 않는 노드 (20 개 노드가 하드 제한이 아님)를 알고 싶습니다. 신경망의 크기에 대한 직감을 개발하고 싶습니다.


범용 근사 정리 : 하나의 숨겨진 레이어가있는 신경망은 숨겨진 레이어에 충분한 수의 노드가 주어지면 "합리적인"기능에 근접 할 수 있습니다.
nbro

2
귀하의 질문에 대답하기가 쉽지 않을 것이라고 생각합니다. "사소하지 않은 문제"란 무엇을 의미합니까?
nbro

숨겨진 레이어에서도 노드를 거의 원하지 않습니다.
Guillermo Mosse가

@nbro이 문맥에서 "사소하지 않은"감각은 다루기 어렵거나 해결되지 않았습니다.
DukeZhou

답변:


13

사소한 비정의 가 잘 정의되지 않았기 때문에 (이 저자가 나중에이 질문을 더 잘 지정하기 위해 편집 할 수있을 것이므로)이 질문에 올바르게 대답하는 것이 불가능하더라도 , 나는이 논문을 지적 할 기회가 있습니다.

Ising Criticality를 배우는 가장 작은 신경망

Ising 모델에 대한 일반적인 아이디어를 가지고 있다고 가정하면 데이터 기반 관점에서 임계 온도를 식별하는 문제는 사소한 것으로 간주 될 수 있다고 생각하며 논문은 저자가 NN을 통과 하여이 작업을 해결하기 위해 성능을 개선 한 방법을 보여줍니다 이 백서에서 수행 한 100 개의 숨겨진 뉴런 ( 2017 년부터 물질 학습 단계 )에서 오직 2 개의 숨겨진 뉴런

내 센트 :

  • 좋은 성능을 유지하면서 뉴런을 감소시키는 것은 신경 처리 해석 성의 측면에서 악명 높고 신경질의 수에 따라 (지수 적으로) 복잡성이 커지는 데 도움이되어야 합니다.

3
나는 단지 공동체 자체가 흥미로운 것을 발견 한 예를 원했습니다. 나는 사소하지 않은 것을 정의하는 것이 실제로 사소한 것이 아니라고 생각합니다. 권리?
Guillermo Mosse가

1
@GuillermoMosse 아니요, 사소하지 않은 것을 정의하는 것은 매우 간단합니다. 정의는 상황에 가장 적합한 것에 따라 다소 임의적입니다. 나는 매우 간단한 NN이 주어진 숫자가 사소한 제곱근인지 아닌지 알 수 있다고 확신합니다.
forest
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.