신경망 설계에 대한 경험 규칙이 있습니까?


12

신경망 아키텍처는 대부분 문제 자체와 입력 / 출력 유형을 기반으로하지만 여전히 빌드를 시작할 때 항상 "사각형"이 있다는 것을 알고 있습니다. 그래서 내 질문은 MxN 의 입력 데이터 세트 (M은 레코드 수, N은 피처 수) 및 C 가능한 출력 클래스 가 주어진다 는 것입니다. 우리는 몇 개의 레이어 / 단위로 시작해야하는 지름길이 있습니까?


이 질문에 대한 가능한 답변은 매우 특정한 문제입니다. 이미지 객체 인식에 유용한 규칙이있을 수 있지만 이러한 규칙은 다른 데이터 세트에서 작동하지 않을 수 있습니다.
horaceT

답변:


10

이 질문은 CrossValidated : 피드 포워드 신경망에서 숨겨진 레이어와 노드의 수를 선택하는 방법 에 대해 자세히 답변되었습니다 .

그러나 내 자신의 두 센트를 추가하겠습니다.

최고의 신경망 아키텍처를 선택하는 마법의 규칙은 없지만, 비슷한 문제를 해결하기 위해 누군가가 사용한 아키텍처를 찾을 수 있다면 이는 종종 훌륭한 출발점입니다.

가장 좋은 곳은 Keras, PyTorch 또는 Tensorflow와 같은 인기있는 신경망 라이브러리를 사용하는 공식 또는 비공식 예제와 학술 문헌에 설명 된 아키텍처입니다. github의 keras / examples 는 훌륭한 리소스입니다.

이러한 아키텍처는 많은 시행 착오 후에 선택되었을 가능성이 크므로 대부분의 작업이 완료되었습니다.


5
CrossValidated 답변에 대한 한 가지 경고는 현재 7 세 이상이며 숨겨진 계층 구성의 "우수한 요약"에 대한 15 세 이상의 FAQ를 가리 킵니다. 지난 7-15 년 동안 NN 구성에 대한 많은 작업이 있었다고 말하는 것은 약간의 과소 평가입니다. " 하나의 숨겨진 계층으로 충분 "체제를 벗어나는 응용 프로그램이 증가하고 있습니다 . 즉, 많은 문제에 대해 딥 러닝 접근법이 과도 할 수 있습니다. 숨겨진 단일 레이어로 시작하고 필요한 경우에만 깊이 들어가는 것이 확실한 전략입니다.
RM

1
좋은 지적, RM-그러나 두 번째 답변은 훨씬 더 최근입니다.
Imran

@Imran 나는 당신이 OP 질문에 대답하지 않았다고 생각합니다. 숨겨진 노드와 아키텍처의 선택은 여전히 ​​잘 이해되지 않은 매우 깊은 질문입니다. 교차 계층 연결이있는 ResNet 및 Wide ResNet을 감시하십시오.
horaceT

의견을 보내 주셔서 감사합니다. @horaceT. 시도한 대답은 "거의 규칙은 없지만 적용 할 수있는 휴리스틱이 있습니다"라는 의미였습니다. Res Nets를 알고 있습니다. 답변을 개선 할 수있는 방법을 알려주세요.
Imran

3

노드와 레이어의 구성이 가장 효율적인 방법을 탐색하여 신경망을 사용하여 다른 신경망을 설계한다는 아이디어를 탐구하는 논문을 읽었습니다. 다음은 PDF를 다운로드 할 수있는 페이지입니다 https://arxiv.org/abs/1611.02120


2

@Imran 의 답변에 이어, 이 논문 은 그가 링크 한 CrossValidated 게시물의 의견 중 하나에서 발견 되었습니다. 2.1 절에서 대신 유전자 모델을 사용하여 올바른 아키텍처를 찾으려는 시도 외에도 2.1 절에는 1/2 숨김 계층 시스템에 몇 개의 숨겨진 단위가 있어야하는지에 대한 이론적 한계가 제시되어 있습니다.

편집 : 나는이 정리를 테스트 했으며 유전자 모델을 사용하는 것이 무작위 아키텍처를 선택하는 것만 큼 좋습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.