학습 속도와 숨겨진 레이어 수의 관계?

10

신경망의 깊이와 학습률 사이에 경험의 규칙이 있습니까? 네트워크가 깊을수록 학습률이 낮아야한다는 것을 알았습니다.

맞다면 왜 그럴까요?

neural-networks  deep-learning  hyperparameter  rule-of-thumb 
— user_1177868
소스
1
부스팅 모델에 대한 관련 토론. stats.stackexchange.com/questions/168666/…
— Haitao Du
토론은 유용한 정보를 제공하지만 내 질문에 대답하지 않습니다. 댓글을 달 수 있습니까?
— user_1177868
1
그렇기 때문에 내가 의견을 제시했지만 대답하지는 않았고 귀하의 질문을 찬성했습니다.
— Haitao Du

답변:

4

이 질문에 대한 답이 여기 있습니다 :

신경망에서 학습률이 숨겨진 계층 크기에 비례해야합니까? 그들은 서로 영향을 미쳐야 하는가?

짧은 대답은 그렇습니다. 관계가 있습니다. 비록 관계가이 사소한 것은 아니지만, 숨겨진 층의 수가 증가함에 따라 최적화 표면이 더 복잡해 지므로 학습률이 일반적으로 더 우수하다는 것을 알 수 있습니다. 학습률이 낮 으면 로컬 최소 점을 고수하는 것이 가능하지만 복잡한 표면 및 높은 학습률보다 훨씬 낫습니다.

— 없는
소스
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.