«backpropagation» 태그된 질문

이것은 한동안 나에 대한 작은 개념적 질문입니다. 신경망에서 최대 풀링 레이어를 통해 어떻게 역 전파 할 수 있습니까? Torch 7의 nn 라이브러리에 대한 자습서 를 진행하면서 최대 풀링 레이어를 발견했습니다 . 라이브러리는 딥 네트워크의 각 레이어에 대한 그라디언트 계산 및 전달 패스를 추상화합니다. 최대 풀링 레이어에 대한 그래디언트 계산이 어떻게 …

62 neural-network  backpropagation 

나는 잠시 동안 신경망을 사용하고 있습니다. 그러나 내가 끊임없이 어려움을 겪고있는 한 가지는 네트워크 교육을위한 최적화 프로그램을 선택하는 것입니다 (backprop 사용). 내가 일반적으로하는 것은 하나 (예 : 표준 SGD)로 시작한 다음 다른 사람들을 거의 임의로 시도합니다. 좋은 옵티 마이저를 찾는 더 나은 (그리고 덜 무작위적인) 접근법이 있는지 궁금합니다. SGD (운동량 …

18 neural-network  optimization  backpropagation 

ReLU를 사용하여 전파를 되 찾는 데 어려움을 겪고 있으며 일부 작업을 수행했지만 제대로 진행되고 있는지 확실하지 않습니다. 비용 함수 : y는실수 값이고, y는 예측값이다. 또한항상x> 0이라고 가정하십시오.12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2yyyy^y^\hat yxxx 1 층 ReLU, 1 층의 무게는 w1w1w_1 dCdw1=dCdRdRdw1dCdw1=dCdRdRdw1\frac{dC}{dw_1}=\frac{dC}{dR}\frac{dR}{dw_1} dCw1=(y−ReLU(w1x))(x)dCw1=(y−ReLU(w1x))(x)\frac{dC}{w_1}=(y-ReLU(w_1x))(x) 첫 번째 레이어의 가중치가 w2w2w_2 이고 두 번째 레이어가 2 레이어 ReLU, …

17 neural-network  backpropagation 

슬라이딩 윈도우 방식으로 훈련하면 LSTM을 과도하게 맞출 수 있습니까? 사람들이 왜 LSTM에 그것을 사용하지 않는 것 같습니까? 간단한 예를 들어, 문자 순서를 예측해야한다고 가정하십시오. A B C D E F G H I J K L M N O P Q R S T U V W X Y Z …

15 lstm  backpropagation  mini-batch-gradient-descent 

다음과 같은 CNN이 있습니다. 5x5 크기의 입력 이미지로 시작합니다. 그런 다음 2x2 커널과 stride = 1을 사용하여 회선을 적용하여 크기가 4x4 인 기능 맵을 생성합니다. 그런 다음 stride = 2로 2x2 최대 풀링을 적용하여 기능 맵을 크기 2x2로 줄입니다. 그런 다음 로지스틱 시그 모이 드를 적용합니다. 그런 다음 2 개의 …

15 machine-learning  convnet  backpropagation  cnn  kernel 

이 질문에 대한 작은 하위 질문 이 있습니다. 최대 풀링 레이어를 통해 역 전파 할 때 최대로 선택된 이전 레이어의 뉴런이 모든 그라디언트를 얻는 방식으로 그라디언트가 다시 라우팅됩니다. 100 % 확실하지 않은 것은 다음 레이어의 그라디언트가 풀링 레이어로 다시 라우팅되는 방식입니다. 첫 번째 질문은 풀링 레이어가 아래 이미지와 같이 완전히 …

14 machine-learning  neural-network  convnet  backpropagation 

CNN에 필요한 가중치와 바이어스의 수를 파악하려고합니다. (3, 32, 32) 이미지가 있고 (32, 5, 5) 필터를 적용하고 싶다고 가정 해보십시오. 각 기능 맵마다 5x5 가중치가 있으므로 3 x (5x5) x 32 매개 변수가 있어야합니다. 이제 편견을 추가해야합니다. 나는 (3 x (5x5) + 1) x 32 매개 변수 만 가지고 있다고 생각하므로 …

11 deep-learning  convnet  backpropagation