«backpropagation» 태그된 질문

재미로 신경망을 개발하려고합니다. 역 전파의 경우 두 가지 기술을 보았습니다. 첫 번째는 여기 와 다른 많은 장소에서도 사용됩니다. 그것이하는 일은 : 각 출력 뉴런에 대한 오류를 계산합니다. 그것은 그것을 네트워크로 역 전파합니다 (각 내부 뉴런에 대한 오류를 계산합니다). 이 식에 가중치를 업데이트한다 : (여기서, 중량의 변화이며, 학습 속도 시냅스로부터의 입력을 …

17 neural-networks  machine-learning  backpropagation 

NN 에 각 레이어에 nnn 숨겨진 레이어, mmm 교육 예제, xxx 기능 및 ninin_i 노드가 포함되어 있다고 가정합니다 . 역 전파를 사용하여이 NN을 교육하는 데 시간이 얼마나 복잡합니까? 알고리즘의 시간 복잡성을 찾는 방법에 대한 기본 아이디어가 있지만 여기서는 반복, 레이어, 각 레이어의 노드, 학습 예제 및 더 많은 요소와 같이 …

17 neural-networks  machine-learning  backpropagation  time-complexity 

MSE가 볼록하기 때문에 훌륭하다고 언급 한 여러 자료. 그러나 나는 특히 신경망의 맥락에서 방법을 얻지 못합니다. 우리가 다음을 가지고 있다고 가정 해 봅시다. XXX: 훈련 데이터 세트 YYY: 목표 ΘΘ\Theta: 모델의 매개 변수 세트 fΘfΘf_\Theta (비선형 성을 갖는 신경망 모델) 그때: MSE(Θ)=(fΘ(X)−Y)2MSE⁡(Θ)=(fΘ(X)−Y)2\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2 이 손실 함수가 항상 …

9 neural-networks  math  backpropagation  gradient-descent