«derivative» 태그된 질문

역 전파가 softmax / cross-entropy 출력 레이어에서 어떻게 작동하는지 이해하려고합니다. 교차 엔트로피 오류 함수는 E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j 과 와 출력 뉴런의 목표 출력으로서 J 각각. 합계는 출력 레이어의 각 뉴런 위에 있습니다. o를 J 자체 softmax를 함수의 결과이다 :tttooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} 다시, 합은 출력 레이어의 각 뉴런 위에 있으며 …

40 backpropagation  derivative  softmax  cross-entropy 

Coursera에서 기계 학습 스탠포드 코스를하고 있습니다. 로지스틱 회귀에 관한 장에서 비용 함수는 다음과 같습니다. 그런 다음 여기에서 파생됩니다. 비용 함수의 미분을 얻으려고했지만 완전히 다른 것을 얻었습니다. 파생 상품은 어떻게 얻습니까? 중개 단계는 무엇입니까?

29 regression  logistic  gradient-descent  derivative 

이 질문이 여기에 속하는지 확실하지 않지만 최적화의 그라디언트 방법과 밀접한 관련이 있습니다. 어쨌든 다른 커뮤니티가 주제에 대해 더 나은 전문 지식을 가지고 있다고 생각되면 자유롭게 마이그레이션하십시오. 요컨대, 역 모드 자동 차별화 의 단계별 예제를 찾고 있습니다. 주제에 대한 많은 문헌은 없으며 기존 구현 ( TensorFlow의 것과 같은 )은 그 뒤에있는 …

27 optimization  derivative  tensorflow  automatic-differentiation 

책 패턴 인식 및 기계 학습 (공식 1.27)에서 피와이( y) = p엑스( x ) ∣∣∣디엑스디와이∣∣∣= p엑스( g( y) ) | 지'( y) |피와이(와이)=피엑스(엑스)|디엑스디와이|=피엑스(지(와이))|지'(와이)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | 여기서 , 는 변수의 변경과 관련하여 해당하는 pdf입니다 .x = g( y)엑스=지(와이)x=g(y)피엑스( x )피엑스(엑스)p_x(x)피와이( y)피와이(와이)p_y(y) 이 책은 …

16 machine-learning  probability  self-study  derivative  jacobian 

위치, 속도 및 가속도에 대한 측정 값이 포함 된 데이터 세트가 있습니다. 모두 같은 "실행"에서 나옵니다. 선형 시스템을 구성하고 모든 측정에 다항식을 맞출 수 있습니다. 그러나 스플라인으로도 동일한 작업을 수행 할 수 있습니까? 이것을하는 'R'방법은 무엇입니까? 다음은 내가 원하는 시뮬레이션 데이터입니다. f <- function(x) 2+x-0.5*x^2+rnorm(length(x), mean=0, sd=0.1) df <- function(x) …

14 r  model  fitting  splines  derivative 

나는 가우시안 프로세스 (GP)의 미분이 또 다른 GP라고 생각하므로 GP의 미분의 예측 방정식에 대해 닫힌 형태 방정식이 있는지 알고 싶습니다. 특히, 나는 제곱 지수 (가우시안이라고도 함) 공분산 커널을 사용하고 있으며 가우시안 프로세스의 미분에 대한 예측을 알고 싶습니다.

12 stochastic-processes  gaussian-process  derivative 

딥 러닝에 관한 Goodfellow (2016)의 저서에서 그는 L2 정규화 ( https://www.deeplearningbook.org/contents/regularization.html 247 쪽) 의 조기 중지와 동등한 내용에 대해 이야기했습니다 . 비용 함수 의 2 차 근사값 은 다음과 같습니다.jjj 제이^( θ ) = J( 승※) + 12( w − w※)티H( w − w※)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) 여기서 는 헤 시안 행렬입니다 (식 …

11 neural-networks  deep-learning  loss-functions  derivative 

나는 어떤 시점에서 다른 확률에 대한 하나의 확률 측정의 Radon-Nikodym 미분을 사용하는 것을 보았는데, 특히 Kullback-Leibler 발산에서 임의의 매개 변수 에 대한 모델의 확률 측정의 미분 실제 매개 변수 과 관련하여 :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} 둘 다 매개 변수 값에 조건부 인 데이터 포인트 공간에 대한 확률 측정치 인 경우 .Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

신경망 (NNs)은 특정 가정 (네트워크 및 근사 함수)에서 함수 및 그 파생어에 대한 보편적 근사기로 간주 될 수 있음을 이해합니다. 사실, 단순하지만 사소한 함수 (예 : 다항식)에 대해 여러 가지 테스트를 수행했으며 실제로 함수와 첫 번째 미분을 대략적으로 근사 할 수있는 것 같습니다 (예는 아래에 표시됨). 그러나 나에게 분명하지 않은 …

11 machine-learning  neural-networks  function  derivative 

Andrew Ng의 기계 학습 과정에서 그는 다음 공식을 사용합니다. ∇Atr(ABATC)=CAB+CTABT∇ㅏ티아르 자형(ㅏ비ㅏ티씨)=씨ㅏ비+씨티ㅏ비티\nabla_A tr(ABA^TC) = CAB + C^TAB^T 그는 다음과 같이 빠른 증거를 수행합니다. ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇ㅏ티아르 자형(ㅏ비ㅏ티씨)=∇ㅏ티아르 자형(에프(ㅏ)ㅏ티씨)=∇∘티아르 자형(에프(∘)ㅏ티씨)+∇∘티아르 자형(에프(ㅏ)∘티씨)=(ㅏ티씨)티에프'(∘)+(∇∘티티아르 자형(에프(ㅏ)∘티씨)티=씨티ㅏ비티+(∇∘티티아르 자형(∘티)씨에프(ㅏ))티=씨티ㅏ비티+((씨에프(ㅏ))티)티=씨티ㅏ비티+씨ㅏ비\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T …

10 machine-learning  matrix  derivative