«gradient-descent» 태그된 질문

나는 PyTorch의 문서를 읽고 있고 그들이 쓰는 예제를 찾았습니다. gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) 여기서 x는 y가 생성 된 초기 변수입니다 (3- 벡터). 문제는 그래디언트 텐서의 0.1, 1.0 및 0.0001 인수는 무엇입니까? 문서는 그것에 대해 명확하지 않습니다.

112 neural-network  gradient  pytorch  torch  gradient-descent 

이 메서드 zero_grad()는 훈련 중에 호출해야합니다. 그러나 문서 는별로 도움이되지 않습니다. | zero_grad(self) | Sets gradients of all model parameters to zero. 이 메서드를 호출해야하는 이유는 무엇입니까?

112 python  neural-network  deep-learning  pytorch  gradient-descent 

닫은. 이 질문은 Stack Overflow 지침을 충족하지 않습니다 . 현재 답변을 받고 있지 않습니다. 이 질문을 개선하고 싶으십니까? Stack Overflow의 주제에 맞게 질문을 업데이트하세요 . 어제 휴무 입니다. 이 질문 개선 신경망을 처음부터 구축하려고합니다. 모든 AI 문헌에는 네트워크가 더 빠르게 수렴하기 위해 가중치를 임의의 숫자로 초기화해야한다는 합의가 있습니다. 그러나 신경망 …

105 machine-learning  neural-network  artificial-intelligence  mathematical-optimization  gradient-descent 

훈련 중에 자주 발생하는 것이 NAN소개되고 있음을 알았습니다 . 종종 내부 제품 / 완전 연결 또는 컨볼 루션 레이어의 가중치로 인해 발생하는 것처럼 보입니다. 그래디언트 계산이 폭발하기 때문에 발생합니까? 아니면 가중치 초기화 때문입니까 (그렇다면 가중치 초기화가이 효과가있는 이유)? 아니면 입력 데이터의 특성 때문일까요? 여기서 가장 중요한 질문은 간단합니다. NAN이 훈련 …

85 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

내 자신의 그라디언트 부스팅 알고리즘을 작성하려고합니다. 나는이 같은 기존 패키지는 이해 gbm하고 xgboost,있지만이 알고리즘은 내 자신을 작성하여 작동 방식을 이해하고 싶었다. iris데이터 세트를 사용하고 있으며 결과는 Sepal.Length(연속)입니다. 내 손실 함수는 mean(1/2*(y-yhat)^2)(기본적으로 앞면이 1/2 인 평균 제곱 오차)이므로 해당 그라디언트는 잔차 y - yhat입니다. 0에서 예측을 초기화하고 있습니다. library(rpart) data(iris) #Define …

10 r  machine-learning  gradient-descent  gbm  boosting