«deep-learning» 태그된 질문

신경망을 훈련하고 있지만 훈련 손실은 줄어들지 않습니다. 이 문제를 어떻게 해결할 수 있습니까? 과적 합이나 정규화에 대해 묻지 않습니다. 훈련 세트 에서 네트워크 성능이 향상되지 않는 문제를 해결하는 방법에 대해 묻고 있습니다. 이 질문은 의도적으로 일반적이므로 신경망을 훈련하는 방법에 대한 다른 질문은 "사람에게 물고기를 주면 하루 동안 먹이를 주지만 남자에게 …

147 neural-networks  deep-learning 

비선형 성의 최첨단 기술은 심층 신경망에서 시그 모이 드 기능 대신 정류 선형 단위 (ReLU)를 사용하는 것입니다. 장점은 무엇입니까? ReLU를 사용할 때 네트워크를 훈련하는 것이 더 빠르며 생물학적으로 더 영감을 받는다는 것을 알고 있습니다. 다른 장점은 무엇입니까? (즉, S 자형을 사용하면 어떤 단점이 있습니까?)

141 machine-learning  neural-networks  deep-learning 

최근에 저는 딥 러닝에 대해 읽었으며 용어 (또는 기술)에 대해 혼란스러워합니다. 차이점은 무엇입니까 컨볼 루션 신경망 (CNN) 제한된 볼츠만 기계 (RBM) 및 자동 인코더?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

이 용어로 질문이 정확하게 언급 된 것을 보지 못했기 때문에 새로운 질문을합니다. 내가 알고 싶은 것은 신경망의 정의가 아니라 깊은 신경망과의 실제 차이점을 이해하는 것입니다. 자세한 내용은 신경망이 무엇인지, 역 전파가 어떻게 작동하는지 알고 있습니다. DNN에 숨겨진 레이어가 여러 개 있어야한다는 것을 알고 있습니다. 그러나 10 년 전 클래스 I에서 …

113 neural-networks  deep-learning 

현재 Udacity Deep Learning Tutorial을하고 있습니다. 레슨 3에서는 1x1 컨벌루션에 대해 이야기합니다. 이 1x1 컨볼 루션은 Google Inception Module에서 사용됩니다. 1x1 컨볼 루션이 무엇인지 이해하는 데 문제가 있습니다. 나는 또한 Yann Lecun 의이 게시물 을 보았습니다. 누군가 나에게 친절하게 설명해 주시겠습니까?

106 neural-networks  deep-learning  convolution  conv-neural-network 

이미지를 정규화하는 방법에는 몇 가지 변형이 있지만 대부분 다음 두 가지 방법을 사용하는 것 같습니다. 모든 이미지에서 계산 된 채널당 평균을 빼십시오 (예 : VGG_ILSVRC_16_layers ) 모든 이미지에서 계산 된 픽셀 / 채널로 빼기 (예 : CNN_S , Caffe 's reference network 참조 ) 자연스러운 접근 방식은 각 이미지를 정규화하는 …

88 deep-learning  image-processing 

최근 몇 년 동안 4 개의 공간 에서 최첨단 네트워크가 7 층 ( AlexNet )에서 1000 층 ( 잔여 그물) 으로 이동하면서 회선 신경 네트워크 (또는 일반적으로 깊은 신경 네트워크)가 점점 더 깊어 졌습니다. 연령. 더 깊은 네트워크에서 성능이 향상되는 이유는 더 복잡한 비선형 기능을 배울 수 있기 때문입니다. 충분한 …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

확률 적 경사 하강에서의 에포크 (epoch)는 데이터를 통한 단일 통과로 정의된다. 각 SGD 미니 배치에 샘플이 추출되고, 기울기가 계산되고 매개 변수가 업데이트됩니다. 에포크 설정에서 샘플은 교체없이 추출됩니다.kkk 그러나 이것은 불필요한 것 같습니다. 각 반복마다 전체 데이터 세트에서 랜덤 드로우 로 각 SGD 미니 배치를 그리지 않겠 습니까? 많은 수의 에포크 …

69 neural-networks  deep-learning  gradient-descent 

사람들이 '깊은 믿음'네트워크를 언급 할 때 이것이 기본적으로 신경망이지만 매우 크다는 인상을 받고 있습니다. 이것이 정확합니까? 아니면 믿음 네트워크가 알고리즘 자체가 다르다는 것을 의미합니까 (즉, 피드 포워드 신경망은 없지만 피드백 루프가있는 것)?

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

딥 러닝 신경망에 적합한 R 라이브러리가 있는지 궁금합니다. 나는이 알고 nnet, neuralnet그리고 RSNNS,이 중에 깊은 학습 방법을 구현하기 위해 보이지 않는다. 나는 특히 감독되지 않은 학습과 감독 학습에 관심이 있고 공동 적응을 방지하기 위해 중퇴를 사용 합니다. / 편집 : 몇 년 후, h20 딥 러닝 패키지가 매우 잘 설계되고 …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

나는 딥 러닝 분야에서 새로운 것이었고 첫 번째 단계는 deeplearning.net 사이트에서 흥미로운 기사를 읽는 것이 었습니다. 딥 러닝에 관한 논문에서 Hinton과 다른 사람들은 대부분 이미지 문제에 적용하는 것에 대해 이야기합니다. 누군가 내게 대답하려고 할 때 시계열 값 (재무, 인터넷 트래픽 등)을 예측하는 문제에 적용 할 수 있습니까? 가능한 경우 집중해야 …

54 time-series  machine-learning  prediction  deep-learning  deep-belief-networks 

대부분의 Tensorflow 코드에서 Adam Optimizer가 일정한 학습 속도 1e-4(예 : 0.0001) 와 함께 사용되는 것을 보았습니다 . 코드는 일반적으로 다음과 같습니다. ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

재발 성 신경망과 재귀 신경망이 있습니다. 둘 다 일반적으로 동일한 약어로 표시됩니다 : RNN. Wikipedia 에 따르면 Recurrent NN은 실제로 Recursive NN이지만 설명을 이해하지 못합니다. 또한, 자연어 처리에 어떤 것이 더 나은지 (예를 들어) 알지 못하는 것 같습니다. 사실 Socher는 자신의 튜토리얼 에서 NLP에 재귀 NN을 사용하지만 재귀 신경 네트워크의 …

48 machine-learning  neural-networks  deep-learning  natural-language 

최근 몇 년 동안 CNN (Convolutional Neural Networks)은 컴퓨터 비전의 객체 인식을위한 최첨단 기술이되었습니다. 일반적으로 CNN은 여러 개의 컨볼 루션 레이어로 구성되고 그 뒤에 완전히 연결된 두 레이어가 있습니다. 이것에 대한 직관은 컨볼 루션 레이어가 입력 데이터의 더 나은 표현을 배우고 완전히 연결된 레이어는 레이블 세트 로이 표현을 분류하는 법을 …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

Rong Ge 의 최근 블로그 게시물 에서 다음과 같이 말했습니다. 딥넷 학습을 포함한 많은 문제의 경우 거의 모든 지역 최소값이 전역 최적 값과 매우 유사한 기능 값을 가지므로 지역 최소값을 찾는 것으로 충분합니다. 이 믿음은 어디에서 왔습니까?

45 machine-learning  neural-networks  optimization  deep-learning