«tensorflow» 태그된 질문

대부분의 Tensorflow 코드에서 Adam Optimizer가 일정한 학습 속도 1e-4(예 : 0.0001) 와 함께 사용되는 것을 보았습니다 . 코드는 일반적으로 다음과 같습니다. ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

특히, 나는이 진술에 대해 궁금해한다고 생각합니다. TensorFlow의 향후 주요 버전에서는 기본적으로 그라디언트가 backprop의 레이블 입력으로 흐를 수 있습니다. 내가 사용할 때 표시됩니다 tf.nn.softmax_cross_entropy_with_logits. 같은 메시지에서 나는 그것을 볼 것을 촉구한다 tf.nn.softmax_cross_entropy_with_logits_v2. 나는 문서를 살펴 보았지만 다음과 같은 내용만을 언급했다 tf.nn.softmax_cross_entropy_with_logits_v2. 역전 파는 로짓과 레이블 모두에서 발생합니다. 역 전파를 레이블로 전파하지 …

40 machine-learning  supervised-learning  tensorflow  backpropagation 

우선, 이진 예측을 수행해야하는 경우 원 핫 인코딩을 수행하여 두 개 이상의 클래스를 만들어야한다는 것을 깨달았습니다. 이 올바른지? 그러나 클래스가 하나 뿐인 예측에 대해서만 이진 교차 엔트로피입니까? TensorFlow와 같은 대부분의 라이브러리에서 일반적으로 발견되는 범주 형 크로스 엔트로피 손실을 사용한다면 큰 차이가 있습니까? 실제로 범주와 이진 교차 엔트로피의 정확한 차이점은 무엇입니까? …

35 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

입력이 이미지이고 레이블이 80과 350 사이의 연속적인 값인 회귀 문제를 연구하고 있습니다. 이미지는 반응 후 일부 화학 물질입니다. 밝혀지는 색은 남은 다른 화학 물질의 농도를 나타내며 모델이 출력하는 것입니다-화학 물질의 농도. 이미지를 회전, 뒤집기, 대칭시킬 수 있으며 예상 출력은 여전히 ​​동일해야합니다. 이러한 종류의 분석은 실제 실험실에서 수행됩니다 (매우 전문화 된 …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

나는 한동안 LSTM을 공부하고있다. 모든 것이 어떻게 작동하는지 높은 수준에서 이해합니다. 그러나 Tensorflow를 사용하여 구현하려고하면 BasicLSTMCell 에 많은 단위 (즉 num_units) 매개 변수가 필요 하다는 것을 알았습니다 . 에서 이 LSTMs의 매우 철저한 설명, 내가 한 것을 수집 한 LSTM 장치는 다음 중 하나입니다 실제로 GRU 단위입니다. 그 매개 변수 …

32 neural-networks  terminology  lstm  rnn  tensorflow 

신경망으로 데이터의 차원을 줄이는 데있어 Hinton과 Salakhutdinov는 과학 2006 은 딥 오토 인코더를 사용하여 비선형 PCA를 제안했습니다. Tensorflow를 사용하여 PCA 자동 인코더를 빌드하고 훈련하려고 시도했지만 선형 PCA보다 더 나은 결과를 얻을 수 없었습니다. 자동 인코더를 효율적으로 훈련시킬 수있는 방법은 무엇입니까? (@amoeba의 나중에 편집 :이 질문의 원래 버전에는 올바르게 작동하지 않는 …

31 pca  python  deep-learning  tensorflow  autoencoders 

이 질문이 여기에 속하는지 확실하지 않지만 최적화의 그라디언트 방법과 밀접한 관련이 있습니다. 어쨌든 다른 커뮤니티가 주제에 대해 더 나은 전문 지식을 가지고 있다고 생각되면 자유롭게 마이그레이션하십시오. 요컨대, 역 모드 자동 차별화 의 단계별 예제를 찾고 있습니다. 주제에 대한 많은 문헌은 없으며 기존 구현 ( TensorFlow의 것과 같은 )은 그 뒤에있는 …

27 optimization  derivative  tensorflow  automatic-differentiation 

VAE에서 보았던 거의 모든 코드 예제에서 손실 함수는 다음과 같이 정의됩니다 (이것은 텐서 흐름 코드이지만 테 아노, 토치 등에서도 비슷합니다. 또한 convnet 용이지만 너무 관련이 없습니다. , 합계가 인수되는 축에만 영향을 미칩니다) : # latent space loss. KL divergence between latent space distribution and unit gaussian, for each batch. # …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

나는 최근에 텐서 흐름을 실행하고 배우고 있었고 해석하는 방법을 모르는 몇 가지 히스토그램을 얻었습니다. 보통 막대의 높이를 주파수 (또는 상대 주파수 / 카운트)로 생각합니다. 그러나 일반적인 히스토그램에서와 같이 막대가 없으며 사물이 음영 처리된다는 사실이 혼란스러워합니다. 한 번에 많은 선 / 높이가있는 것 같습니까? 다음 그래프를 해석하는 방법을 아는 사람이 있습니까 …

23 machine-learning  neural-networks  conv-neural-network  tensorflow 

Tensorflow에 의해 숨겨진 레이어가 하나 인 간단한 신경망을 가지고 놀고 있었고 숨겨진 레이어에 대해 다른 활성화를 시도했습니다. 렐루 시그 모이 드 Softmax (일반적으로 softmax는 마지막 레이어에서 사용됩니다.) Relu는 최고의 열차 정확도 및 검증 정확도를 제공합니다. 이것을 설명하는 방법을 잘 모르겠습니다. 우리는 Relu가 그라디언트 사라짐과 같은 희소성과 같은 좋은 특성을 가지고 …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve 

비트 자동 인코더를 실험하고 있으며 tensorflow를 사용하여 MNIST 데이터 세트를 재구성하는 모델을 만들었습니다. 내 네트워크는 매우 간단합니다. X, e1, e2, d1, Y. 여기서 e1과 e2는 인코딩 레이어이고 d2와 Y는 디코딩 레이어입니다 (Y는 재구성 된 출력). X는 784 개, e1은 100, e2는 50, d1은 다시 100, Y 784를 다시 갖습니다. 레이어 …

22 mse  autoencoders  tensorflow  cross-entropy 

Tensorflow의 ResNet 구현에서 분산 스케일링 이니셜 라이저를 사용하고 xavier 이니셜 라이저가 인기가 있음을 알았습니다. 나는 이것에 대한 경험이 많지 않아 실제로는 더 낫습니까?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

신경망 용어 (y = Weight * x + bias)와 관련하여 어떤 변수가 다른 변수보다 더 중요한지 어떻게 알 수 있습니까? 10 개의 입력, 20 개의 노드가있는 1 개의 숨겨진 레이어 및 1 개의 노드가있는 1 개의 출력 레이어가있는 신경망이 있습니다. 어떤 입력 변수가 다른 변수보다 더 영향력이 있는지 아는 방법을 …

20 machine-learning  neural-networks  bias  tensorflow  theano 

LSTM 신경망에서 다음 블로그를 살펴보고 있습니다. http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ 저자는 LSTM의 다른 구성을 위해 입력 벡터 X를 [샘플, 시간 단계, 특징]으로 재구성합니다. 저자는 쓴다 실제로, 문자의 순서는 별개의 특징의 1 시간 단계가 아닌 하나의 특징의 시간 단계이다. 우리는 네트워크에 더 많은 맥락을 주었지만 예상했던 것보다 더 많은 순서는 없습니다 이것은 무엇을 의미 …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Tensorflow에는 CIFAR-10 분류에 대한 예제 자습서가 있습니다. 자습서에서 배치 전체의 평균 교차 엔트로피 손실이 최소화됩니다. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). 1-D tensor of shape [batch_size] Returns: Loss …

17 neural-networks  loss-functions  tensorflow