«deep-learning» 태그된 질문

FlattenKeras 에서 기능 의 역할을 이해하려고합니다 . 아래는 간단한 2 계층 네트워크 인 내 코드입니다. 모양 (3, 2)의 2 차원 데이터를 가져 와서 모양 (1, 4)의 1 차원 데이터를 출력합니다. model = Sequential() model.add(Dense(16, input_shape=(3, 2))) model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(4)) model.compile(loss='mean_squared_error', optimizer='SGD') x = np.array([[[1, 2], [3, 4], [5, 6]]]) y …

108 machine-learning  tensorflow  neural-network  deep-learning  keras 

고유 벡터가 10 개인 경우 입력 계층에 10 개의 신경 노드를 가질 수 있습니다 .5 개의 출력 클래스가 있으면 출력 계층에 5 개의 노드를 가질 수 있습니다. 그러나 MLP에서 숨겨진 계층의 수와 신경의 수를 선택하는 기준은 무엇입니까? 1 개의 은닉층에있는 노드?

104 machine-learning  neural-network  deep-learning  perceptron 

Keras를 사용하여 프로젝트를 위해 신경망을 훈련하고 있습니다. Keras는 조기 중지 기능을 제공했습니다. 조기 중지를 사용하여 신경망이 과적 합되는 것을 방지하기 위해 어떤 매개 변수를 관찰해야하는지 알 수 있습니까?

100 python  keras  deep-learning  conv-neural-network 

예제 코드를 고려하십시오 . 그라디언트가 폭발 할 가능성이있는 RNN에서이 네트워크에 그라디언트 클리핑을 적용하는 방법을 알고 싶습니다. tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) 이것은 사용할 수있는 예이지만 어디에서 소개해야합니까? RNN의 정의 lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0) # Split data because rnn cell needs a list of inputs for the RNN inner loop _X = …

96 python  machine-learning  tensorflow  deep-learning  lstm 

최근에 convolutional text classification에 대한 흥미로운 구현을 검토했습니다 . 그러나 내가 검토 한 모든 TensorFlow 코드는 다음과 같은 임의의 (사전 학습되지 않은) 임베딩 벡터를 사용합니다. with tf.device('/cpu:0'), tf.name_scope("embedding"): W = tf.Variable( tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), name="W") self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) 아무도 Word2vec 또는 GloVe 사전 훈련 …

95 python  numpy  tensorflow  deep-learning 

TensorFlow를 사용하여 구현 된 많은 사용 가능한 신경망 코드에서 정규화 용어는 손실 값에 추가 용어를 수동으로 추가하여 구현되는 경우가 많습니다. 내 질문은 다음과 같습니다. 수동으로 수행하는 것보다 더 우아하거나 권장되는 정규화 방법이 있습니까? 나는 또한 그것이 get_variable논쟁 을 가지고 있음 을 발견했다 regularizer. 어떻게 사용해야합니까? 내 관찰에 따르면 정규화를 여기에 …

94 python  neural-network  tensorflow  deep-learning 

rnn에 대한 가변 길이 시퀀스 입력에 패킹을 사용하는 방법 을 복제하려고 했지만 먼저 시퀀스를 "포장"해야하는 이유를 이해해야합니다. 나는 우리가 그것들을 "패딩"해야하는 이유를 이해하지만 "패킹"(부터 pack_padded_sequence)이 필요한 이유는 무엇입니까? 높은 수준의 설명을 주시면 감사하겠습니다!

93 deep-learning  pytorch  recurrent-neural-network  tensor  zero-padding 

github (link) 에서 LSTM 언어 모델의이 예제를 살펴 보았습니다 . 일반적으로하는 일은 나에게 매우 분명합니다. 그러나 나는 여전히 contiguous()코드에서 여러 번 발생 하는 호출 이 무엇을하는지 이해하는 데 어려움을 겪고 있습니다. 예를 들어 74/75 행의 코드 입력 및 LSTM의 대상 시퀀스가 ​​생성됩니다. 데이터 (에 저장 됨 ids)는 2 차원이며 첫 …

90 neural-network  deep-learning  lstm  pytorch  contiguous 

LSTM 모델을 처음으로 실행하고 있습니다. 내 모델은 다음과 같습니다. opt = Adam(0.002) inp = Input(...) print(inp) x = Embedding(....)(inp) x = LSTM(...)(x) x = BatchNormalization()(x) pred = Dense(5,activation='softmax')(x) model = Model(inp,pred) model.compile(....) idx = np.random.permutation(X_train.shape[0]) model.fit(X_train[idx], y_train[idx], nb_epoch=1, batch_size=128, verbose=1) 모델을 훈련하는 동안 verbose를 사용하는 것은 무엇입니까?

89 python  deep-learning  keras  verbose 

이것은 TensorFlow 웹 사이트의 튜토리얼 코드 입니다. 아무도 무슨 global_step뜻 인지 설명 할 수 있습니까? Tensorflow 웹 사이트에서 global step is used count training steps 라고 썼지 만 정확히 무엇을 의미하는지는 모르겠습니다. 또한 설정할 때 숫자 0은 무엇을 의미 global_step합니까? def training(loss,learning_rate): tf.summary.scalar('loss',loss) optimizer = tf.train.GradientDescentOptimizer(learning_rate) # Why 0 as …

88 tensorflow  deep-learning 

이미지를 분류하는 모델을 훈련 시키려고합니다. 내가 가진 문제는 크기가 다르다는 것입니다. 내 이미지 / 또는 모델 아키텍처를 어떻게 포맷해야합니까?

87 deep-learning 

나는 reuters-example 데이터 세트를 가지고 놀고 있고 잘 실행됩니다 (내 모델은 훈련되었습니다). 모델을 저장하는 방법에 대해 읽었으므로 나중에로드하여 다시 사용할 수 있습니다. 하지만이 저장된 모델을 사용하여 새 텍스트를 예측하려면 어떻게해야합니까? 나는 사용 models.predict()합니까? 이 텍스트를 특별한 방법으로 준비해야합니까? 나는 그것을 시도했다 import keras.preprocessing.text text = np.array(['this is just some random, …

87 python  theano  deep-learning  keras 

훈련 중에 자주 발생하는 것이 NAN소개되고 있음을 알았습니다 . 종종 내부 제품 / 완전 연결 또는 컨볼 루션 레이어의 가중치로 인해 발생하는 것처럼 보입니다. 그래디언트 계산이 폭발하기 때문에 발생합니까? 아니면 가중치 초기화 때문입니까 (그렇다면 가중치 초기화가이 효과가있는 이유)? 아니면 입력 데이터의 특성 때문일까요? 여기서 가장 중요한 질문은 간단합니다. NAN이 훈련 …

85 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

손으로 쓴 숫자 이미지로 구성된 MNIST 데이터 세트의 pkl 파일이 있습니다. 각 숫자 이미지를 살펴보고 싶기 때문에 pkl 파일의 압축을 풀어야하지만 방법을 찾을 수 없습니다. pkl 파일의 압축을 풀거나 압축을 푸는 방법이 있습니까?

83 python  pickle  deep-learning  mnist 

Keras에서 TimeDistributed 래퍼가 수행하는 작업을 파악하려고합니다. TimeDistributed는 "입력의 모든 시간 조각에 레이어를 적용합니다." 하지만 실험을 좀 해보니 이해할 수없는 결과가 나왔습니다. 요컨대 LSTM 계층과 관련하여 TimeDistributed 및 Just Dense 계층은 동일한 결과를 나타냅니다. model = Sequential() model.add(LSTM(5, input_shape = (10, 20), return_sequences = True)) model.add(TimeDistributed(Dense(1))) print(model.output_shape) model = Sequential() model.add(LSTM(5, …

82 python  machine-learning  keras  neural-network  deep-learning