LSTM 단위 대 세포 이해

나는 한동안 LSTM을 공부하고있다. 모든 것이 어떻게 작동하는지 높은 수준에서 이해합니다. 그러나 Tensorflow를 사용하여 구현하려고하면 BasicLSTMCell 에 많은 단위 (즉 num_units) 매개 변수가 필요 하다는 것을 알았습니다 .

에서 이 LSTMs의 매우 철저한 설명, 내가 한 것을 수집 한 LSTM 장치는 다음 중 하나입니다

실제로 GRU 단위입니다.

그 매개 변수 가정 num_units의는 BasicLSTMCell우리가 레이어에 서로 후크하는 방법이 많이 언급된다.

이 질문에서 "셀"이란 무엇입니까? "셀 (cell)"은 정상적인 피드 포워드 신경망의 계층과 동등합니까?

불행하게도 용어가 일치하지 않습니다. num_unitsTensorFlow에서 숨겨진 상태의 수, 즉 방정식에서 의 치수입니다 .$h_t$

또한 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/api_docs/python/functions_and_classes/shard9/tf.nn.rnn_cell.RNNCell.md :

이 패키지의 셀 정의는 문헌에 사용 된 정의와 다릅니다. 문헌에서 cell은 단일 스칼라 출력을 가진 객체를 말합니다. 이 패키지의 정의는 이러한 단위의 수평 배열을 나타냅니다.

"LSTM 레이어"는 아마도 더 명백 할 것입니다. 예 :

def lstm_layer(tparams, state_below, options, prefix='lstm', mask=None):
    nsteps = state_below.shape[0]
    if state_below.ndim == 3:
        n_samples = state_below.shape[1]
    else:
        n_samples = 1

    assert mask is not None
    […]

대부분의 LSTM / RNN 다이어그램은 숨겨진 셀만 표시하지만 해당 셀의 단위는 표시하지 않습니다. 따라서 혼란. 각 숨겨진 레이어에는 시간 단계 수만큼 숨겨진 셀이 있습니다. 또한 각 숨겨진 셀은 아래 다이어그램과 같이 여러 개의 숨겨진 단위로 구성됩니다. 따라서 RNN에서 숨겨진 계층 매트릭스의 차원은 (시간 단계 수, 숨겨진 단위 수)입니다.

문제는 이 답변 에서 대답 한 것과 거의 동일하지만이 문제 를 설명하고 싶습니다. 그래서 오늘 seq2seq 모델 (@Franck Dernoncourt의 답변 덕분에)에서 약간 혼란 스럽습니다. 이 간단한 엔코더 다이어그램에서 :

$h_i$

내 의견으로는 셀은 숨겨진 노드와 같은 노드를 의미합니다. 숨겨진 노드라고도합니다. 멀티 레이어 LSTM 모델의 경우 셀 수는 time_steps * num_layers로 계산할 수 있으며 num_units는 time_steps와 같습니다

Keras의 해당 단위는 출력 공간의 차원으로, 네트워크가 반복되는 지연 시간 (time_step)의 길이와 같습니다.

keras.layers.LSTM(units, activation='tanh', ....)

https://keras.io/layers/recurrent/