Keras에서 다른 길이의 예제를 사용하여 RNN 교육

RNN에 대해 배우려고 노력 중이며 Keras를 사용하고 있습니다. 바닐라 RNN 및 LSTM 레이어의 기본 전제를 ​​이해하고 있지만 교육을위한 특정 기술 요점을 이해하는 데 어려움을 겪고 있습니다.

에서 keras 문서 , 그것은 RNN 층에 입력이 모양이 있어야합니다 말한다 (batch_size, timesteps, input_dim). 이것은 모든 훈련 예제가 고정 된 시퀀스 길이, 즉timesteps .

그러나 이것은 특별한 것이 아닙니다. 그렇지 않습니까? RNN이 다양한 길이의 문장에서 작동하도록 할 수 있습니다. 내가 어떤 말뭉치에 대해 훈련시킬 때, 나는 길이가 다른 모든 문장들을 배치 할 것입니다.

분명히해야 할 일은 훈련 세트에서 시퀀스의 최대 길이를 찾아서 제로 패딩하는 것입니다. 그렇다면 테스트 시간에 입력 길이가 그보다 큰 예측을 할 수 없다는 것을 의미합니까?

이것은 Keras의 특정 구현에 대한 질문이지만, 일반적으로 이런 종류의 문제에 직면했을 때 사람들이 일반적으로하는 일을 묻습니다.

이 모든 훈련 예, 즉, 고정 된 시퀀스 길이를 가지고 있음을 시사한다 timesteps.

치수가 None가변 길이 일 수 있기 때문에 정확하지 않습니다 . 단일 배치 내 에서 동일한 수의 시간 간격을 가져야합니다 (일반적으로 0 패딩 및 마스킹이 표시되는 위치). 그러나 배치 간에는 그러한 제한이 없습니다. 추론하는 동안 길이를 늘릴 수 있습니다.

임의의 시간 길이의 훈련 데이터를 생성하는 예제 코드.

from keras.models import Sequential
from keras.layers import LSTM, Dense, TimeDistributed
from keras.utils import to_categorical
import numpy as np

model = Sequential()

model.add(LSTM(32, return_sequences=True, input_shape=(None, 5)))
model.add(LSTM(8, return_sequences=True))
model.add(TimeDistributed(Dense(2, activation='sigmoid')))

print(model.summary(90))

model.compile(loss='categorical_crossentropy',
              optimizer='adam')

def train_generator():
    while True:
        sequence_length = np.random.randint(10, 100)
        x_train = np.random.random((1000, sequence_length, 5))
        # y_train will depend on past 5 timesteps of x
        y_train = x_train[:, :, 0]
        for i in range(1, 5):
            y_train[:, i:] += x_train[:, :-i, i]
        y_train = to_categorical(y_train > 2.5)
        yield x_train, y_train

model.fit_generator(train_generator(), steps_per_epoch=30, epochs=10, verbose=1)

그리고 이것이 인쇄되는 것입니다. 출력 형태는 (None, None, x)가변 배치 크기 및 가변 타임 스텝 크기를 나타냅니다.

__________________________________________________________________________________________
Layer (type)                            Output Shape                        Param #
==========================================================================================
lstm_1 (LSTM)                           (None, None, 32)                    4864
__________________________________________________________________________________________
lstm_2 (LSTM)                           (None, None, 8)                     1312
__________________________________________________________________________________________
time_distributed_1 (TimeDistributed)    (None, None, 2)                     18
==========================================================================================
Total params: 6,194
Trainable params: 6,194
Non-trainable params: 0
__________________________________________________________________________________________
Epoch 1/10
30/30 [==============================] - 6s 201ms/step - loss: 0.6913
Epoch 2/10
30/30 [==============================] - 4s 137ms/step - loss: 0.6738
...
Epoch 9/10
30/30 [==============================] - 4s 136ms/step - loss: 0.1643
Epoch 10/10
30/30 [==============================] - 4s 142ms/step - loss: 0.1441

@kbrose는 더 나은 솔루션을 가지고있는 것 같습니다

분명히해야 할 일은 훈련 세트에서 시퀀스의 최대 길이를 찾아서 제로 패딩하는 것입니다.

이것은 일반적으로 좋은 해결책입니다. 어쩌면 최대 길이 + 100을 사용해보십시오. 응용 프로그램에 가장 적합한 것을 사용하십시오.

그렇다면 테스트 시간에 입력 길이가 그보다 큰 예측을 할 수 없다는 것을 의미합니까?

반드시 그런 것은 아닙니다. 케 라스에서 고정 길이가 사용되는 이유는 고정 모양의 텐서를 생성하여 성능을 크게 향상시키기 때문입니다. 그러나 그것은 훈련만을위한 것입니다. 훈련 후, 당신은 당신의 작업에 적합한 무게를 배웁니다.

몇 시간 동안 훈련 한 후 모델의 최대 길이가 충분히 크지 않았으며 시간 단계를 변경하고 이전 모델에서 학습 된 가중치를 추출하고 새로운 시간 단계로 새 모델을 작성해야한다고 가정 해 봅시다. 학습 된 분동을 주입합니다.

아마도 다음과 같이 사용하면됩니다 :

new_model.set_weights(old_model.get_weights())

나는 그것을 직접 시도하지 않았다. 사용해 보시고 결과를 여기에 게시하십시오. 다음은 몇 가지 링크입니다. 하나 둘