몇 개의 LSTM 셀을 사용해야합니까?

사용해야하는 최소, 최대 및 "합리적인"양의 LSTM 셀과 관련된 경험 법칙 (또는 실제 규칙)이 있습니까? 특히 TensorFlow 및 속성의 BasicLSTMCell 과 관련이 num_units있습니다.

분류 문제가 다음과 같이 정의되었다고 가정하십시오.

t - number of time steps
n - length of input vector in each time step
m - length of output vector (number of classes)
i - number of training examples

예를 들어, 훈련 예제 수가 다음보다 커야한다는 것이 사실입니까?

4*((n+1)*m + m*m)*c

c세포의 수는 어디에 있습니까? 나는 이것을 이것을 기반으로 : LSTM 네트워크의 매개 변수 수를 계산하는 방법? 내가 이해하는 것처럼, 이것은 총 매개 변수 수를 제공해야하며 이는 훈련 예제 수보다 적어야합니다.

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

— 커뮤니티
소스

하이퍼 파라미터 튜닝뿐만 아니라 순차적 딥 러닝 모델을 비교하는 주제를 훌륭하게 다루는이 백서를 확인 하겠습니다 . 레이어는 성능을 향상 시키지만 수익이 감소하고 교육 시간이 늘어납니다.

— CubeBot88 2016 년

최소한의 훈련 예는 다음과 같습니다.

4 (엔 미디엄 + 엔^{2})

$4(nm + n^2)$

자세한 정보는이 기사를 참조하십시오. 시각적 도움이 필요한 경우이 링크를 참조하십시오 . LSTM 모델의 매개 변수 수

스택의 각 레이어에있는 단위 수는 다를 수 있습니다. 예를 들어 Tensorflow의 translate.py에서 1024, 512 또는 거의 모든 숫자로 구성 할 수 있습니다. 교차 검증을 통해 최상의 범위를 찾을 수 있습니다. 그러나 스택의 각 레이어에서 1000 및 500 개의 단위를 모두 보았습니다. 나는 개인적으로 더 작은 숫자로 테스트했습니다.

— 알리
소스