我在理解 TensorFlow 中的 LSTM 模型时遇到一些困难。
我用tflearn http://tflearn.org/作为包装器,因为它自动完成所有初始化和其他更高级别的工作。为了简单起见,我们考虑这个示例程序 https://github.com/tflearn/tflearn/blob/master/examples/nlp/lstm.py. Until line 42 https://github.com/tflearn/tflearn/blob/master/examples/nlp/lstm.py#L40, net = tflearn.input_data([None, 200])
,很清楚会发生什么。您将数据集加载到变量中并使其具有标准长度(在本例中为 200)。在这种情况下,输入变量和 2 个类都转换为 one-hot 向量。
LSTM如何获取输入? 它通过多少个样本来预测输出?
什么是net = tflearn.embedding(net, input_dim=20000, output_dim=128)
代表?
我的目标是复制 http://jeffdonahue.com/lrcn/中的活动识别数据集paper http://arxiv.org/abs/1411.4389。例如,我想输入一个 4096 个向量作为 LSTM 的输入,想法是取 16 个这样的向量,然后产生分类结果。我认为代码看起来像这样,但我不知道应该如何给出 LSTM 的输入。
from __future__ import division, print_function, absolute_import
import tflearn
from tflearn.data_utils import to_categorical, pad_sequences
from tflearn.datasets import imdb
train, val = something.load_data()
trainX, trainY = train #each X sample is a (16,4096) nd float64
valX, valY = val #each Y is a one hot vector of 101 classes.
net = tflearn.input_data([None, 16,4096])
net = tflearn.embedding(net, input_dim=4096, output_dim=256)
net = tflearn.lstm(net, 256)
net = tflearn.dropout(net, 0.5)
net = tflearn.lstm(net, 256)
net = tflearn.dropout(net, 0.5)
net = tflearn.fully_connected(net, 101, activation='softmax')
net = tflearn.regression(net, optimizer='adam',
loss='categorical_crossentropy')
model = tflearn.DNN(net, clip_gradients=0., tensorboard_verbose=3)
model.fit(trainX, trainY, validation_set=(testX, testY), show_metric=True,
batch_size=128,n_epoch=2,snapshot_epoch=True)