使用 LSTM 自动编码器重新创建输入

Question

我正在尝试使用 LSTM 对我的输入数据进行编码，然后 decode/recreate 从编码数据中提取它。我有几个运行的 100 个样本，每个样本有 40 个时间步长和 1260 个特征。我对网络外观的粗略想法如下。将数据输入到 LSTM 层，将其编码到密集层，然后使用最终的 LSTM 作为输出层。

model = Sequential()
model.add(LSTM(100, input_shape=(40, 1260), return_sequences=True))
model.add(Dense(100, activation='softmax'))
model.add(LSTM(1260))

model.compile(loss='mse', optimizer=adam, metrics=['accuracy'])
model.fit(input_train, input_test, epochs=100, batch_size=1, verbose=2)

我试过不同的维度大小和隐藏层数，但我无法获得接近 1% 左右的准确度。提前致谢

更新代码：

timesteps = 40
features = 1260

model = Sequential()
model.add(LSTM(200, input_shape=(timesteps,features)))
model.add(RepeatVector(timesteps))
model.add(TimeDistributed(Dense(features)))
model.add(LSTM(1260, return_sequences=True))
model.summary()
opt = keras.optimizers.Adam(lr=0.001)
model.compile(loss='mse', optimizer=opt, metrics=['accuracy'])
model.fit(input_train, input_test, epochs=200, batch_size=16, verbose=1)

Answer 1

glass3,

很可能是由于引入 Dense 层而没有将其值随时间传播而导致的错误。在大多数 LSTM 自动编码器结构中，我观察到在编码器之后使用 keras.layers.RepeatVector()，在解码器之后使用 keras.layers.TimeDistributed(keras.layers.Dense())。尝试复制示例中的结构，然后逐渐修改它们。

使用 LSTM 自动编码器重新创建输入

Recreate input with LSTM autoencoder

python

tensorflow

keras

lstm

autoencoder