在 Tensorflow 2.0 中的简单 LSTM 层之上添加注意力

Question

我有一个包含一个 LSTM 和两个 Dense 层的简单网络：

model = tf.keras.Sequential()
model.add(layers.LSTM(20, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(layers.Dense(20, activation='sigmoid'))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(loss='mean_squared_error')

它正在对具有 3 个输入（标准化 0 到 1.0）和 1 个输出（二进制）的数据进行训练，以进行分类。数据是时间序列数据，其中时间步长之间存在关系。

    var1(t)   var2(t)   var3(t)  var4(t)
0  0.448850  0.503847  0.498571      0.0
1  0.450992  0.503480  0.501215      0.0
2  0.451011  0.506655  0.503049      0.0

模型是这样训练的：

history = model.fit(train_X, train_y, epochs=2800, batch_size=40, validation_data=(test_X, test_y), verbose=2, shuffle=False)
model.summary()

给出模型总结：

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm (LSTM)                  (None, 20)                1920      
_________________________________________________________________
dense (Dense)                (None, 20)                420       
_________________________________________________________________
dense_1 (Dense)              (None, 1)                 21        
=================================================================
Total params: 2,361
Trainable params: 2,361
Non-trainable params: 0

该模型运行良好。现在我正在尝试用注意力层替换 Dense(20) 层。在线的所有示例、教程等（包括 TF 文档）均适用于在输入层具有嵌入层的 seq2seq 模型。我了解 TF v1.x 中的 seq2seq 实现，但我找不到关于我正在尝试做的事情的任何文档。我相信新的 API (v2.0) 我需要做这样的事情：

lstm = layers.LSTM(20, input_shape=(train_X.shape[1], train_X.shape[2]), return_sequences=True)
lstm = tf.keras.layers.Bidirectional(lstm)
attention = layers.Attention() # this does not work

model = tf.keras.Sequential()
model.add(lstm)
model.add(attention)
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(loss='mean_squared_error')

当然我得到错误“必须在输入列表上调用注意层，即 [query, value] 或 [query, value, key]”。 =15=]

我不明白版本 (2.0) 中对此的解决方案以及针对这种情况（具有固定长度输入的时间序列数据）的解决方案。欢迎任何关于增加对此类问题的关注的想法。

Answer 1

我最终找到了问题的两个答案，都来自 pypi.org 上的图书馆。第一种是self-attention，可以用Keras（Keras TF 2.0之前的集成版本）实现，如下...

        model = keras.models.Sequential()
        model.add(keras.layers.LSTM(cfg.LSTM, input_shape=(cfg.TIMESTEPS,
                  cfg.FEATURES),
                  return_sequences=True))
        model.add(SeqSelfAttention(attention_width=cfg.ATTNWIDTH,
                attention_type=SeqSelfAttention.ATTENTION_TYPE_MUL,
                attention_activation='softmax',
                name='Attention'))
        model.add(keras.layers.Dense(cfg.DENSE))
        model.add(keras.layers.Dense(cfg.OUTPUT, activation='sigmoid'))

第二种方法是 more general solution 与 post TF 2.0 集成 Keras 一起工作，如下所示...

        model = tf.keras.models.Sequential()
        model.add(layers.LSTM(cfg.LSTM, input_shape=(cfg.SEQUENCES,
                  train_X.shape[2]),
                  return_sequences=True))
        model.add(Attention(name='attention_weight'))
        model.add(layers.Dense(train_Y.shape[2], activation='sigmoid'))

它们的行为略有不同，产生的结果也大不相同。 self-attention 库将维度从 3 减少到 2，并且在预测时你会得到每个输入向量的预测。一般注意机制维护 3D 数据并输出 3D，并且在预测时你只能得到每批次的预测。如果您想对每个输入向量进行预测，可以通过将预测数据重塑为批量大小 1 来解决此问题。

至于结果，self-attention 确实产生了优于 LSTM 单独的结果，但并不比其他增强如 dropout 或 more dense，layers 等好。一般的注意力似乎并没有给 LSTM 带来任何好处LSTM 模型，在很多情况下会使事情变得更糟，但我仍在调查中。

无论如何，都可以做到，但是到底该不该做，至今存疑。

在 Tensorflow 2.0 中的简单 LSTM 层之上添加注意力

Adding Attention on top of simple LSTM layer in Tensorflow 2.0

python

tensorflow

keras

lstm

attention-model