如何在带有嵌入层的keras中构建序列到序列自动编码器？

Question

我想在 keras 中构建一个序列到序列自动编码器。目的是"doc2vec"。

在keras博客的文档中，我找到了一个例子：https://blog.keras.io/building-autoencoders-in-keras.html

from keras.layers import Input, LSTM, RepeatVector
from keras.models import Model

inputs = Input(shape=(timesteps, input_dim))
encoded = LSTM(latent_dim)(inputs)

decoded = RepeatVector(timesteps)(encoded)
decoded = LSTM(input_dim, return_sequences=True)(decoded)

sequence_autoencoder = Model(inputs, decoded)
encoder = Model(inputs, encoded)

如果我需要为此添加一个嵌入层怎么办？如果我们正在处理一段文本，我们假设应该首先对文本进行标记化，用预训练的向量嵌入它，对吧？

我需要在解码器中使用 Dense 或 time distributed dense 层吗？我需要颠倒序列的顺序吗？

提前致谢。

Answer 1

嵌入层 只能用作模型中的第一层 作为 documentation 状态，所以像这样：

inputs = Input(shape=(timesteps, input_dim))
embedded = Embedding(vocab_size, embedding_size, mask_zero=True, ...))(inputs)
encoded = LSTM(latent_dim)(embedded)

我们应该首先对文本进行标记化，用预训练的向量嵌入它，对吧？是的，这是默认选项。如果你有足够大的语料库，你 只训练你自己的嵌入 否则 GloVe are often used. There is a Keras example 使用 GloVe 和内部 Tokenizer 将文本传递到带有嵌入层的模型.

对于解码，您将需要一个 Dense 层，但使用 TimeDistributed 是版本 2 的可选。默认情况下 Dense 会将内核应用于您的 3D 张量的每个时间步通过：

decoded = RepeatVector(timesteps)(encoded)
decoded = LSTM(input_dim, return_sequences=True)(decoded)
decoded = Dense(vocab_size, activation='softmax')(decoded)
# (batch_size, timesteps, vocab_size)

值得注意的是，取前N个出现频率最高的词会加快训练速度，否则softmax的计算成本会很高。 Keras 示例也采用有限数量的单词，并且每个其他单词都映射到一个特殊的未知标记。

如何在带有嵌入层的keras中构建序列到序列自动编码器？

how to build Sequence-to-sequence autoencoder in keras with embedding layer?

python

keras

rnn

autoencoder