有没有办法增加预训练词嵌入的维度？
Is there a way to increase dimensionality of pre-trained Word Embeddings?
我几乎是刚刚接触 NLP 研究，在 NLP 和 NLP 中使用的机器学习技术上苦苦挣扎。
我现在要处理的问题是，是否有某种方法可以将预训练词嵌入（如 GloVe 嵌入）的维数从固定大小 100 增加到比方说 512？
我问这个问题的原因是我使用这些嵌入来训练预定义维度为 100 的 RNN 网络。现在，我已经切换到自注意力机制（变形金刚），模型高度对训练参数敏感。所以，我想知道我是否可以以某种方式（例如，使用感知器，或者 MLP）将 100d 嵌入转换为新的 space 和 512d。
我在这里问之前用谷歌搜索了这个，但最终没有找到可靠的来源。
我了解到您想将 100d 嵌入到采用维度 512 输入的网络中。为此，您需要将嵌入向量投影到更高的维度。您可以使用一个简单的 feed-forward/linear 层来接收大小为 100 的输入。使层的隐藏大小为所需的大小，在本例中为 512。另外，请注意，这应该是正在训练的整个网络的一部分，即前馈层应该是可训练的。
我几乎是刚刚接触 NLP 研究，在 NLP 和 NLP 中使用的机器学习技术上苦苦挣扎。
我现在要处理的问题是，是否有某种方法可以将预训练词嵌入（如 GloVe 嵌入）的维数从固定大小 100 增加到比方说 512？
我问这个问题的原因是我使用这些嵌入来训练预定义维度为 100 的 RNN 网络。现在，我已经切换到自注意力机制（变形金刚），模型高度对训练参数敏感。所以，我想知道我是否可以以某种方式（例如，使用感知器，或者 MLP）将 100d 嵌入转换为新的 space 和 512d。
我在这里问之前用谷歌搜索了这个，但最终没有找到可靠的来源。
我了解到您想将 100d 嵌入到采用维度 512 输入的网络中。为此，您需要将嵌入向量投影到更高的维度。您可以使用一个简单的 feed-forward/linear 层来接收大小为 100 的输入。使层的隐藏大小为所需的大小，在本例中为 512。另外，请注意，这应该是正在训练的整个网络的一部分，即前馈层应该是可训练的。