如何使用 pytorch 中的 nn.TransTransformerEncoder
How to use nn.TransTransformerEncoder from pytorch
我正在尝试使用 PyTorch 的“'nn.TransformerEncoder'”模块进行分类任务。
我有不同长度的数据点，即我有不同长度的序列。所有序列都有一个对应的输出（目标为 0 或 1）。[![enter code here][1]][1]
这张图片概述了我的数据集
这张图片显示了序列长度的变化
但是每个序列的条目长度相同。
我想使用这个数据集来训练 Transformer 的编码器部分，以便能够预测相应的输出。
我该怎么做呢？有没有我可以在线查看的示例？
这取决于您的数据实际是什么样子以及您期望什么样的输出。一般来说，我会建议您使用 HuggingFace 的 Transformers Library，它们有很多文档和详细的代码示例供您使用——还有一个活跃的论坛。这是他们对 Encoder-Decoder Models 的描述 link。希望对你有所帮助。
我正在尝试使用 PyTorch 的“'nn.TransformerEncoder'”模块进行分类任务。
我有不同长度的数据点，即我有不同长度的序列。所有序列都有一个对应的输出（目标为 0 或 1）。[![enter code here][1]][1]
这张图片概述了我的数据集
这张图片显示了序列长度的变化
但是每个序列的条目长度相同。
我想使用这个数据集来训练 Transformer 的编码器部分，以便能够预测相应的输出。 我该怎么做呢？有没有我可以在线查看的示例？
这取决于您的数据实际是什么样子以及您期望什么样的输出。一般来说，我会建议您使用 HuggingFace 的 Transformers Library，它们有很多文档和详细的代码示例供您使用——还有一个活跃的论坛。这是他们对 Encoder-Decoder Models 的描述 link。希望对你有所帮助。