使用 Transformer 进行文本摘要
Using Transformer for Text-Summarization
我正在为 text-summarization 使用 huggingface transformer 模型。
目前我正在测试不同的模型，例如 T5 和 Pegasus。
现在，这些模型经过训练，可以将大文本总结成非常短的句子，最多两句话。现在我有任务，我想要摘要，大约是文本大小的一半，因此生成的摘要对于我的目的来说太小了。
我现在的问题是，是否有办法告诉模型之前有另一个句子？
有点类似于有状态 RNN 内部的逻辑（尽管我知道它们的工作方式完全不同）。
如果是的话，我可以总结小 windows 的句子总是与内容之前的信息。
这只是我的想法吗？我不敢相信我是唯一一个想要创建更短摘要的人，但不仅仅是一两句长摘要。
谢谢
为什么不迁移学习？根据您的特定文本和摘要对他们进行培训。
我在 5 个 epoch 的特定有限文本上训练 T5 并获得了非常好的结果。我采用了这里的代码来满足我的需要 https://github.com/patil-suraj/exploring-T5/blob/master/t5_fine_tuning.ipynb
如果您有具体的培训问题，请告诉我。
我正在为 text-summarization 使用 huggingface transformer 模型。 目前我正在测试不同的模型，例如 T5 和 Pegasus。 现在，这些模型经过训练，可以将大文本总结成非常短的句子，最多两句话。现在我有任务，我想要摘要，大约是文本大小的一半，因此生成的摘要对于我的目的来说太小了。
我现在的问题是，是否有办法告诉模型之前有另一个句子？ 有点类似于有状态 RNN 内部的逻辑（尽管我知道它们的工作方式完全不同）。 如果是的话，我可以总结小 windows 的句子总是与内容之前的信息。
这只是我的想法吗？我不敢相信我是唯一一个想要创建更短摘要的人，但不仅仅是一两句长摘要。
谢谢
为什么不迁移学习？根据您的特定文本和摘要对他们进行培训。
我在 5 个 epoch 的特定有限文本上训练 T5 并获得了非常好的结果。我采用了这里的代码来满足我的需要 https://github.com/patil-suraj/exploring-T5/blob/master/t5_fine_tuning.ipynb
如果您有具体的培训问题，请告诉我。