是否有 GPT-2 实现允许我微调和提示文本完成？
Is there a GPT-2 implementation that allows me to fine-tune and prompt for text completion?
我希望在某些文本数据上微调 GPT-2 实现。然后我想用这个模型来完成一个文本提示。我可以使用 Max Woolf 的 gpt-2-simple implementation. And Neil Shepherd's fork OpenAI 轻松完成第一部分，它允许 GPT-2 在新数据上进行训练并完成文本。
但是，我的语料库太小，无法训练并且无法返回乱码。有什么办法可以结合这两个功能吗？理想情况下，我希望能够通过 python 界面（而不是 CLI）来执行此操作，因为我想使用 pandas 进行数据清理和你有什么。谢谢
Huggingface's Transformers 包具有用于 PyTorch 和 TensorFlow 的 GPT-2 实现（包括预训练模型）。您可以在 Python.
中轻松使用它们
然而，GPT-2 的微调需要大量内存，我不确定您是否能够对其进行完整的反向传播。在这种情况下，您只需微调几个最高层。
我希望在某些文本数据上微调 GPT-2 实现。然后我想用这个模型来完成一个文本提示。我可以使用 Max Woolf 的 gpt-2-simple implementation. And Neil Shepherd's fork OpenAI 轻松完成第一部分，它允许 GPT-2 在新数据上进行训练并完成文本。
但是，我的语料库太小，无法训练并且无法返回乱码。有什么办法可以结合这两个功能吗？理想情况下，我希望能够通过 python 界面（而不是 CLI）来执行此操作，因为我想使用 pandas 进行数据清理和你有什么。谢谢
Huggingface's Transformers 包具有用于 PyTorch 和 TensorFlow 的 GPT-2 实现（包括预训练模型）。您可以在 Python.
中轻松使用它们然而，GPT-2 的微调需要大量内存，我不确定您是否能够对其进行完整的反向传播。在这种情况下，您只需微调几个最高层。