我可以制作一个基于 transformer 的聊天机器人，它在其他数据集上进行过预训练吗？
Can I make a transformer based chatbot which is pretrained on some other dataset?
我目前正在根据此页面的教程制作医疗变压器聊天机器人：
https://blog.tensorflow.org/2019/05/transformer-chatbot-tutorial-with-tensorflow-2.html
我正在使用医学文本语料库questions/answers。当我训练模型并对其进行测试时，它只会给出与医学领域相关的问题的答案。但是，我想创建一个可以回答 'How are you' 和 'I need help' 等基本问题的对话式聊天机器人。有没有办法可以使用一些预训练的权重，然后在我的医疗数据集上训练模型？
我对自然语言处理领域还很陌生，所以真的可以使用一些指导。谢谢！
一般的解决方案是设计一些可以填写问题答案的对话框模板。然后使用 qa 模型生成合成数据集。您应该能够将生成的数据用于 train/finetune/setup 您的聊天机器人。
其余的是关于您到达那里的项目中的重要细节！
我目前正在根据此页面的教程制作医疗变压器聊天机器人：
https://blog.tensorflow.org/2019/05/transformer-chatbot-tutorial-with-tensorflow-2.html
我正在使用医学文本语料库questions/answers。当我训练模型并对其进行测试时，它只会给出与医学领域相关的问题的答案。但是，我想创建一个可以回答 'How are you' 和 'I need help' 等基本问题的对话式聊天机器人。有没有办法可以使用一些预训练的权重，然后在我的医疗数据集上训练模型？ 我对自然语言处理领域还很陌生，所以真的可以使用一些指导。谢谢！
一般的解决方案是设计一些可以填写问题答案的对话框模板。然后使用 qa 模型生成合成数据集。您应该能够将生成的数据用于 train/finetune/setup 您的聊天机器人。 其余的是关于您到达那里的项目中的重要细节！