BERT微调

Question

我正在尝试创建基于 BERT 的问答模型，但无法理解微调的含义。我理解对吗，它就像是针对特定领域的适应？如果我想将它与维基百科语料库一起使用，我只需要在我的网络中集成未更改的预训练模型？

Answer 1

微调是将预训练的 BERT 模型用于两件事：

1. 域
2. 任务（例如分类、实体提取等）。

您可以先按原样使用预训练模型，如果性能足够，可能不需要针对您的用例进行微调。

Answer 2

微调更像是对下游任务采用pre-trained模型。但是，最近 state-of-the-art proves that finetuning doesn't help much with QA tasks. See also the following post.