针对特定领域微调 Bert（无监督）
Fine-tune Bert for specific domain (unsupervised)
我想针对与特定领域相关的文本（在我的案例中与工程相关）微调 BERT。培训应该是无人监督的，因为我没有任何标签或任何东西。这可能吗？
您实际上想要的是继续 pre-training 对来自您特定域的文本进行 BERT。在这种情况下，您要做的是继续将模型训练为掩码语言模型，但要使用您的 domain-specific 数据。
您可以使用 Huggingface 变形金刚中的 run_mlm.py 脚本。
我想针对与特定领域相关的文本（在我的案例中与工程相关）微调 BERT。培训应该是无人监督的，因为我没有任何标签或任何东西。这可能吗？
您实际上想要的是继续 pre-training 对来自您特定域的文本进行 BERT。在这种情况下，您要做的是继续将模型训练为掩码语言模型，但要使用您的 domain-specific 数据。
您可以使用 Huggingface 变形金刚中的 run_mlm.py 脚本。