使用 BERT 微调文本嵌入？

Question

分类任务微调时，文本嵌入是否也微调了？或者编码微调到哪一层（最后一层）？

Answer 1

如果您使用的是 Google 发布的 the original BERT repository，所有层都是可训练的；意思是：一点也不冻结。您可以通过打印 tf.trainable_variables().

来检查