为什么 Bert 格式需要一次性列？
Why is a throw-away column required in Bert format?
我最近遇到了 Bert（Bidirectional Encoder Representations from Transformers）。我看到 Bert 对训练数据有严格的格式要求。需要的第三列说明如下：
第 3 列： 全部为相同字母的列 — 这是您需要包含的一次性列，因为 BERT 模型需要它。
什么是一次性列？既然声明它包含相同的字母，为什么数据集中需要该列？
谢谢。
BERT 在两项任务上进行了预训练 - 掩码语言建模和下一句预测。
您所说的第三列仅用于下一句预测和需要多句的下游任务，例如问答。在这些情况下，列的值不会只是 A 或 0 的所有内容。第1句全0，第2句全1，表示前者为A句，后者为B句
我最近遇到了 Bert（Bidirectional Encoder Representations from Transformers）。我看到 Bert 对训练数据有严格的格式要求。需要的第三列说明如下：
第 3 列： 全部为相同字母的列 — 这是您需要包含的一次性列，因为 BERT 模型需要它。
什么是一次性列？既然声明它包含相同的字母，为什么数据集中需要该列？
谢谢。
BERT 在两项任务上进行了预训练 - 掩码语言建模和下一句预测。
您所说的第三列仅用于下一句预测和需要多句的下游任务，例如问答。在这些情况下，列的值不会只是 A 或 0 的所有内容。第1句全0，第2句全1，表示前者为A句，后者为B句