BERT:Question-Answering - 允许的训练总数 words/tokens
BERT:Question-Answering - Total number of permissible words/tokens for training
假设我想针对某个二进制标签 (1,0) 用 2 个句子（查询-答案）对训练 BERT，以获得答案的正确性，BERT 会让我每个使用 512 words/tokens对于查询和答案或一起（查询+答案组合）它们应该是 512？ [510 忽略 [start] 和 [sep] 标记]
提前致谢！
在一起，实际上应该是 509，因为有两个 [SEP]，一个在问题之后，另一个在答案之后：
[CLS] q_word1 q_word2 ... [SEP] a_word1 a_word2 ... [SEP]
其中 q_word 指的是问题中的词，a_word 指的是答案中的词
假设我想针对某个二进制标签 (1,0) 用 2 个句子（查询-答案）对训练 BERT，以获得答案的正确性，BERT 会让我每个使用 512 words/tokens对于查询和答案或一起（查询+答案组合）它们应该是 512？ [510 忽略 [start] 和 [sep] 标记]
提前致谢！
在一起，实际上应该是 509，因为有两个 [SEP]，一个在问题之后，另一个在答案之后：
[CLS] q_word1 q_word2 ... [SEP] a_word1 a_word2 ... [SEP]
其中 q_word 指的是问题中的词，a_word 指的是答案中的词