GPT-2 的 "prompt" 可以输入多少个字符
How many characters can be input into the "prompt" for GPT-2
我正在使用来自 github
的 OpenAI GPT-2 模型
我认为 top_k 参数决定了采样的令牌数量。这也是决定可以给出多大提示的参数吗？
如果top_k = 40，提示可以有多大？
GPT-2 在 character-level 上不起作用，但在子词级别上起作用。训练的文本段的最大长度为 1,024 个子词。
它使用基于byte-pair-encoding的词汇表。在这种编码下，频繁词保持完整，不频繁词被拆分成几个单元，最终分解到字节级别。实际上，分割看起来像这样（69 个字符，17 个子词）：
Hello , ▁Stack Over flow ! ▁This ▁is ▁an ▁example ▁how _a ▁string ▁gets ▁segment ed .
在训练时，提示和答案没有区别，所以唯一的限制是提示和答案总共不能超过1024个子词。理论上，你可以继续生成超过这个，但是历史模型认为永远不能再长了。
top_k 的选择仅影响内存要求。长查询也需要更多内存，但这可能不是主要限制
我正在使用来自 github
的 OpenAI GPT-2 模型我认为 top_k 参数决定了采样的令牌数量。这也是决定可以给出多大提示的参数吗？
如果top_k = 40，提示可以有多大？
GPT-2 在 character-level 上不起作用，但在子词级别上起作用。训练的文本段的最大长度为 1,024 个子词。
它使用基于byte-pair-encoding的词汇表。在这种编码下，频繁词保持完整，不频繁词被拆分成几个单元，最终分解到字节级别。实际上，分割看起来像这样（69 个字符，17 个子词）：
Hello , ▁Stack Over flow ! ▁This ▁is ▁an ▁example ▁how _a ▁string ▁gets ▁segment ed .
在训练时，提示和答案没有区别，所以唯一的限制是提示和答案总共不能超过1024个子词。理论上，你可以继续生成超过这个，但是历史模型认为永远不能再长了。
top_k 的选择仅影响内存要求。长查询也需要更多内存，但这可能不是主要限制