在 Allennlp 中，我们如何在 PretrainedTransformerMismatchedEmbedder 中设置 "sub_module" 参数？

Question

如题。我想使用 BART 或 T5 作为嵌入器，我想使用 PretrainedTransformerMismatchedEmbedder 因为在嵌入之后我想在令牌级别上做一些操作。但是我发现“sub_module”参数在不匹配的嵌入器中不可用，在使用 EncDec PLM 作为嵌入器时似乎需要该参数。我们应该如何为不匹配的嵌入器设置这个参数？还是这个论点与不匹配的嵌入器不兼容？

Answer 1

你完全正确，我们应该为不匹配的嵌入器设置 submodule。如果你做一个 PR 来添加它，我很乐意审查它并把它合并。