如何在 Allennlp 2.4.0 中使用放大器训练？

Question

我从 https://medium.com/ai2-blog/tutorial-training-on-larger-batches-with-less-memory-in-allennlp-1cd2047d92ad 学会了在训练模型上使用 AMP 和 GA 技巧， 不过2.4.0好像不支持了？

文件“/root/anaconda3/envs/allennlp/lib/python3.6/site-packages/allennlp/training/util.py”，第 217 行，在 create_serialization_dir f“训练配置中‘{key}’的值与”

中的值不匹配

Answer 1

感谢您的回答！@Dirk Groeneveld。 最后，在 allennlp 2.4.0 中使用 AMP 的正确方法：

"trainer": {
    "type":"gradient_descent",
    "use_amp": true,
    "num_gradient_accumulation_steps": 4,
    "distributed": true,
    ...
    }