冻结 keras 层是否会减少训练所需的内存？
Does freezing keras layers reduce memory needed for training?
我有一个无法放入我的 vram 的大型模型的预训练权重。如果我冻结图层，训练所需的内存会减少吗？如果是这样，冻结层权重没有保存在 vram 中？
冻结权重是模型参数的一部分。所以如果你冻结它们，唯一会发生的事情就是不会对它们进行任何计算（注意：这往往是正确的，但并不总是正确的），因此优化将更快.
由于它们仍然是整个优化过程的一部分，它们将在优化（训练）期间加载到 GPU 内存中，就像它们没有被冻结一样。
我有一个无法放入我的 vram 的大型模型的预训练权重。如果我冻结图层，训练所需的内存会减少吗？如果是这样，冻结层权重没有保存在 vram 中？
冻结权重是模型参数的一部分。所以如果你冻结它们，唯一会发生的事情就是不会对它们进行任何计算（注意：这往往是正确的，但并不总是正确的），因此优化将更快. 由于它们仍然是整个优化过程的一部分，它们将在优化（训练）期间加载到 GPU 内存中，就像它们没有被冻结一样。