如果我只关心部署而不关心训练，批量大小是否重要？
Does Batch Size matter if I only care about deploying and not training?
要问一个新手问题...
如果我完成了模型训练，或者我正在使用像 YOLO 这样的训练模型。我想将模型放在具有 6GB VRAM 的机器人上。在这种情况下，我根本不需要关心批量大小吗？
我想知道像 YOLO 这样的模型是否适合我的 GPU。
谢谢
一般来说，批量大小可以随时调整，不会产生问题。批处理中的每个元素都是独立的，但出于效率原因，它们通过网络一起馈送。
请注意，批次大小确实会影响训练质量，因为来自较大批次的梯度会平均并且方差较小。但这在进行推理（实际使用模型）时是无关紧要的。
您还问过是什么阻碍了您在小型 GPU 上部署大型模型，答案就是性能。完全 可能 将大型模型的一部分加载到 GPU 上，运行 那部分，加载下一部分， 运行 它，等等。您需要平衡批量大小和模型部件大小，因为如果您只使用批量大小 1，模型参数的连续复制可能会比 运行 在 [=18] 上运行整个模型慢=].
要问一个新手问题...
如果我完成了模型训练，或者我正在使用像 YOLO 这样的训练模型。我想将模型放在具有 6GB VRAM 的机器人上。在这种情况下，我根本不需要关心批量大小吗？
我想知道像 YOLO 这样的模型是否适合我的 GPU。 谢谢
一般来说，批量大小可以随时调整，不会产生问题。批处理中的每个元素都是独立的，但出于效率原因，它们通过网络一起馈送。
请注意，批次大小确实会影响训练质量，因为来自较大批次的梯度会平均并且方差较小。但这在进行推理（实际使用模型）时是无关紧要的。
您还问过是什么阻碍了您在小型 GPU 上部署大型模型，答案就是性能。完全 可能 将大型模型的一部分加载到 GPU 上，运行 那部分，加载下一部分， 运行 它，等等。您需要平衡批量大小和模型部件大小，因为如果您只使用批量大小 1，模型参数的连续复制可能会比 运行 在 [=18] 上运行整个模型慢=].