使用 TF2（对象检测 API）时，多个 GPU 是否允许更大的模型和批量大小？
Will multiple GPUs allow for larger models and batch sizes when using TF2 (oibject detection API)?
我正在将 TF2 研究目标检测 API 与 model zoo 的官方模型一起使用。但是，当我尝试训练大型模型（例如，较大的高效网络模型之一）and/or 当我想使用大批量（例如> 32）时，我 运行 超出了 GPU内存。
现在我正在考虑租用一些云 GPU 或使用第二个 GPU 升级我的本地硬件。这个想法是在多个 GPU 上训练 TF2 模型。不过，在我花钱之前，我想知道这是否能解决我的问题。
因此，当一个人在多个 GPU 上训练 TF2 模型（通过对象检测 API）时，是否也会“组合”它们的内存，以便我可以训练更大的模型 and/or 使用更大的批量大小？
您可以参考this post使用多GPU进行训练。理想情况下，如果您使用多个 GPU，则可以使用 none 设置更高的批处理大小，以尽量减少代码中的更改。
但是，要在多个 GPU 上拆分大型模型，您必须进行一些代码更改，您可以参考
您可以查看分布式训练的所有策略列表here
我正在将 TF2 研究目标检测 API 与 model zoo 的官方模型一起使用。但是，当我尝试训练大型模型（例如，较大的高效网络模型之一）and/or 当我想使用大批量（例如> 32）时，我 运行 超出了 GPU内存。
现在我正在考虑租用一些云 GPU 或使用第二个 GPU 升级我的本地硬件。这个想法是在多个 GPU 上训练 TF2 模型。不过，在我花钱之前，我想知道这是否能解决我的问题。
因此，当一个人在多个 GPU 上训练 TF2 模型（通过对象检测 API）时，是否也会“组合”它们的内存，以便我可以训练更大的模型 and/or 使用更大的批量大小？
您可以参考this post使用多GPU进行训练。理想情况下，如果您使用多个 GPU，则可以使用 none 设置更高的批处理大小，以尽量减少代码中的更改。
但是，要在多个 GPU 上拆分大型模型，您必须进行一些代码更改，您可以参考
您可以查看分布式训练的所有策略列表here