TensorFlow Slim - 在 cpu 上克隆

Question

以下代码段 (slim/train_image_classifier.py) 中的 'Use CPUs to deploy clones' 是什么意思：

tf.app.flags.DEFINE_boolean(
    'clone_on_cpu', False,
    'Use CPUs to deploy clones.'
)

Answer 1

Use CPUs to deploy clones' mean

一般设置模型损失和梯度是在 GPU 上计算的，单个克隆使用单个 GPU。对于多 GPU 训练，会创建多个克隆。如果您有 4 个 GPU，则会创建 4 个克隆，并同时计算不同批次的损失（数据并行性）。也就是说，现在如果你没有 GPU，你可以使用多个 CPU 来实现数据并行（当然会比 GPU 慢）。 USE CPUs to deploy clones 选项允许您使用 CPU 进行数据并行处理；在 CPU 上计算模型损失和梯度。