确保 Caffe 是否使用多 GPU

Question

我不熟悉使用训练神经网络。我可以访问 GPU 集群，并且正在微调用于场景分类的 Alex-Net 版本。

我现在可以使用两个 GPU，我想将它们都用于训练。 nvidia-smi 命令为我提供了 GPU 的 ID（分别为 0 和 1）。

这就是我使用两个 GPU 进行训练的方式：
caffe.set_mode_gpu()
caffe.set_device([0,1])

这是正确的使用方法吗？

Answer 1

Python 允许您使用 set_device() 选择单个 GPU。多 GPU 仅在 C++ 接口上受支持。用于此目的的 --gpu 标志在 here 中讨论。用于训练的 GPU 可以在 Caffe 工具的命令行上使用 --gpu 标志进行设置。例如，

build/tools/caffe train --solver=models/bvlc_alexnet/solver.prototxt --gpu=0,1

将在 GPU 0 和 1 上训练。

Answer 2

在终端中你可以这样输入：

python yourpythonfile.py CUDA_VISIBLE_DEVICES=0, 1

Making sure if Caffe is using multiple-GPUs