限制 skflow 中的 GPU 内存分配
Limit GPU memory allocation in skflow
我正在与其他人共享的 EC2 实例上使用 Tensorflow 和 skflow 训练卷积神经网络。为了让我们所有人都能同时工作,我想限制分配的可用 GPU 内存的比例。
使用 Tensorflow,但由于我使用的是 sklfow,所以我从不使用 tf.Session()
.
是否可以通过 skflow 做同样的事情?
此时,您只能通过将此参数传递给estimator来控制要在estimator中使用的核心数(num_cores
)。
可以按照您链接的 的建议将 gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)
添加到 tf.ConfigProto
以实现您的需要。
随时提交 PR 以进行更改 here 以及将此附加参数添加到所有估算器。否则,我将在本周的某个时间进行更改。
编辑:
我已进行更改以允许这些选项。请检查示例文件夹中的 "Building A Model Using Different GPU Configurations" 示例。让我知道您是否有任何特殊需求或要添加的其他选项。始终欢迎拉取请求!
我正在与其他人共享的 EC2 实例上使用 Tensorflow 和 skflow 训练卷积神经网络。为了让我们所有人都能同时工作,我想限制分配的可用 GPU 内存的比例。
tf.Session()
.
是否可以通过 skflow 做同样的事情?
此时,您只能通过将此参数传递给estimator来控制要在estimator中使用的核心数(num_cores
)。
可以按照您链接的 gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)
添加到 tf.ConfigProto
以实现您的需要。
随时提交 PR 以进行更改 here 以及将此附加参数添加到所有估算器。否则,我将在本周的某个时间进行更改。
编辑:
我已进行更改以允许这些选项。请检查示例文件夹中的 "Building A Model Using Different GPU Configurations" 示例。让我知道您是否有任何特殊需求或要添加的其他选项。始终欢迎拉取请求!