Jetson TX2 tensorflow per_process_gpu_memory_fraction 变量无法设置为 1.0
Jetson TX2 tensorflow per_process_gpu_memory_fraction variable cannot set to 1.0
当我将per_process_gpu_memory从0.5设置为1.0时,内存不足,会死机。
1) 那么,有什么想法或建议可以让它发挥作用吗?
2) 将tensorflow代码转换为tensorRT是否会提高性能(不用于训练,仅用于预测)?
- 不要将内存使用率设置为 1.0。请记住,TX2 是一个 SoC,CPU 个内核和 GPU 都共享一个公共内存池。如果 GPU 使用了 100% 的内存,那么 CPU 就没有内存了,如果我没记错的话,默认的 OS 没有设置任何交换 space.
- 有一些基准显示使用 TensorRT 比仅在 TensorFlow 中进行推理有所改进。理论上,TensorRT 针对 GPU 上的推理进行了更优化,并运行了一组在构建引擎时选择的特殊内核。在这里查看一些基准:https://github.com/NVIDIA-Jetson/tf_to_trt_image_classification
当我将per_process_gpu_memory从0.5设置为1.0时,内存不足,会死机。
1) 那么,有什么想法或建议可以让它发挥作用吗?
2) 将tensorflow代码转换为tensorRT是否会提高性能(不用于训练,仅用于预测)?
- 不要将内存使用率设置为 1.0。请记住,TX2 是一个 SoC,CPU 个内核和 GPU 都共享一个公共内存池。如果 GPU 使用了 100% 的内存,那么 CPU 就没有内存了,如果我没记错的话,默认的 OS 没有设置任何交换 space.
- 有一些基准显示使用 TensorRT 比仅在 TensorFlow 中进行推理有所改进。理论上,TensorRT 针对 GPU 上的推理进行了更优化,并运行了一组在构建引擎时选择的特殊内核。在这里查看一些基准:https://github.com/NVIDIA-Jetson/tf_to_trt_image_classification