设置 Anaconda 以使用 Tensorboard Profiler

Setting up Anaconda to use Tensorboard Profiler

我刚刚用

安装了 tensorboard profiler
pip install -U tensorboard_plugin_profile

版本是2.3。 Tensorflow 版本 2.3 Tensorboard-版本 2.3 cudatoolkit-版本 10.1.243

当我现在尝试在 Tensorboard 中打开 Profil-Tab 时,我看到 Profiler-Window 正常但为空,错误消息:

DEM6561: Failed to load libcupti (is it installed and accessible?)

和警告:

No step marker observed and hence the step time is unknown. This may happen if (1) training steps are not instrumented (e.g., if you are not using Keras) or (2) the profiling duration is shorter than the step time. For (1), you need to add step instrumentation; for (2), you may try to profile longer.

我认为它与环境路径和变量有关,但我不知道它们如何与 Anaconda 的虚拟环境一起工作。 (我没有我可以 link 的 Cuda 文件夹)

有没有和我一样的问题或者我可以尝试的想法? 先谢谢了!

首先,确保已将 CUPTI 设置为路径(如果您使用 Windows,则通过环境变量),添加一个如下所示的路径:

%CUDA_PATH%\extras\CUPTI\lib64

其次,检查 Tensorflow 是否正在寻找正确的 CUPTI dll。我遇到了这个完全相同的问题,正如我检查的那样,TF 2.4 似乎正在寻找 cupti64_110.dll 而不是 cupti64_2020.1.1.dll。它目前是 known issue,将在 TF 2.5 中解决。我不确定 TF 2.3 是否也是如此。

我基本上通过将dll复制到同一目录并重命名来解决了这个问题。让我知道这是否有帮助!