在 linux 上测量峰值 nvidia GPU 内存使用

Question

要测量我的程序当前使用的 GPU 内存，我可以使用以下命令（ubuntu linux，nvidia GPU）：

while true; do nvidia-smi --query-gpu=memory.used --format=csv; sleep .5; done|grep -v memory

它会定期输出这样的值：

70 MiB
74 MiB
75 MiB
76 MiB
77 MiB
77 MiB
70 MiB

是否可以修改命令以始终显示最大值而不是最新值？

（如果可能，以 bash 方式）

Answer 1

不确定，不过你可以这样试一下。

a=0
while true; do 
b=$(nvidia-smi --query-gpu=memory.used --format=csv|grep -v memory|awk '{print }')
[ $b -gt $a ] && a=$b && echo $a 
sleep .5
done

在 linux 上测量峰值 nvidia GPU 内存使用

Measuring peak nvidia GPU memory usage on linux

linux

bash

cuda

gpu