在 IPython 中使用 memit 魔法时返回 MemitResult 对象和函数调用

Question

所以我遇到的问题是我想在 Google Colab 上测量 iPython 中单元格线的内存消耗和时间，该线也返回一个对象。我正在使用 memory-profiler 执行此操作，因此我可以自动将基准测试的所有结果存储在一个文件中。

我发现 memit -o 给了我一个 MemitResult 对象，但是问题是对象分配给出了未定义的 m̀odel:

NameError: name 'model' is not defined

短MWE：

%%time
import pmdarima as pm
trainMemory =  %memit  -o  model= pm.auto_arima(df["y"], seasonal=True, m=12, maxiter=10, njobs = -1)

理想情况下，我会在一次火车函数调用中为时间、内存和对象分配所有 3 个变量，以节省训练时间。

Answer 1

最后，我使用Weights and biases同时跟踪GPU和内存消耗。

设置非常简单，但是我还没有找到如何提取最大值、最小值等信息的方法。

设置：

import wandb
import pmdarima as pm
wandb.init()  
model= pm.auto_arima(df["y"], seasonal=True, m=12, maxiter=10, njobs = -1)

然后在网站上可以看到运行

的随时间消耗

事实证明，您可以通过 api 而不是查看图表来获得最大使用量

import wandb 
api = wandb.Api() 
run = api.run(f"YOURNAME/{wandb.run.name}/{wandb.run.id}") 
system_metrics = run.history(stream = 'events') print(system_metrics["system.gpu.0.memory"].max())
system_metrics.to_csv("metrics.csv")

然后您可以访问 system_metrics 对象的属性

在 IPython 中使用 memit 魔法时返回 MemitResult 对象和函数调用

Returning a MemitResult object and a function call when using memit magic in IPython

python

cell

ipython

google-colaboratory