在执行期间跟踪 python 脚本中的内存消耗

Question

我之前获得了大量数据（> 500 GByte），想使用 Python（或其他语言，如有必要）对其进行处理。我不能一次将所有数据加载到内存中（由于明显的原因），因此只能加载小块。我已经尝试通过显式清除每个块之间所有生成的列表和数组来尽可能优化内存消耗，但我仍然可以看到内存消耗稳步增加。
有没有办法跟踪我在什么时候没有释放内存，在什么时候我的内存在积累？这里最好的策略是什么？

Answer 1

从python3.4开始，可以使用tracemalloc模块。