测量 python 个脚本的执行时间
Measuring the execution time of python scripts
我目前正在从事一个 ML NLP 项目，我想测量某些部分的执行时间，并可能预测执行需要多长时间。例如，我想测量 ML 训练过程（包括数据预处理部分等子过程）。我一直在网上寻找，我遇到了不同的 python 模块，这些模块可以测量函数的执行时间（比如 time 或 timeit ）。但是，我仍然没有找到一个具体的解决方案来预测函数执行所需的时间。我想过 运行 多次使用代码，保存 (data_size, time) 值，然后用它来推断未来的数据。我还考虑过用 运行 函数的几个子部分花费的时间来更新此估计（比如查看计算了多少过程，花费了多长时间，然后使用它来调整剩余时间）。
但是，我对此并不确定，我想看看是否有我不知道的更好的选择，所以如果有人有更好的主意，我将不胜感激可以分享一下。
您是否研究过使用分析？它应该给出函数执行时间、调用次数等的详细细分。您必须执行带有分析的脚本，然后您将获得详细细分。
https://docs.python.org/3/library/profile.html#module-cProfile
如果您想要及时的进度报告，可以使用我见过的几个库。 https://pypi.org/project/tqdm/
https://pypi.org/project/progressbar2/
希望这些对您有所帮助！
我目前正在从事一个 ML NLP 项目，我想测量某些部分的执行时间，并可能预测执行需要多长时间。例如，我想测量 ML 训练过程（包括数据预处理部分等子过程）。我一直在网上寻找，我遇到了不同的 python 模块，这些模块可以测量函数的执行时间（比如 time 或 timeit ）。但是，我仍然没有找到一个具体的解决方案来预测函数执行所需的时间。我想过 运行 多次使用代码，保存 (data_size, time) 值，然后用它来推断未来的数据。我还考虑过用 运行 函数的几个子部分花费的时间来更新此估计（比如查看计算了多少过程，花费了多长时间，然后使用它来调整剩余时间）。
但是，我对此并不确定，我想看看是否有我不知道的更好的选择，所以如果有人有更好的主意，我将不胜感激可以分享一下。
您是否研究过使用分析？它应该给出函数执行时间、调用次数等的详细细分。您必须执行带有分析的脚本，然后您将获得详细细分。 https://docs.python.org/3/library/profile.html#module-cProfile
如果您想要及时的进度报告，可以使用我见过的几个库。 https://pypi.org/project/tqdm/ https://pypi.org/project/progressbar2/
希望这些对您有所帮助！