为什么 Azure ML Studio(经典)需要额外的时间来执行 Python 个脚本?
Why does Azure ML Studio (classic) take additional time to execute Python Scripts?
我一直在使用 ML Studio(经典)并面临“执行 Python”脚本的问题。我注意到它需要额外的时间来执行一些内部任务,然后它开始在 ML Studio 中执行实际的 Python 代码。此延迟导致每个模块的时间增加 40-60 秒,当通过批处理执行系统或手动执行 运行 实验时,每个模块聚合并导致每次执行延迟 400-500 秒。 (我有多个“执行 Python”脚本模块)
例如 - 如果我 运行 本地系统中的代码,假设需要 2-3 秒。在 Azure ML Studio 中同样会消耗 50-60 秒。
能否请您帮助理解这背后的原因或可以进行的任何优化?
此致,
阿南特
机器学习工作室(经典)的已知限制是:
Python 运行时是沙箱化的,不允许以持久方式访问网络或本地文件系统。
模块完成后,所有保存在本地的文件都会被隔离并删除。 Python 代码无法访问它运行的机器上的大多数目录,当前目录及其子目录除外。
当您提供压缩文件作为资源时,这些文件会从您的作品space 复制到实验执行 space、解压缩,然后使用。复制和解包资源会消耗内存。
模块可以输出单个数据帧。无法 return 任意 Python 对象(例如经过训练的模型)直接返回到 Studio(经典)运行时。但是,您可以将对象写入存储或工作space。另一种选择是使用 pickle 将多个对象序列化为字节数组,然后 return 数据帧中的数组。
希望对您有所帮助!
我一直在使用 ML Studio(经典)并面临“执行 Python”脚本的问题。我注意到它需要额外的时间来执行一些内部任务,然后它开始在 ML Studio 中执行实际的 Python 代码。此延迟导致每个模块的时间增加 40-60 秒,当通过批处理执行系统或手动执行 运行 实验时,每个模块聚合并导致每次执行延迟 400-500 秒。 (我有多个“执行 Python”脚本模块)
例如 - 如果我 运行 本地系统中的代码,假设需要 2-3 秒。在 Azure ML Studio 中同样会消耗 50-60 秒。
能否请您帮助理解这背后的原因或可以进行的任何优化?
此致, 阿南特
机器学习工作室(经典)的已知限制是:
Python 运行时是沙箱化的,不允许以持久方式访问网络或本地文件系统。
模块完成后,所有保存在本地的文件都会被隔离并删除。 Python 代码无法访问它运行的机器上的大多数目录,当前目录及其子目录除外。
当您提供压缩文件作为资源时,这些文件会从您的作品space 复制到实验执行 space、解压缩,然后使用。复制和解包资源会消耗内存。
模块可以输出单个数据帧。无法 return 任意 Python 对象(例如经过训练的模型)直接返回到 Studio(经典)运行时。但是,您可以将对象写入存储或工作space。另一种选择是使用 pickle 将多个对象序列化为字节数组,然后 return 数据帧中的数组。
希望对您有所帮助!