如何在 Azure 数据工厂自定义 Activity 中加载 python 库？

Question

我知道您可以使用带有预加载 python 库的自定义 VM 映像的批量自定义 activity 通过 ADF 到 运行 您的 python 程序。

我们是否也可以使用普通 linux VM 映像并加载 python 库作为执行自定义 activity 的一部分？我知道这可能会增加执行时间，因为每次都必须安装库，但我想知道它是如何完成的。 Explanation/example 表示赞赏。

谢谢！

Answer 1

您可以使用 Azure Batch start task 高效地安装预定义的库。通过 Custom Activity 针对同一个池提交的所有作业都可以访问它们。

或者，您可以通过针对 Linux 池节点执行 shell 脚本来安装依赖库，这将设置库，然后触发 python 代码。