运行 多个管道 and/or Azure 数据工厂中单个 HDinsight 群集上的作业
Running multiple pipelines and/or jobs on single HDinsight cluster in Azure data Factory
在 Azure 数据工厂中将 HDInsight 集群用于 运行 自定义 activity 管道的推荐方法是什么。我们能否将单个 HDInsght 集群同时用于多个 Azure 数据工厂作业和多个管道 运行？
如果您指的是 运行使用 Azure 数据工厂构建自定义 .NET activity，您会 运行 它就像 HDInsight activity，只是标记作为自定义 activity 并链接到 blob 存储中的 .NET dll zip 文件。 运行 Azure Batch 也是一个选项，因为 .NET 运行良好并且 Azure Batch 更便宜（如果自定义 activity 是拥有 HDInsight 集群的唯一原因）。
您可以使用单个 HDInsight 群集来 运行 多个数据工厂作业，包括多个并行管道。但是，请记住，根据您的并行作业（数量、大小等）和集群的配置，您可能会使集群的资源过载。
在 Azure 数据工厂中将 HDInsight 集群用于 运行 自定义 activity 管道的推荐方法是什么。我们能否将单个 HDInsght 集群同时用于多个 Azure 数据工厂作业和多个管道 运行？
如果您指的是 运行使用 Azure 数据工厂构建自定义 .NET activity，您会 运行 它就像 HDInsight activity，只是标记作为自定义 activity 并链接到 blob 存储中的 .NET dll zip 文件。 运行 Azure Batch 也是一个选项，因为 .NET 运行良好并且 Azure Batch 更便宜（如果自定义 activity 是拥有 HDInsight 集群的唯一原因）。
您可以使用单个 HDInsight 群集来 运行 多个数据工厂作业，包括多个并行管道。但是，请记住，根据您的并行作业（数量、大小等）和集群的配置，您可能会使集群的资源过载。