在 Azure 数据工厂 v1 activity 中指定非默认 YARN 队列

specifying non default YARN queue in Azure Data Factory v1 activity

我们有一个具有 HDInsightHive 类型 activity 的 ADFv1 管道,可将配置单元脚本提交到 Hadoop HDIndight 集群。查看管道的 JSON,似乎没有任何方法可以指定应将作业提交到的 YARN 队列。

因此假设作业始终提交到默认队列。我在 ADFv1 文档中没有找到任何指定队列名称的内容(假设我们实际上使用容量调度程序在集群上创建了更多 YARN 队列)。

有人可以提供示例 JSON 以在 activity 中指定 YARN 队列(如果可能的话)吗?另外,我的要求是专门针对ADFv1的,我也想知道这是不是ADFv1的限制,在ADFv2中是否修复了?

目前,Azure 数据工厂不支持向特定队列提交 activity。

A​​zure 数据工厂activity 始终提交到默认队列。

我建议您对另一位 Azure 客户提交的想法投赞成票。

https://feedback.azure.com/forums/270578-data-factory/suggestions/32956186-hdinsightspark-activity-should-support-additional

你在这些论坛中分享的所有反馈都将由负责构建 Azure 的 Microsoft 工程团队监控和审查。