Azure 数据工厂无法访问 IP 受限 VNet 中的 HDInsight 群集

Azure Data Factory can't access HDInsight cluster in IP restricted VNet

我在 Azure VNet 上有一个 HDInsight Hadoop 集群(Linux,单独部署)(使用 NSG 限制客户端 IP)。

Azure SQL 防火墙有一个名为 "Allow access to Azure services" 的选项,它允许数据工厂访问 Azure SQL。

在 VNet 中没有这样的选项,您必须指定 IP 地址范围或设置标记(Internet、虚拟网络、AzureLoadBalancer)。我以为 AzureLoadBalancer 会解决这个问题,但没有 - HDInsight 仍然对 Azure 数据工厂隐藏。

我试图找到数据工厂端口范围,但未成功。

有没有办法从 Azure 数据工厂访问受保护的 HDInsight Linux 集群?

ADF 可以访问原本可以公开访问的资源。如果 HDInsight 群集位于 VNet 中,则无法公开访问它。所以 ADF 无法访问 + 编排它。

ADF 确实希望在 VNet 环境中得到支持,但这需要一些时间才能实现。

谢谢,Harish

Azure 数据工厂 V2 支持场景。它需要在 HDInsight 群集的 vnet 中部署 Azure 自承载集成运行时 (IR)。自承载 IR 允许数据工厂服务将处理请求分派给虚拟网络内的计算服务,例如 HDInsight。 另见以下 Documentation.