AdlCopy 目标参数的 URI 类型
URI type for AdlCopy destination parameter
在用于将数据从 Azure blob 存储移动到 Azure Data Lake Store 的 AdlCopy.exe
实用程序的文档中,所有示例都显示 swebhdfs:
URI 前缀。
例如:
AdlCopy /dest swebhdfs://mydatalakestore.azuredatalakestore.net/myfolder/ ...
但是,在 Data Lake Store 帐户的 Azure 门户页面中列出了两个不同的 "addresses" - 一个带有 https:
前缀的 "URL" 和一个带有 adl:
前缀.
例如:
URL
https://mydatalakestore.azuredatalakestore.net
ADL URI
adl://mydatalakestore.azuredatalakestore.net
所有这些不同的 "addresses" 是否等价且可以相互替代,特别是与 AdlCopy.exe
实用程序的 /dest
参数一起使用时?
swebhdfs 是提供 WebHDFS 兼容语义的安全 WebHDFS URI。 adl 是(也是安全的)Azure Data Lake URI,它通过一些额外的性能改进和功能扩展了 WebHDFS。您还可以使用 https,因为该服务具有 REST 接口。目前这 3 个 URI 方案在 adlcopy 工具中是可以互换的。请继续使用门户中发布的 URI 方案以获得最佳性能。
现在不要让我开始解释为什么 Hadoop 生态系统滥用 URI 方案来定义操作语义(我猜有人混淆了 http 协议和 http URL 方案)。
在用于将数据从 Azure blob 存储移动到 Azure Data Lake Store 的 AdlCopy.exe
实用程序的文档中,所有示例都显示 swebhdfs:
URI 前缀。
例如:
AdlCopy /dest swebhdfs://mydatalakestore.azuredatalakestore.net/myfolder/ ...
但是,在 Data Lake Store 帐户的 Azure 门户页面中列出了两个不同的 "addresses" - 一个带有 https:
前缀的 "URL" 和一个带有 adl:
前缀.
例如:
URL
https://mydatalakestore.azuredatalakestore.net
ADL URI
adl://mydatalakestore.azuredatalakestore.net
所有这些不同的 "addresses" 是否等价且可以相互替代,特别是与 AdlCopy.exe
实用程序的 /dest
参数一起使用时?
swebhdfs 是提供 WebHDFS 兼容语义的安全 WebHDFS URI。 adl 是(也是安全的)Azure Data Lake URI,它通过一些额外的性能改进和功能扩展了 WebHDFS。您还可以使用 https,因为该服务具有 REST 接口。目前这 3 个 URI 方案在 adlcopy 工具中是可以互换的。请继续使用门户中发布的 URI 方案以获得最佳性能。
现在不要让我开始解释为什么 Hadoop 生态系统滥用 URI 方案来定义操作语义(我猜有人混淆了 http 协议和 http URL 方案)。