Azure 数据工厂。无法通过 HTTP 连接器加载文件

Azure Data Factory. Unable to load files via HTTP Connector

要将文件从远程服务器加载到 Azure BLOB 存储,我正在研究 Azure 团队的教程:Copy data from an HTTP endpoint by using Azure Data Factory or Azure Synapse Analytics

我需要通过这个 API 从这个 site 加载公开可用的文件:通过 API https://api.usaspending.gov/api/v2/download/disaster/

API(以及来自上述链接站点的其他 API)的教程已提供 here

但是当我 运行 管道时,出现以下错误:

ErrorCode=HttpFileFailedToRead,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Failed to read data from http server. Check the error from http server:The remote server returned an error: (405) Method Not Allowed.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (405) Method Not Allowed.,Source=System,'

问题:我们如何使用 Azure 数据工厂中的上述 API 端点从其远程服务器加载公开可用的文件?

备注:根据their site/api/v2/download/disaster/ POST Returns a zipped file containing Account and Award data for the Disaster Funding

我们对ADF PipelineSource的配置

以上源码测试成功如下图:

目的地(Azure Data Lake Storage)也测试成功,如下所示

检查您在副本中使用的方法 activity。必须是 POST.

此外,响应不是文件,而是提供了一个 link 可以下载文件的位置。请参阅下面的示例响应。这意味着您需要另一个 activity 来实际获取文件。