Azure 数据工厂。无法通过 HTTP 连接器加载文件
Azure Data Factory. Unable to load files via HTTP Connector
要将文件从远程服务器加载到 Azure BLOB 存储,我正在研究 Azure 团队的教程:Copy data from an HTTP endpoint by using Azure Data Factory or Azure Synapse Analytics。
我需要通过这个 API 从这个 site 加载公开可用的文件:通过 API https://api.usaspending.gov/api/v2/download/disaster/
API(以及来自上述链接站点的其他 API)的教程已提供 here。
但是当我 运行 管道时,出现以下错误:
ErrorCode=HttpFileFailedToRead,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Failed to read data from http server. Check the error from http server:The remote server returned an error: (405) Method Not Allowed.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (405) Method Not Allowed.,Source=System,'
问题:我们如何使用 Azure 数据工厂中的上述 API 端点从其远程服务器加载公开可用的文件?
备注:根据their site:/api/v2/download/disaster/ POST Returns a zipped file containing Account and Award data for the Disaster Funding
我们对ADF PipelineSource
的配置:
以上源码测试成功如下图:
目的地(Azure Data Lake Storage)也测试成功,如下所示:
检查您在副本中使用的方法 activity。必须是 POST.
此外,响应不是文件,而是提供了一个 link 可以下载文件的位置。请参阅下面的示例响应。这意味着您需要另一个 activity 来实际获取文件。
要将文件从远程服务器加载到 Azure BLOB 存储,我正在研究 Azure 团队的教程:Copy data from an HTTP endpoint by using Azure Data Factory or Azure Synapse Analytics。
我需要通过这个 API 从这个 site 加载公开可用的文件:通过 API https://api.usaspending.gov/api/v2/download/disaster/
API(以及来自上述链接站点的其他 API)的教程已提供 here。
但是当我 运行 管道时,出现以下错误:
ErrorCode=HttpFileFailedToRead,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Failed to read data from http server. Check the error from http server:The remote server returned an error: (405) Method Not Allowed.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (405) Method Not Allowed.,Source=System,'
问题:我们如何使用 Azure 数据工厂中的上述 API 端点从其远程服务器加载公开可用的文件?
备注:根据their site:/api/v2/download/disaster/ POST Returns a zipped file containing Account and Award data for the Disaster Funding
我们对ADF PipelineSource
的配置:
以上源码测试成功如下图:
目的地(Azure Data Lake Storage)也测试成功,如下所示:
检查您在副本中使用的方法 activity。必须是 POST.
此外,响应不是文件,而是提供了一个 link 可以下载文件的位置。请参阅下面的示例响应。这意味着您需要另一个 activity 来实际获取文件。