使用 Azure 数据工厂将文件从 REST API 下载到 Azure 数据湖
Download a file from REST API to Azure data lake using Azure Data Factory
我是 Azure 数据工厂的新手,我已经按照在线教程学习了如何通过为这两个数据创建 linked 服务和数据集来以 csv 格式存储 json 响应.
但是如果响应是一个文件怎么办,比如如果我把 link(API) 放到网络浏览器中它会直接下载文件,我怎样才能下载被响应的文件并将其存储到 Azure data Lake gen2 中?我应该为接收器使用什么数据集格式?
谢谢
要使用 API 下载文件,我建议您使用 Azure 数据工厂链接服务中的 HTTP 连接器,如下所示。根据我的 repro,我使用 copy activity 将 JSON 文件从 HTTP 请求复制到 Azure Data Lake Storage Gen2。
接收器的数据格式为“DelimitedText”,因为您的要求是将源 JSON 数据转换为 CSV。如果你只想存储准确的数据,那么使用JSON数据格式。
接收器数据集详细信息:
应该很容易理解,但如果您有任何问题,请务必回复我并提出问题!
我是 Azure 数据工厂的新手,我已经按照在线教程学习了如何通过为这两个数据创建 linked 服务和数据集来以 csv 格式存储 json 响应.
但是如果响应是一个文件怎么办,比如如果我把 link(API) 放到网络浏览器中它会直接下载文件,我怎样才能下载被响应的文件并将其存储到 Azure data Lake gen2 中?我应该为接收器使用什么数据集格式?
谢谢
要使用 API 下载文件,我建议您使用 Azure 数据工厂链接服务中的 HTTP 连接器,如下所示。根据我的 repro,我使用 copy activity 将 JSON 文件从 HTTP 请求复制到 Azure Data Lake Storage Gen2。
接收器的数据格式为“DelimitedText”,因为您的要求是将源 JSON 数据转换为 CSV。如果你只想存储准确的数据,那么使用JSON数据格式。
接收器数据集详细信息:
应该很容易理解,但如果您有任何问题,请务必回复我并提出问题!