使用 Azure 数据工厂从 REST 获取数据 API

Question

是否可以使用 Azure 数据工厂从 REST API 获取数据并将其插入 Azure 数据库 table？

Answer 1

简短回答：是:)

长答案（基本上是教程）： https://azure.microsoft.com/en-us/documentation/articles/data-factory-get-started/

Answer 2

我使用自定义 .Net 活动完成了此操作。我需要从 Salesforce API 中提取数据。我在这里写了一篇关于如何执行此操作的文章：http://eatcodelive.com/2016/02/06/accessing-azure-data-lake-store-from-an-azure-data-factory-custom-net-activity/ 它正在利用数据湖存储，但您可以将数据存储在任何地方。

也可以在这里查看来自 Microsoft 的示例：https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/

希望对您有所帮助。

Answer 3

这可以通过数据工厂来实现。如果您想要运行按计划进行批处理并在一个地方进行监视和管理，那么数据工厂很有用。我们的 GitHub 存储库中有示例代码，用于在此处 https://github.com/Azure/Azure-DataFactory 生成 blob 的 http 加载程序。然后可以将 blob 用于其他处理，比如将其放入 table。为此，您将创建一个管道，其中包含您的自定义加载器，然后是一个 activity，其中 blob 作为输入数据集，table 作为输出数据集。

Answer 4

https://github.com/Azure/Azure-DataFactory/tree/master/Samples/HttpDataDownloaderSample

您好，这是通过 http 请求下载文件的自定义数据 activity。你可以实现你想要做的小改变。希望对你有帮助。

Answer 5

数据工厂提供通用 HTTP connector 和具体 REST connector，允许您使用 GET 或 POST 方法从 HTTP 端点检索数据。

示例：HTTP 链接服务

{
    "name": "HttpLinkedService",
    "properties":
    {
        "type": "Http",
        "typeProperties":
        {
            "authenticationType": "Anonymous",
            "url" : "https://en.wikipedia.org/wiki/"
        }
    }
}

Answer 6

现在支持 REST 作为 Azure 数据工厂中的数据源，包括分页

使用 Azure 数据工厂从 REST 获取数据 API

Using Azure Data Factory to get data from a REST API

api

rest

azure

azure-data-factory

cortana-intelligence