从网站直接下载文本文件到 Azure Data Lake Storage Gen1

Question

是否可以将大型文本文件从网站直接下载到 Azure Data Lake Storage Gen1；如果是，我需要遵循哪些步骤？我的台式机存储空间不足 space，而且传输数据速度很慢。

Answer 1

实际上，我们无法将大型文本文件从网站直接下载到 Azure Data Lake Storage Gen1。

您可以使用数据工厂来帮助您实现这一目标。参考以下教程：

1. Copy data from an HTTP endpoint by using Azure Data Factory：本文概述了如何在 Azure 数据工厂中使用 Copy Activity 从 HTTP 终结点复制数据。 HTTP 连接器是通用的，可以从任何 HTTP 端点检索数据，例如下载文件。
2. 使用 Azure Data 将数据加载到 Azure Data Lake Storage Gen1 Factory：本文介绍如何使用数据工厂复制数据工具将数据从 Amazon S3 加载到 Data Lake Storage Gen1。您可以按照类似的步骤从其他类型的数据存储中复制数据。
3. 使用 Azure 数据将数据复制到 Azure Data Lake Storage Gen1 或从中复制数据 Factory：本文概述了如何将数据复制到 Azure Data Lake Storage Gen1 和从中复制数据。

使用 HTTP 连接器作为源，使用 Azure Data Lake Storage Gen1 作为接收器。

希望对您有所帮助。