将大型 (50gb) csv 文件导入 Azure 数据库的最快方法

Quickest way to import a large (50gb) csv file into azure database

我刚刚将 100 个 csv.files 合并到一个总大小约为 50gb 的怪物文件中。

我现在需要将其加载到我的 Azure 数据库中。鉴于我已经在数据库中创建了我的 table,将这个单个文件放入 table 的最快方法是什么?

我读过的方法包括:导入平面文件、blob storage/data 工厂、BCP。

我正在寻找最快的方法,有人可以推荐吗?

Azure 数据工厂应该非常适合这种情况,因为它旨在处理和转换数据而无需担心规模。

假设您将大型 csv 文件存储在磁盘上的某个位置,您不想将其移动到任何外部存储(以节省时间和成本)- 如果您简单地创建一个自集成运行时指向会更好到托管您的 csv 文件的计算机,并在 ADF 中创建链接服务以读取该文件。完成后,只需提取文件并将其指向接收器,即您的 SQL Azure 数据库。

https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system