使用 Azure Data Lake Analytics/U-SQL 拆分 1TB 文件
Split 1TB file using Azure Data Lake Analytics / U-SQL
我有一个 1TB 的文本文件，其中包含一些文本数据。我想使用 Azure Data Lake Analytics / U-SQL 将它拆分成更小的数据块。
我怎样才能做到这一点？
我建议使用 ADF 的映射数据流功能，该功能基于云中的 Spark 构建
1.Create 一个新的数据流
2.Add一个源文件
3.Add定义分区的Sink文件夹
4.Save数据流
5.Then 添加执行数据流 activity 和 select 您的新文件拆分数据流
我有一个 1TB 的文本文件，其中包含一些文本数据。我想使用 Azure Data Lake Analytics / U-SQL 将它拆分成更小的数据块。
我怎样才能做到这一点？
我建议使用 ADF 的映射数据流功能，该功能基于云中的 Spark 构建
1.Create 一个新的数据流
2.Add一个源文件
3.Add定义分区的Sink文件夹
4.Save数据流
5.Then 添加执行数据流 activity 和 select 您的新文件拆分数据流