Azure 数据工厂 (ADFv2) - 如何在 USQL 作业中处理来自不同文件夹的多个输入文件

Question

我们需要使用 Azure 数据工厂和 USQL 处理来自不同文件夹的多个文件。

这是我们的文件夹结构

年 --> 月 --> 日

我们每个日期都有一个文件夹，比如 1,2,3...31。需求是从特定文件夹中读取文件并将其传递给 USQL 进行分析处理。我们需要处理多个日期的数据。数据工厂中有什么方法可以从多个文件夹中读取数据。

示例：我需要读取特定月份的日期 1,7 和 10 的数据。我不想阅读当月的所有文件

如果您遇到上述情况的解决方案，请告诉我们。

Answer 1

是的，有。您应该使用虚拟列。例子：您的文件只有 column1 和 column2。

path1=/yourFolder/2018/11/1/file.csv

path2=/yourFolder/2018/10/25/file.csv

DECLARE date1 = new DateTime(2018,11,1);
DECLARE date2 = new DateTime(2018,10,25);
@inputData = EXTRACT column1 string,
column2 string, 
FileDate DateTime //this is virtual column
FROM "/yourFolder/{FileDate:yyyy}/{FileDate:MM}/{FileDate:dd}/file.csv"
USING Extractors.Text(delimiter:';',skipFirstNRows:1);
@res = SELECT * FROM @inputData WHERE FileDate == date1 AND FileDate ==date2;

这样您就可以使用虚拟列管理您的文件夹结构。如果您想从某个日期范围等获取文件，您当然可以使用 BETWEEN。 HTH

P.S。您可以将参数从 ADF 发送到 USQL 存储过程，我刚刚举例说明了如何处理特定文件。

Answer 2

以下代码有效。如上所述。

声明外部 @startDate string = "2018-08-01"; // 值将从 ADF 传递声明外部 @endDate string = "2018-08-31"; // 值将从 ADF

传递

声明@report_start_date DateTime = DateTime.ParseExact(@startDate,"yyyy-MM-dd",CultureInfo.InvariantCulture); 声明@report_end_date DateTime = DateTime.ParseExact(@endDate,"yyyy-MM-dd",CultureInfo.InvariantCulture);

声明@INPUT_FILE=@valueFromADF+"/{date:yyyy}/{date:M}/{date:d}/{filename}.txt";

@dataAsString = EXTRACT value string,date DateTime FROM @INPUT_FILE USING Extractors.Text(delimiter:'\n'); @dataAsStrings = SELECT * 来自@dataAsString，日期在@report_start_date 和@report_end_date 之间；

Azure 数据工厂 (ADFv2) - 如何在 USQL 作业中处理来自不同文件夹的多个输入文件

Azure data factory (ADFv2) - how to process multiple input files from different folder in a USQL job

azure

u-sql

azure-data-factory-2