根据 U-SQL 中的配置值过滤记录

Question

我有两个 csv 文件 - 1] 包含列 - 名字、姓氏、年龄 2] 包含单列 - id1、id2、id3 这 3 个 id 字段包含不同的数字。

现在，从第一个文件开始，我只想输出那些年龄包含 id1 中所有 ID 的记录。

例如@inputfile = EXTRACT 名字字符串，姓氏字符串，年龄整数从 @inputfilepath 使用 Extractors.Csv(skipFirstNRows : 1);

@configfile = EXTRACT id1 int, id2 int, id3 int FROM @configfilepath USING 
Extractors.Csv(skipFirstNRows : 1);

@outputresult = select * from @inputfile where age IN (select id1 from 
@configfile);

OUTPUT
@outputresult
TO "/outputpath/output.csv";

Answer 1

使用内连接：

@result =
    SELECT i.* FROM @inputfile AS i
    INNER JOIN @configfile AS c
    ON i.age == c.id1;

根据 U-SQL 中的配置值过滤记录

Filter record based on config values in U-SQL

u-sql