如何跳过 U-SQL 作业中的前 n 行？

Question

我想运行 U-SQL 作业从 Azure Data Lake 存储上的 SQL table 中的 .txt 文件加载数据。我已经在 Azure 数据湖分析中创建了数据库、架构和 table。

txt 文件中的数据是制表符限制的，我需要跳过第一行的 2 行。我认为我应该使用 Extractors.Text() 内置提取器，但是如何在其中添加 skipFirstNRows 参数来提取数据？

Answer 1

你只需像这样将它传递给提取器：

@searchlog =
 EXTRACT UserId          int,
         Start           DateTime,
         Region          string,
         Query           string,
         Duration        int?,
         Urls            string,
         ClickedUrls     string
 FROM "/Samples/Data/SearchLog.tsv"
 USING Extractors.Tsv(skipFirstNRows: 2);

我的示例基于 TSV 提取器，因为该提取器默认使用制表符作为分隔符。

(source)

如何跳过 U-SQL 作业中的前 n 行？

How to skip first n rows in U-SQL job?

azure

azure-data-lake

u-sql