当静默开关为真时使用 U-SQL 文件集模式提取数据

Question

我想从多个文件中提取数据，所以我使用需要一个虚拟列的文件集模式。由于我的数据存在一些问题，我还需要静默切换，否则我无法处理我的数据。看起来，当我使用带有静默开关的虚拟列时，它不会提取任何行。

@drivers =
EXTRACT name string,
        age string,
        origin string
FROM "/input/{origin:*}file.csv"
USING Extractors.Csv(silent:true);

请注意，我可以通过删除虚拟列从单个文件中提取数据。这个问题有解决办法吗？

Answer 1

首先，如果您不打算引用该值，则无需命名通配符（并公开虚拟列）。虽然我们建议您确保您没有使用此模式处理太多文件，但最好是使用虚拟列作为过滤器将文件数量限制在几千个，直到我们改进实施工作关于更多文件。

我假设至少有一个文件包含一些行和两列？如果是这样，我认为您发现了一个错误。您能否将一个简单的重现（一个有效的文件，一个停止工作的附加文件和脚本）发送到我的电子邮件地址，以便我可以将其归档并进行调查？

谢谢！

Extracting data using U-SQL file set pattern when silent switch is true