在 Azure 数据工厂中筛选导入的数据集

Filter imported dataset in azure data factory

我有一个 JSON 文件,我需要对其进行过滤以仅显示最近 2 天的数据。

有没有办法添加一个表达式来执行此操作,以便我可以接收包含过去 2 天数据的数据集?

此外,是否可以在管道中使用过滤器选项来完成,或者我是否需要为此类问题创建数据流?

我同意@Mark Kromer,你应该使用数据流。它启用了过滤器,可以更轻松地实现这一点。

过滤器需要 parse/inspect 文件中的数据并可能遍历层次结构。

我只是举了一个过滤数据的例子date > "2020-12-01"

过滤器:

输出预览:

根据您的数据列进行筛选以保留最近 2 天的数据。