在 Azure 数据工厂中筛选导入的数据集
Filter imported dataset in azure data factory
我有一个 JSON 文件,我需要对其进行过滤以仅显示最近 2 天的数据。
有没有办法添加一个表达式来执行此操作,以便我可以接收包含过去 2 天数据的数据集?
此外,是否可以在管道中使用过滤器选项来完成,或者我是否需要为此类问题创建数据流?
我同意@Mark Kromer,你应该使用数据流。它启用了过滤器,可以更轻松地实现这一点。
过滤器需要 parse/inspect 文件中的数据并可能遍历层次结构。
我只是举了一个过滤数据的例子date > "2020-12-01"
:
过滤器:
输出预览:
根据您的数据列进行筛选以保留最近 2 天的数据。
我有一个 JSON 文件,我需要对其进行过滤以仅显示最近 2 天的数据。
有没有办法添加一个表达式来执行此操作,以便我可以接收包含过去 2 天数据的数据集?
此外,是否可以在管道中使用过滤器选项来完成,或者我是否需要为此类问题创建数据流?
我同意@Mark Kromer,你应该使用数据流。它启用了过滤器,可以更轻松地实现这一点。
过滤器需要 parse/inspect 文件中的数据并可能遍历层次结构。
我只是举了一个过滤数据的例子date > "2020-12-01"
:
过滤器:
输出预览:
根据您的数据列进行筛选以保留最近 2 天的数据。