数据工厂数据流源中的动态文件名
Dynamic filename in Data Factory dataflow source
我正在使用一个管道将 table 数据从本地 SQL 动态加载到数据湖 csv 文件，为我已经设置的每个 table 下沉一个 .csv 文件使用 Foreach 在 AzureSQL 中加载版本控制 table。
因此，在加载数据后，我想根据加载的每个 .csv 文件的 MAX(lastUpdate) 字段，用上次更新日期更新 versionControl table。为此，我知道我需要在副本 activity 之后添加数据流，因此我可以使用聚合转换，但不知道如何在参数中动态地将文件名传递给数据流的源.
谢谢！
2 个选项：
参数化数据集。在数据流中使用具有文件名参数的源数据集。然后您可以将该文件名作为管道参数传递。
参数化源通配符。您还可以在数据流中使用仅指向容器中文件夹的源数据集。然后，您可以在源中参数化通配符 属性，并将文件名作为管道参数发送到那里。
我正在使用一个管道将 table 数据从本地 SQL 动态加载到数据湖 csv 文件，为我已经设置的每个 table 下沉一个 .csv 文件使用 Foreach 在 AzureSQL 中加载版本控制 table。
因此，在加载数据后，我想根据加载的每个 .csv 文件的 MAX(lastUpdate) 字段，用上次更新日期更新 versionControl table。为此，我知道我需要在副本 activity 之后添加数据流，因此我可以使用聚合转换，但不知道如何在参数中动态地将文件名传递给数据流的源.
谢谢！
2 个选项：
参数化数据集。在数据流中使用具有文件名参数的源数据集。然后您可以将该文件名作为管道参数传递。
参数化源通配符。您还可以在数据流中使用仅指向容器中文件夹的源数据集。然后，您可以在源中参数化通配符 属性，并将文件名作为管道参数发送到那里。