只读取 azure 数据流源中的特定 csv 文件
Read only specific csv files in azure dataflow source
我有一个数据流源,一个带分隔符的文本数据集,它指向一个包含许多 csv 文件的文件夹。
所以源读取了folder2里面的所有csv文件。 folder2里面的文件是
abc.csv
someFile.csv
otherFile_2021.csv
predicted_file_1.csv
predicted_file_2.csv
predicted_file_99.csv
目的是只从predicted_file_*.csv这样的文件中读取数据,即只读取最后三个文件。是否可以在数据集中添加动态内容,以便它读取特定的模式文件?
在源转换中,在源选项下,您可以提供带有文件名前缀的通配符路径来读取所需的文件。
示例:
(出于调试目的,我添加了用于存储文件名的列以验证文件)
来源:
源预览:
有关详细信息,请参阅此 document。
我有一个数据流源,一个带分隔符的文本数据集,它指向一个包含许多 csv 文件的文件夹。
所以源读取了folder2里面的所有csv文件。 folder2里面的文件是
abc.csv
someFile.csv
otherFile_2021.csv
predicted_file_1.csv
predicted_file_2.csv
predicted_file_99.csv
目的是只从predicted_file_*.csv这样的文件中读取数据,即只读取最后三个文件。是否可以在数据集中添加动态内容,以便它读取特定的模式文件?
在源转换中,在源选项下,您可以提供带有文件名前缀的通配符路径来读取所需的文件。
示例:
(出于调试目的,我添加了用于存储文件名的列以验证文件)
来源:
源预览:
有关详细信息,请参阅此 document。