如何在数据融合中使用正则表达式拆分过滤器?
How to use the regex split filter in the datafusion?
我正在使用 Google Cloud Platform DataFusion 产品。
是否应该在 GCS 属性的高级部分的正则表达式路径过滤器部分放置一个正则表达式?例如)/[0-9]
但是,如果我在正则表达式路径过滤器和 运行 数据管道中输入一个值,“尚未为阶段 GCS 生成输出记录。请验证您的逻辑,或尝试发送更多数据。”
如果你能给我一个例子,说明如何在正则表达式路径过滤器部分编写,我将不胜感激。
感谢您的阅读。
目前,CDAP 中有一个未解决的问题,用于更新其关于 Regex 路径过滤器[=30 的文档=] 字段,here.
Regex Path Filter仅用于过滤文件,根据documentation.[=15使用Regex =]
例如,您可以编写gs://data_directory/*/file_prefix*
按文件前缀过滤文档或gs://data_directory/.*\.csv
按扩展名过滤文件。而Path指向GCS目录,如gs://data_directory
.
我正在使用 Google Cloud Platform DataFusion 产品。
是否应该在 GCS 属性的高级部分的正则表达式路径过滤器部分放置一个正则表达式?例如)/[0-9]
但是,如果我在正则表达式路径过滤器和 运行 数据管道中输入一个值,“尚未为阶段 GCS 生成输出记录。请验证您的逻辑,或尝试发送更多数据。”
如果你能给我一个例子,说明如何在正则表达式路径过滤器部分编写,我将不胜感激。
感谢您的阅读。
目前,CDAP 中有一个未解决的问题,用于更新其关于 Regex 路径过滤器[=30 的文档=] 字段,here.
Regex Path Filter仅用于过滤文件,根据documentation.[=15使用Regex =]
例如,您可以编写gs://data_directory/*/file_prefix*
按文件前缀过滤文档或gs://data_directory/.*\.csv
按扩展名过滤文件。而Path指向GCS目录,如gs://data_directory
.