Apache Beam FileIO 匹配 - better/more 匹配文件的有效方法是什么?
Apache Beam FileIO match - What's better/more efficient way to match files?
我只是想知道 - 使用通配符是否会影响 Beam 匹配文件的方式?
例如,如果我想将文件与 Apache Beam 匹配,如果我指定文件的直接路径(即 folder/subfolder/file.txt)是否有优势?
或者,如果我只给 match() 方法一个通配符作为输入,就框架的性能而言,它会同样高效还是更差?
谢谢
与读取文件的成本(和旋转工人,如果 运行 在分布式运行器上)相比,匹配的成本可以忽略不计。另一方面,多次读取(具有不同的直接路径)通常比读取通配符匹配的开销更大。
我只是想知道 - 使用通配符是否会影响 Beam 匹配文件的方式? 例如,如果我想将文件与 Apache Beam 匹配,如果我指定文件的直接路径(即 folder/subfolder/file.txt)是否有优势? 或者,如果我只给 match() 方法一个通配符作为输入,就框架的性能而言,它会同样高效还是更差?
谢谢
与读取文件的成本(和旋转工人,如果 运行 在分布式运行器上)相比,匹配的成本可以忽略不计。另一方面,多次读取(具有不同的直接路径)通常比读取通配符匹配的开销更大。