有没有办法在 Apache Beam 中排除特定的文件模式
Is there a way to exclude a certain file pattern in Apache Beam
有没有办法禁止将提供给 Apache Beam 管道的特定模式?
例如,我想打开所有以“Do”开头的文件夹(就像这样:Do*),但我还想排除一个单词“Docker”。
Apache Beam 是否有 smth 来帮助实现它?
谢谢
我猜你只能通过手动过滤 FileIO.match()
或 FileIO.matchAll()
的输出结果来做到这一点。不确定是否可以使用当前的 FileIO API.
有没有办法禁止将提供给 Apache Beam 管道的特定模式? 例如,我想打开所有以“Do”开头的文件夹(就像这样:Do*),但我还想排除一个单词“Docker”。 Apache Beam 是否有 smth 来帮助实现它? 谢谢
我猜你只能通过手动过滤 FileIO.match()
或 FileIO.matchAll()
的输出结果来做到这一点。不确定是否可以使用当前的 FileIO API.