使用 TextIO 读取 Mapr 文件

Question

我可以使用 TextIO.Read 读取 Mapr 文件，将文件放在 hadoop 文件夹中，并能够在 hadoop 文件夹中写入文件。但是我不确定是否需要使用 org.apache.beam.sdk.io.hdfs 因为 Mapr 文件是基于 HDFS 的。

谢谢。

Answer 1

所有基于文件的 Beam IOs 透明地与各种支持的文件系统交互，这是从 Beam 与它们交互的推荐方式。无需明确使用 io.hdfs 包中的 类。