Apache Beam 中 HDFS 集群的附加配置

Question

有谁知道是否有办法在 Apache Beam 中为 HDFS 指定额外的 xml 配置文件？ 正如我所见，它有两个选项：

1. hdfsConfiguration 属性 在启动命令中。
2. core-site.xml 和 hdfs-site.xml 文件 HadoopFileSystemOptions#ConfigurationLocator 如果未指定第一个选项

也许还有其他我遗漏的东西可以允许指定一些其他文件？

Answer 1

我用这种方法解决了问题：

    PipelineOptions po = ???
    List<Configuration> configs = ???
    HadoopFileSystemOptions options = po.as(HadoopFileSystemOptions.class);
    options.setHdfsConfiguration(configs);
    org.apache.beam.sdk.io.FileSystems.setDefaultPipelineOptions(options);