从 Google 云数据流中的 CombineFn 访问 PipelineOptions

Question

我需要从 CombineFn subclass 中实例化使用 GcsUtil，看起来我需要将 PipelineOptions 实例交给 GcsUtilFactory。但是我找不到检索 PipelineOptions class 实例的方法（与 DoFns 不同）。

是否有 API 在运行时检索当前管道的选项？ 将选项保留在字段中似乎不起作用，并且会阻止管道上传到数据流服务。

谢谢！ G

Answer 1

从 CombineFn 中的 GCS 读取可能会出现问题。例如，你不会得到任何侧输入给你的缓存。

根据您尝试执行的配置类型，最好的选择可能是在 运行 组合之前使用 ParDo/DoFn。

另外，从 CombineFn 中访问 PipelineOptions 可能确实有意义。我已经记下了，我们来看看。