在 Google Dataflow Worker 上配置 Linux Distro？

Question

我的 Beam/Dataflow 管道涉及一些数据处理，它使用 Linux CLI 工具（具体来说，osmium-tool 版本 >= 1.9.1）仅适用于一些较新的 Ubuntu 发行版 (cosmic or disco)。我找不到任何关于 Dataflow Workers OS 规范的文档，或者它是否可配置。

任何帮助将不胜感激，谢谢！

Answer 1

Beam 可移植性工作的目标之一是允许这样的自定义。虽然此时仍处于实验阶段，但您可以按照 https://beam.apache.org/documentation/runtime/environments/ 中的说明完全配置您的用户代码运行的环境。