除了 google 云数据流之外,是否有任何支持 apache beam python 的运行程序?

Are there any runners supported for apache beam python besides google cloud dataflow?

我已经使用 google 云数据流和 Apache Beam 构建 python 管道大约一年了。我要离开 google 云环境去 university cluster, which has spark installed. It looks like the spark runner is only for java (https://beam.apache.org/documentation/runners/spark/)?关于如何在云数据流之外 运行 python apache beam 管道有什么建议吗?

截至目前,这还不可能,但跨 运行 用户和语言的可移植性是目前 Beam 的最高优先级和最活跃的开发领域,我认为可移植的 Flink 运行ner 非常接近能够在 Python 中 运行 简单的管道,并且便携式 Spark 运行ner 开发即将开始(并与 Flink 共享大量代码)。请继续关注并关注 dev@ 邮件列表!