Python 支持 Apache Beam 中的 SparkRunner

Python support for SparkRunner in Apache Beam

是否支持使用 Apache Beam 和 SparkRunner 的 运行 python 程序?

文档好像没有:https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner

当我查看 API 参考资料时 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html 我在那里找不到任何提及 SparkRunner 的地方。

有人提到并支持 Java 我相信,但我想知道是否有 python 支持?

目前在 Apache Spark 上不支持使用 Apache Beam 的 Python SDK 构建的 运行 管道。但是,这项工作正在进行中,体现在 Apache Beam 可移植性框架中。

敬请期待 - 这应该会很快推出!

已添加对 运行 Apache Beam Python 管道的支持,并且有一些关于如何开始的说明 here