Python 支持 Apache Beam 中的 SparkRunner
Python support for SparkRunner in Apache Beam
是否支持使用 Apache Beam 和 SparkRunner 的 运行 python 程序?
文档好像没有:https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner
当我查看 API 参考资料时
https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html 我在那里找不到任何提及 SparkRunner 的地方。
有人提到并支持 Java 我相信,但我想知道是否有 python 支持?
目前在 Apache Spark 上不支持使用 Apache Beam 的 Python SDK 构建的 运行 管道。但是,这项工作正在进行中,体现在 Apache Beam 可移植性框架中。
敬请期待 - 这应该会很快推出!
已添加对 运行 Apache Beam Python 管道的支持,并且有一些关于如何开始的说明 here。
是否支持使用 Apache Beam 和 SparkRunner 的 运行 python 程序?
文档好像没有:https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner
当我查看 API 参考资料时 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html 我在那里找不到任何提及 SparkRunner 的地方。
有人提到并支持 Java 我相信,但我想知道是否有 python 支持?
目前在 Apache Spark 上不支持使用 Apache Beam 的 Python SDK 构建的 运行 管道。但是,这项工作正在进行中,体现在 Apache Beam 可移植性框架中。
敬请期待 - 这应该会很快推出!
已添加对 运行 Apache Beam Python 管道的支持,并且有一些关于如何开始的说明 here。