Apache Spark 使用的 python 版本

The version of python used by Apache Spark

Apache Spark 库支持哪个 python 版本(2 或 3)? 如果它支持两个版本,使用 Apache-Spark 时使用 python 2 或 3 是否有任何性能考虑?

至少自 Spark 1.2.1 起,如果未使用 PYSPARK_PYTHONPYSPARK_DRIVER_PYTHON(请参阅 bin/pyspark)进行其他设置,则默认 Python 版本为 2.7。

Python 3 自 Spark 1.4.0 起受支持(参见 SPARK-4897 and Spark 1.4.0 release notes)。

选择一个而不是另一个应该取决于您的要求。如果您不确定,阅读 Should I use Python 2 or Python 3 for my development activity? 可能是明智的。除此之外,它很可能是 SO 的广泛和主观主题。