Apache Spark 使用的 python 版本
The version of python used by Apache Spark
Apache Spark 库支持哪个 python 版本(2 或 3)?
如果它支持两个版本,使用 Apache-Spark 时使用 python 2 或 3 是否有任何性能考虑?
至少自 Spark 1.2.1 起,如果未使用 PYSPARK_PYTHON
或 PYSPARK_DRIVER_PYTHON
(请参阅 bin/pyspark
)进行其他设置,则默认 Python 版本为 2.7。
Python 3 自 Spark 1.4.0 起受支持(参见 SPARK-4897 and Spark 1.4.0 release notes)。
选择一个而不是另一个应该取决于您的要求。如果您不确定,阅读 Should I use Python 2 or Python 3 for my development activity? 可能是明智的。除此之外,它很可能是 SO 的广泛和主观主题。
Apache Spark 库支持哪个 python 版本(2 或 3)? 如果它支持两个版本,使用 Apache-Spark 时使用 python 2 或 3 是否有任何性能考虑?
至少自 Spark 1.2.1 起,如果未使用 PYSPARK_PYTHON
或 PYSPARK_DRIVER_PYTHON
(请参阅 bin/pyspark
)进行其他设置,则默认 Python 版本为 2.7。
Python 3 自 Spark 1.4.0 起受支持(参见 SPARK-4897 and Spark 1.4.0 release notes)。
选择一个而不是另一个应该取决于您的要求。如果您不确定,阅读 Should I use Python 2 or Python 3 for my development activity? 可能是明智的。除此之外,它很可能是 SO 的广泛和主观主题。