使用 spark-submit 强制 Python2
Force Python2 with spark-submit
我正在使用 AWS EMR 创建一个 Spark 应用程序，但是 spark-submit 运行s 使用 Python 3 而不是 Python 2。
但是当我 运行 pyspark 相反时，它是 Python 2.
如何强制 spark-submit 使用 Python 2？
我试过
export PYSPARK_PYTHON=/usr/bin/python2
但是没用。
谢谢
你试过插入
PYSPARK_PYTHON=/usr/bin/python2
语句进入 spark-env.sh 文件？
实际上我的代码中有这个
from __future__ import print_function
当我 运行 打印 'hello world' 它崩溃了，因为它不是默认的打印功能。但我认为它崩溃了，因为它使用的是 Python 3 而不是 Python 2.
我正在使用 AWS EMR 创建一个 Spark 应用程序，但是 spark-submit 运行s 使用 Python 3 而不是 Python 2。 但是当我 运行 pyspark 相反时，它是 Python 2.
如何强制 spark-submit 使用 Python 2？
我试过
export PYSPARK_PYTHON=/usr/bin/python2
但是没用。
谢谢
你试过插入
PYSPARK_PYTHON=/usr/bin/python2
语句进入 spark-env.sh 文件？
实际上我的代码中有这个
from __future__ import print_function
当我 运行 打印 'hello world' 它崩溃了，因为它不是默认的打印功能。但我认为它崩溃了，因为它使用的是 Python 3 而不是 Python 2.