我如何使用 spark-env.sh.template 在 Python 3 中设置 Pyspark
How do i setup Pyspark in Python 3 with spark-env.sh.template
因为我的 ipython3 笔记本中有这个问题，我想我必须以某种方式更改 "spark-env.sh.template"。
异常：Python worker 中的版本 2.7 与驱动程序 3.4 中的版本不同，PySpark 不能运行 具有不同的次要版本
我相信你可以分别指定两者，像这样：
PYSPARK_PYTHON=/opt/anaconda/bin/ipython
PYSPARK_DRIVER_PYTHON=/opt/anaconda/bin/ipython
基于另一个问题 Apache Spark: How to use pyspark with Python 3。
Spark 还不能与 Python 3.If 一起使用 Python API 您还需要一个 Python 解释器（版本 2.6或更新）。
我在 运行 IPYTHON=1 ./pyspark 时遇到了同样的问题。
好的快速修复
编辑 vim pyspark 并将 PYSPARK_DRIVER_PYTHON="ipython" 行更改为
PYSPARK_DRIVER_PYTHON="ipython2"
就是这样。
如果您想检查剂量 ipython 指向的位置，
在终端中输入 which ipython，我敢打赌那会是
/Library/Frameworks/Python.framework/Versions/3.4/bin/ipython
**已更新**
最新版本的 spark 与 python 3 配合得很好。所以这可能不需要最新版本。
只需设置环境变量：
export PYSPARK_PYTHON=python3
如果您希望此更改永久生效，请将此行添加到 pyspark 脚本
因为我的 ipython3 笔记本中有这个问题，我想我必须以某种方式更改 "spark-env.sh.template"。
异常：Python worker 中的版本 2.7 与驱动程序 3.4 中的版本不同，PySpark 不能运行 具有不同的次要版本
我相信你可以分别指定两者，像这样：
PYSPARK_PYTHON=/opt/anaconda/bin/ipython
PYSPARK_DRIVER_PYTHON=/opt/anaconda/bin/ipython
基于另一个问题 Apache Spark: How to use pyspark with Python 3。
Spark 还不能与 Python 3.If 一起使用 Python API 您还需要一个 Python 解释器（版本 2.6或更新）。
我在 运行 IPYTHON=1 ./pyspark 时遇到了同样的问题。
好的快速修复
编辑 vim pyspark 并将 PYSPARK_DRIVER_PYTHON="ipython" 行更改为
PYSPARK_DRIVER_PYTHON="ipython2"
就是这样。
如果您想检查剂量 ipython 指向的位置，
在终端中输入 which ipython，我敢打赌那会是
/Library/Frameworks/Python.framework/Versions/3.4/bin/ipython
**已更新**
最新版本的 spark 与 python 3 配合得很好。所以这可能不需要最新版本。
只需设置环境变量：
export PYSPARK_PYTHON=python3
如果您希望此更改永久生效，请将此行添加到 pyspark 脚本