Python 工作节点和主节点中的版本不同

Question

运行 CentOS 6.7 上的 spark 1.4.1。使用 anaconda 安装 python 2.7 和 python 3.5.1。

确保 PYSPARK_PYTHON env var 设置为 python3.5 但是当我打开 pyspark shell 并执行一个简单的 rdd 转换时，它会出错并出现以下异常：

异常：Python worker 中的版本 2.7 与驱动程序 3.5 中的版本不同，PySpark 不能 运行 具有不同的次要版本

只是想知道还有哪些地方可以更改路径。

Answer 1

您是否使用新设置重新启动了 Spark worker？仅仅为您的驱动程序进程更改环境设置是不够的：驱动程序创建的任务将跨进程（有时是系统）边界执行。这些任务是经过编译的代码位，因此这就是两个版本需要匹配的原因。