了解 Spark 版本

Question

当我在 shell 中输入 pyspark 时，它在控制台中将 spark 版本显示为 version 1.6.0。

但是当我给出 spark2-submit --version 时它说 version 2.2.0.cloudera2.

我想了解它们之间的区别以及 pyspark 运行s 上的实际版本是什么？每当 运行 是 py 脚本时，我都使用 spark2-submit script.py.

Answer 1

在执行 Pyspark 之前，尝试设置您的 spark 版本环境变量。在您的终端上尝试 运行 以下命令：

SPARK_MAJOR_VERSION=2 pyspark

Answer 2

当我输入 pyspark2 时，它显示版本 2.2.0。这与 spark2-submit --version 匹配。