通过Spark获取HDP版本

Question

我们安装了新的 Spark 版本，因此所有文件夹的名称都类似于：

ls /etc/hadoop/
2.6.4.0-91  conf  conf.backup

从spark-submit我们得到

spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0.2.6.4.0-91
      /_/

我需要的是识别 spark 版本 - 2.6.4.0-91。我们可以做到：

ls /etc/hadoop/ | grep [0-9]
2.6.4.0-91

但这种方法不太好（因为可能有其他带编号的文件夹名称等）

通过 spark-submit --version 我们得到了

version 2.2.0.2.6.4.0-91

虽然我们只需要版本 - 2.6.4.0-91，（没有 2.2.0）

任何ides如何从spark-submit --version获得版本 - 没有（2.2.0）？

Answer 1

由于linux机器上安装了hadoop，

如：

rpm -qa |grep hadoop | grep client
hadoop_2_6_4_0_91-client-2.7.3.2.6.4.0-91.x86_64

然后我可以使用 hdp-select 命令来获得所需的 HDP 版本

 hdp-select |  grep hadoop-client | awk '{print }'
 2.6.4.0-91

或：

hdp-select | grep hadoop-client
hadoop-client - 2.6.4.0-91

通过Spark获取HDP版本

Get HDP version through Spark

hadoop

hortonworks-data-platform

apache-spark