spark history 不在 ambari 集群上启动

Question

我们按以下方式启动 spark 历史

/usr/hdp/2.6.0.3-8/spark2/sbin/start-history-server.sh

来自日志

spark-root-org.apache.spark.deploy.history.HistoryServer-1-master01

我们得到

WARN AbstractLifeCycle: FAILED ServerConnector@14a54ef6{HTTP/1.1}
{0.0.0.0:18081}: java.net.BindException: Address already in use
java.net.BindException: Address already in use

请告知什么是解决方案，以便启动 spark 历史记录

Answer 1

您需要终止端口已打开的进程（如僵尸历史服务器），或将 Ambari 中的端口更改为其他端口

netstat -an、ps -ef 和 lsof 的组合将帮助您找到哪个进程占用了端口

spark history 不在 ambari 集群上启动

spark history not start on ambari cluster

hadoop

apache-spark

ambari

apache-spark-2.0