Spark 节俭服务器无法启动

Question

我是运行 spark 1.5.2 thrift 服务器，Hive-1.2.1 在 windows 中的安全 yarn-2.7.2 上使用以下命令

spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.10-1.5.2.jar"

它因以下 异常而停止,

16/04/11 12:31:00 INFO AbstractService: Service:HiveServer2 is started.
16/04/11 12:31:00 INFO HiveThriftServer2: HiveThriftServer2 started
16/04/11 12:31:00 ERROR ThriftCLIService: Error starting HiveServer2: could not start ThriftBinaryCLIService
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address hostname1/192.168.65.7:10000.
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87)
    at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241)
    at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)
    at java.lang.Thread.run(Thread.java:744)
16/04/11 12:31:00 INFO HiveServer2: Shutting down HiveServer2
16/04/11 12:31:00 INFO AbstractService: Service:ThriftBinaryCLIService is stopped.

如何解决这个问题。

谢谢。

Answer 1

问题的可能原因是端口 10000 已被使用（正如您在评论中提到的 Hiveserver 已经运行，默认使用端口 10000）。
当运行 thrift server.

时，您可以更改它（例如更改为 10005）

我建议您按如下方式启动 thrift 服务器：

$cd $SPARK_HOME
$./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10005 --master  yarn-client

请参考文档here

Spark 节俭服务器无法启动

Spark thrift server unable to start

hadoop

apache-spark

hive

spark-thriftserver