HdfsRpcException：无法在服务器上调用 RPC 调用 "getFsStats"

Question

我在 EC2 实例上安装了单节点 Hadoop 集群。然后我在 hdfs 上存储了一些测试数据，我试图将 hdfs 数据加载到 SAP Vora。我在这个项目中使用 SAP Vora 2.0。

要创建 table 并将数据加载到 Vora，这是我运行ning 的查询：

drop table if exists dims;
CREATE TABLE dims(teamid int, team string)
USING com.sap.spark.engines.relational 
OPTIONS (
hdfsnamenode "namenode.example.com:50070",
files "/path/to/file.csv",
storagebackend "hdfs");

当我运行上面的查询时，我得到这个错误信息：

com.sap.vora.jdbc.VoraException: HL(9): Runtime error.
  (could not handle api call, failure reason : execution of scheduler plan failed:
    found error: :-1, CException, Code: 10021 : Runtime category : an std::exception wrapped.
    Next level: v2 HDFS Plugin: Exception at opening
    hdfs://namenode.example.com:50070/path/to/file.csv:
    HdfsRpcException: Failed to invoke RPC call "getFsStats" on server
    "namenode.example.com:50070" for node id 20
    with error code 0, status ERROR_STATUS

Hadoop 和 Vora 运行在不同的节点上。

Answer 1

您应该指定HDFS Namenode端口，一般为8020。50700是WebUI的端口。参见例如Default Namenode port of HDFS is 50070.But I have come across at some places 8020 or 9000

HdfsRpcException：无法在服务器上调用 RPC 调用 "getFsStats"

HdfsRpcException: Failed to invoke RPC call "getFsStats" on server

sap

hadoop

amazon-web-services

hdfs

vora