HDFS HA 纱线提交的火花提交错误是什么

Question

这是我的错误日志：

$ /spark-submit --master yarn --deploy-mode cluster pi.py
...
2021-12-23 01:31:04,330 INFO retry.RetryInvocationHandler: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sbnn-error
    at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88)
    at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1954)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1442)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1895)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:860)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:526)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
    at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
    at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
, while invoking ClientNamenodeProtocolTranslatorPB.setPermission over master/172.17.0.2:8020. Trying to failover immediately.
...

为什么我会收到这个错误？？

注意。 spark master是运行'master'，所以spark-submit命令运行 in 'master'

注意。 Spark worker 是运行 'worker1' and 'worker2' and 'worker3'

注意。 'master' 和 'master2'

中的 ResourceManager 运行

添加。打印上面错误日志时，master2的DFSZKFailoverController消失到jps命令结果。

添加。打印上面的错误日志时，jps命令结果master的Namenode消失了。

Answer 1

当 Spark 无法访问 HDFS 时发生。

如果配置正确，HDFS 客户端将通过尝试将自身故障转移到 HA 中的另一个 NameNode 来处理 StandbyException，然后它将重新尝试该操作。

手动替换活动的 Namenode URI 并检查您是否仍然遇到相同的错误，如果不是，则 HA 配置不正确。

HDFS HA 纱线提交的火花提交错误是什么

What is this error on spark-submit by HDFS HA yarn

bash

apache-spark

hadoop

hadoop-yarn