如何修复 oozie spark 纱线提交中的“java.lang.NoSuchMethodError”？

Question

我有一个裸机 hadoop 3.1.2 集群和运行ning，我还安装了 Oozie 5.1.0 并成功运行 shell 示例。但是当我在运行ning Spark 示例 (FileCopy) 时，它在 oozie 中指示 'Success'，而文件并未真正复制，并且 YARN stderr 包含：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.yarn.api.protocolrecords.RegisterApplicationMasterResponse.getResourceProfiles()Ljava/util/Map;
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:253)
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:234)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:201)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:180)

您知道为什么会发生这种情况吗？

Answer 1

Oozie 5.1.0 不支持 Hadoop 3。未解决的问题：

如何修复 oozie spark 纱线提交中的“java.lang.NoSuchMethodError”？

How to fix ''java.lang.NoSuchMethodError" in oozie spark yarn submit?

apache-spark

hadoop

oozie