java.lang.IllegalArgumentException：帧太大：5211883372140375593
java.lang.IllegalArgumentException: Too large frame: 5211883372140375593
我把我的代码提交到集群到运行，但是遇到如下错误
'''
java.lang.IllegalArgumentException：帧太大：5211883372140375593
在 org.sparkproject.guava.base.Preconditions.checkArgument(Preconditions.java:119)
在 org.apache.spark.network.util.TransportFrameDecoder.decodeNext(TransportFrameDecoder.java:148)
'''
我的提交命令是这样的
spark-submit
--master spark://172.16.244.8:6066
--deploy-mode cluster
--num-executors 3
--executor-cores 8
--executor-memory 16g
--driver-memory 2g
--conf spark.default.parallelism=10
--class ParallelComputing
hdfs://172.16.244.5:9000/qlt/portrait-batch-0.0.1-jar-with-dependencies.jar
是什么原因
原因是spark的版本与集群的版本不匹配，可以通过修改本地spark版本与集群一致来解决
我把我的代码提交到集群到运行，但是遇到如下错误
''' java.lang.IllegalArgumentException：帧太大：5211883372140375593 在 org.sparkproject.guava.base.Preconditions.checkArgument(Preconditions.java:119) 在 org.apache.spark.network.util.TransportFrameDecoder.decodeNext(TransportFrameDecoder.java:148)
'''
我的提交命令是这样的
spark-submit
--master spark://172.16.244.8:6066
--deploy-mode cluster
--num-executors 3
--executor-cores 8
--executor-memory 16g
--driver-memory 2g
--conf spark.default.parallelism=10
--class ParallelComputing
hdfs://172.16.244.5:9000/qlt/portrait-batch-0.0.1-jar-with-dependencies.jar
是什么原因
原因是spark的版本与集群的版本不匹配，可以通过修改本地spark版本与集群一致来解决