Spark 1.4.2 错误
Errors with Spark 1.4.2
8 节点虚拟金属集群，其中 4 个节点用于分析。 DSE 版本 4.8.6，Spark 版本 1.4.2。 ... Scala 版本 2.10.5（Java HotSpot(TM) 64 位服务器 VM，Java 1.8.0_77）
运行 dse pyspark 或 dse spark 时（重复）出现这些错误：
org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor
我认为只有在使用交互式 shell 时才会发生这种情况：一份工作似乎 return 像这样提交时会产生结果：
$ dse spark-submit ./test.py
WARN 2016-05-05 19:21:51,614 org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
+---------+---------+-------+---------------+----------+
( results )
这显然是防火墙问题。
我很确定我在这里打开了所有端口：https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/sec/secConfFirePort.html ...
..当时，似乎正在尝试与随机端口进行通信。这对发送请求的服务器来说不是问题，但对接收请求的服务器来说是个问题...
所以我关闭了防火墙，一切正常。
8 节点虚拟金属集群，其中 4 个节点用于分析。 DSE 版本 4.8.6，Spark 版本 1.4.2。 ... Scala 版本 2.10.5（Java HotSpot(TM) 64 位服务器 VM，Java 1.8.0_77）
运行 dse pyspark 或 dse spark 时（重复）出现这些错误：
org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor
我认为只有在使用交互式 shell 时才会发生这种情况：一份工作似乎 return 像这样提交时会产生结果：
$ dse spark-submit ./test.py
WARN 2016-05-05 19:21:51,614 org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
+---------+---------+-------+---------------+----------+
( results )
这显然是防火墙问题。
我很确定我在这里打开了所有端口：https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/sec/secConfFirePort.html ...
..当时，似乎正在尝试与随机端口进行通信。这对发送请求的服务器来说不是问题，但对接收请求的服务器来说是个问题...
所以我关闭了防火墙，一切正常。