Spark 应用程序仅使用 1 个执行程序
Spark application uses only 1 executor
我是运行一个应用程序，代码如下。我不明白为什么只有 1 个执行器在使用，即使我有 3 个。当我尝试增加范围时，我的工作失败导致任务管理器丢失执行器。
在总结中，我看到随机写入的值，但随机读取为 0（可能是因为所有数据都在一个节点上，不需要发生随机读取来完成作业）。
val rdd: RDD[(Int, Int)] = sc.parallelize((1 to 10000000).map(k => (k -> 1)).toSeq)
val rdd2= rdd.sortByKeyWithPartition(partitioner = partitioner)
val sorted = rdd2.map((_._1))
val count_sorted = sorted.collect()
编辑：我增加了执行程序和驱动程序的内存和内核。我还将执行者的数量从 4 改为 1。这似乎有所帮助。我现在在每个节点上看到 shuffle read/writes。
看起来您的代码最终只有一个 RDD 分区。您应该将 RDD 的分区增加到至少 3 个以利用所有 3 个执行程序。
..maybe cause all the data is on one node
这应该会让您认为您的 RDD 只有一个分区，而不是 3 个，或者 更多，最终将利用所有执行程序。
因此，根据 Hokam 的回答，我会这样做：
rdd.getNumPartitions
现在如果是 1，那么重新分区你的 RDD，像这样：
rdd = rdd.repartition(3)
这会将您的 RDD 分成 3 个分区。
现在再次尝试执行您的代码。
我是运行一个应用程序，代码如下。我不明白为什么只有 1 个执行器在使用，即使我有 3 个。当我尝试增加范围时，我的工作失败导致任务管理器丢失执行器。 在总结中，我看到随机写入的值，但随机读取为 0（可能是因为所有数据都在一个节点上，不需要发生随机读取来完成作业）。
val rdd: RDD[(Int, Int)] = sc.parallelize((1 to 10000000).map(k => (k -> 1)).toSeq)
val rdd2= rdd.sortByKeyWithPartition(partitioner = partitioner)
val sorted = rdd2.map((_._1))
val count_sorted = sorted.collect()
编辑：我增加了执行程序和驱动程序的内存和内核。我还将执行者的数量从 4 改为 1。这似乎有所帮助。我现在在每个节点上看到 shuffle read/writes。
看起来您的代码最终只有一个 RDD 分区。您应该将 RDD 的分区增加到至少 3 个以利用所有 3 个执行程序。
..maybe cause all the data is on one node
这应该会让您认为您的 RDD 只有一个分区，而不是 3 个，或者 更多，最终将利用所有执行程序。
因此，根据 Hokam 的回答，我会这样做：
rdd.getNumPartitions
现在如果是 1，那么重新分区你的 RDD，像这样：
rdd = rdd.repartition(3)
这会将您的 RDD 分成 3 个分区。
现在再次尝试执行您的代码。