如何在 Yarn 上动态增加 Spark 运行 中的活动任务
How to Dynamically Increase Active Tasks in Spark running on Yarn
我是 运行 一个 spark streaming 进程，我在其中获得了一批 6000 个事件。但是当我查看执行程序时，只有一项活动任务是 运行。我尝试了动态分配以及设置执行者数量等。即使我有 15 个执行者，一次也只有一个活动任务是 运行。任何人都可以指导我我在这里做错了什么。
您的 DStream 中似乎只有一个分区。您应该尝试明确地重新分区您的输入流：
val input: DStream[...] = ...
val partitionedInput = input.repartition(numPartitions = 16)
这样您的输入中将有 16 个分区 DStream，并且每个分区都可以在一个单独的任务中处理（并且每个任务都可以在一个单独的执行器上执行）
您的 DStream 中似乎只有一个分区。您应该尝试明确地重新分区您的输入流：
val input: DStream[...] = ...
val partitionedInput = input.repartition(numPartitions = 16)
这样您的输入中将有 16 个分区 DStream，并且每个分区都可以在一个单独的任务中处理（并且每个任务都可以在一个单独的执行器上执行）