如何在 Spark 2.1 中启用钨排序随机播放？
How to enable tungsten sort shuffle in Spark 2.1?
在之前的版本中，有一个名为spark.shuffle.manage的配置，用于判断Spark中shuffle算法的类型。从 Spark 2.0 开始，这个配置被删除了。默认的洗牌算法是基于排序的。据我了解，只有满足所有要求，才会启用 Tungsten shuffle。我怎么知道当前作业是使用原始的基于排序的洗牌还是钨丝排序？
非常感谢。
SortShuffleManager 是 Apache Spark 中唯一的 ShuffleManager。
换句话说，除了 SortShuffleManager 之外，您无法使用任何其他 ShuffleManager（除非您使用 spark.shuffle.manager 属性 启用了一个）。
在之前的版本中，有一个名为spark.shuffle.manage的配置，用于判断Spark中shuffle算法的类型。从 Spark 2.0 开始，这个配置被删除了。默认的洗牌算法是基于排序的。据我了解，只有满足所有要求，才会启用 Tungsten shuffle。我怎么知道当前作业是使用原始的基于排序的洗牌还是钨丝排序？
非常感谢。
SortShuffleManager 是 Apache Spark 中唯一的 ShuffleManager。
换句话说，除了 SortShuffleManager 之外，您无法使用任何其他 ShuffleManager（除非您使用 spark.shuffle.manager 属性 启用了一个）。