我如何确定我的 Foundry 工作的阶段有偏差？

How do I identify that my Foundry job's stage has skew?

我有一份工作运行一个阶段似乎需要很长时间。我听说这可能是由于名为 'skew'.

的原因造成的

我怎么知道我是否受到此影响？

我知道这通常与联接、windows 和其他引起随机播放的操作相关联，但我不知道如何识别它。

  1. 打开 Spark 详细信息，如
  2. 确定当前 运行ning 阶段或总体上最慢的阶段
  3. 单击此阶段的行以显示阶段详细信息按钮
  4. 单击阶段详细信息按钮
  5. 查看屏幕顶部的舞台指标。如果您看到较少数量的任务 运行ning 明显比其他任务长，这意味着您有偏差
  6. 如果您单击最慢的任务，您将在下面的概述中找到突出显示的任务，这将指示输入/输出的大小。

在上面的示例中，此作业 + 阶段中有一个任务需要比 运行 长几个数量级，因为它的输入大小比其他任务大几个数量级。

这是倾斜任务/倾斜阶段的定义。

如果您想知道什么值导致此任务变慢，请查看

上的指南