推测执行 Hadoop
Speculative Execution Hadoop
我正在 yahoo(https://developer.yahoo.com/hadoop/tutorial/module4.html) 学习这个 hadoop 模块,我正在阅读推测执行部分。我的问题是,
因为根据模块
,因为推测执行而放弃的任务和丢弃的输出会去哪里
因为根据雅虎,
"If other copies were executing speculatively, Hadoop tells the TaskTrackers to abandon the tasks and discard their outputs"
尽管没有明确说明,但丢弃已放弃的任务意味着从终止的任务中释放资源(内存和 cpu 核心)并释放磁盘 space(擦除磁盘上的输出)。如果您使用的是 YARN,节点管理器将释放容器。
原始任务或推测任务将被杀死,取决于谁先完成。如果推测任务先完成,原始任务将被终止,如果原始任务首先完成,推测任务将被终止。
当你杀死一个正常的 java 进程时会发生什么?该进程使用的资源被释放。在这种情况下也会发生同样的事情。唯一的区别是任务被优雅地杀死。
TaskAttemptKillEvent
将对此提供更多见解 topic
我正在 yahoo(https://developer.yahoo.com/hadoop/tutorial/module4.html) 学习这个 hadoop 模块,我正在阅读推测执行部分。我的问题是,
因为根据模块
因为根据雅虎,
"If other copies were executing speculatively, Hadoop tells the TaskTrackers to abandon the tasks and discard their outputs"
尽管没有明确说明,但丢弃已放弃的任务意味着从终止的任务中释放资源(内存和 cpu 核心)并释放磁盘 space(擦除磁盘上的输出)。如果您使用的是 YARN,节点管理器将释放容器。
原始任务或推测任务将被杀死,取决于谁先完成。如果推测任务先完成,原始任务将被终止,如果原始任务首先完成,推测任务将被终止。
当你杀死一个正常的 java 进程时会发生什么?该进程使用的资源被释放。在这种情况下也会发生同样的事情。唯一的区别是任务被优雅地杀死。
TaskAttemptKillEvent
将对此提供更多见解 topic