Hadoop 示例排序验证

Question

在 hadoop-examples.jar 中， 我知道对于 TeraSort，我们可以使用 TeraValidate 来验证输出。 是否有类似的方法来验证排序示例的输出？

此外，我尝试使用 TeraValidate 来验证排序输出，但它给了我一个错误。

以下是 TeraValidate 的输出，

> error misorder in part-00001 last: ';:widdl' current: ')(winga'
> error misorder in part-00001 last: 'scrat bact' current: 'FEBassa'
> error misorder in part-00001 last: 'FEBassa' current: '?>Fouqu'
> error misorder in part-00001 last: '?>Fouqu' current: '=<Itali'
> error misorder in part-00001 last: 'shola spec' current: 'XWLemur'
> error misorder in part-00001 last: 'biventer L' current: '43Mesua'
> error misorder in part-00001 last: 'ploration ' current: 'pinulus ar'
> error misorder in part-00001 last: 'pinulus ar' current: 'hgShiah'
> error misorder in part-00001 last: 'pendulant ' current: '/.Tamil'
> error misorder in part-00001 last: '`_Whilk' current: '54Yanni'
> error misorder in part-00001 last: 'ribaldrous' current: 'cinque cha'

Answer 1

我刚刚检查过 teravalidate 仅适用于 terasort。没有标准作业来验证排序的输出。

这就是 TeraSort 被用于大多数基准测试作业的原因，因为它本身就拥有 TeraGen、TeraSort、TeraValidate。