用于单元测试的 MR-Unit 与 JUnit

MR-Unit vs JUnit for unit testing

谁能解释一下使用 MR-Unit 进行单元测试 MR 作业与使用 JUnit 和 Mockito 相比有什么好处?

具体来说,有哪些事情是我可以用 JUnit 做而我不能做的,或者更难做?

我的想法是将所有逻辑从 mappers/reducers 转移到帮助程序 类 并且只验证是否在模拟上调用了适当的方法。

为什么要使用 MR-Unit?

我认为 mrunit 为您提供的最重要的东西是用于测试 mapreduce 作业的 DSL。单元测试应该是关于可读性和讲述故事的,所以如果你有一个适合领域的API,那么编写测试和稍后理解它们会变得更容易。

另一件可能同样重要的事情是它提供了比 JUnit 默认断言更好的断言错误和差异。

当然,您也可以只坚持使用 JUnit,但您最终可能会以半支持的方式在功能上重新实现大部分 mrunit。

但不是either/or,因为我看到 mrunit 的域有点不同。它迫使您以一种非常简单的方式思考您的工作:如果您将某些东西放入,您希望取出某些东西(并且可能增加一些计数器),而 JUnit 测试通常测试某种逻辑。所以当然你可以单独放置和测试你的逻辑(如果你有复杂的逻辑,甚至可能应该这样做)并使用 mrunit 进行某种 "blackbox" 测试,只要你不关心逻辑在哪里以及如何实现当您获得正确的输入输出时。