如何将现有的 MapReduce 应用程序转换为 Crunch?

How to convert existing MapReduce applications to Crunch?

我实现了几个(大约十几个)MapReduce 任务,每个任务都作为由简单 bash 脚本执行的工作流的一部分。由于各种原因,我想将工作流移至 Apache C运行ch。

但是,我不清楚如何 运行 我的 MapReduce 任务作为 C运行ch 函数而不重新实现它们。有没有直接的方法将 Map 和 Reduce 实现用作 C运行ch 函数?我也想维护工具实现,这样 MapReduce 任务就可以 运行 既独立又作为 C运行ch 工作流的一部分;有什么办法吗?

感谢您的任何见解。

对于可能偶然发现此问题的任何人,在 Crunch 库中有一个最少记录的 API。然而,它相当简单。

看这里:https://crunch.apache.org/apidocs/0.10.0/org/apache/crunch/lib/Mapreduce.html