hadoop hbase 比较行相同 table
hadoop hbase compare rows same table
我想编写一个 map-reduce 或多个 map-reduce 来相互比较行。
如果不在 reducer 中完成所有操作，我想不出一种方法来编写它。
由于有数百万行，我可能需要花很多时间才能将整个数据集相互比较。我怎样才能做到这一点？
我不关心 PIG。这是一个我将扩展的简单案例（我在 PIG 中做不到的事情）
一些要问的问题是
1.要比较到最后一条记录吗？
2. 如果是，那么可能是，我担心你别无选择，只能依靠 reducer 来获取整个数据
3. 如果答案是否定的，并且您想跳过其余部分，当进行特定比较并满足时，您可以在映射中验证它自己并且不要向映射器输出写入任何内容。但是，仍然会有其他地图运行，所以可能在这种情况下，你应该退出作业，一旦比较成功
我想编写一个 map-reduce 或多个 map-reduce 来相互比较行。
如果不在 reducer 中完成所有操作，我想不出一种方法来编写它。
由于有数百万行，我可能需要花很多时间才能将整个数据集相互比较。我怎样才能做到这一点？
我不关心 PIG。这是一个我将扩展的简单案例（我在 PIG 中做不到的事情）
一些要问的问题是 1.要比较到最后一条记录吗？ 2. 如果是，那么可能是，我担心你别无选择，只能依靠 reducer 来获取整个数据 3. 如果答案是否定的，并且您想跳过其余部分，当进行特定比较并满足时，您可以在映射中验证它自己并且不要向映射器输出写入任何内容。但是，仍然会有其他地图运行，所以可能在这种情况下，你应该退出作业，一旦比较成功