使用什么.net 自定义处理器或减速器？

Question

我有按会话逻辑拆分的输入数据集。

在处理过程中，我需要再生成一列，其中包含根据每个会话的行数计算的哈希值。会话中的每一行都将用哈希值标记（在会话中相同）。 Input/output 基数将相同。

图片是我想要的

我想到使用 .net 自定义减速器或处理器。我走对路了吗？选择什么或如何在 U-SQL 中正确实施？

Answer 1

听起来会话的哈希需要知道会话中的所有行，因此处理器没有帮助，但缩减器可以做到这一点。

还要考虑是否可以通过自定义聚合器完成此操作。例如，您可以使用用户定义的聚合器为每个会话生成哈希，然后将聚合结果与原始行列表连接起来。