聚合器阶段输出不正确的行数
Aggregater Stage outputting incorrect row count
我有以下作业需要顺序文件的行数。当 运行 在多个节点上时，例如 4，我得到 4 个不同的行数。我将如何只输出一行和行数。
Source --> transformer（这有一个用于计数的虚拟行）--> Aggregator Stage --> Sequential File
任何帮助将不胜感激！！谢谢！
您可以将聚合器阶段的执行模式设置为顺序（阶段-高级选项卡）。如果作业不处理大量数据，您可能不会遇到性能下降的情况。如果您确实处理大量数据，那么将聚合器保留为并行更有意义，然后添加另一个聚合器并将其设置为顺序
我有以下作业需要顺序文件的行数。当 运行 在多个节点上时，例如 4，我得到 4 个不同的行数。我将如何只输出一行和行数。
Source --> transformer（这有一个用于计数的虚拟行）--> Aggregator Stage --> Sequential File
任何帮助将不胜感激！！谢谢！
您可以将聚合器阶段的执行模式设置为顺序（阶段-高级选项卡）。如果作业不处理大量数据，您可能不会遇到性能下降的情况。如果您确实处理大量数据，那么将聚合器保留为并行更有意义，然后添加另一个聚合器并将其设置为顺序