如何在 Apache Nifi 中合并分区 Json
How to merge partitioned Json in Apache Nifi
您好,我正在拆分 Json 个大小从 2 GB 到 3 GB 不等的文件。
我应该如何设置 'Merge content' 处理器才能拥有原始文件?
我面临合并后同一流文件的多个部分的问题,这可能是我设置的限制有误。
你知道解决这个问题的热点吗?
我关注这些属性:
-最少参赛人数
- 最大条目数
- 最小组大小
-最大组大小
要重建拆分文件,您需要在碎片整理模式下使用 MergeContent。我相信这会忽略所有条目和大小属性,只使用拆分处理器放置在每个流文件上的 "fragment" 属性,并将所有片段合并回一起。
您好,我正在拆分 Json 个大小从 2 GB 到 3 GB 不等的文件。
我应该如何设置 'Merge content' 处理器才能拥有原始文件?
我面临合并后同一流文件的多个部分的问题,这可能是我设置的限制有误。
你知道解决这个问题的热点吗?
我关注这些属性:
-最少参赛人数
- 最大条目数
- 最小组大小
-最大组大小
要重建拆分文件,您需要在碎片整理模式下使用 MergeContent。我相信这会忽略所有条目和大小属性,只使用拆分处理器放置在每个流文件上的 "fragment" 属性,并将所有片段合并回一起。