使用列表和 pcollection 的区别

Question

我正在 apache beam 中构建管道，我只是对此感到好奇，将 ptransform 应用于列表和 pcollection 之间的区别是什么，性能受此影响还是只是 pcollection 是不可变的并且是这是使用 Apache Beam 处理管道的糟糕方法吗？

Answer 1

根据定义，PCollection 是一个无界集合。不可变，无界.

与列表的主要区别主要在于无界特性，当您流式传输数据时（来自大文件或来自无界源，如 PubSub），它特别强大。