按 Apache Beam 管道中的键集合类型分组
Group by key collection type in Apache Beam pipeline
我在 Apache Beam Go SDK 中有一个管道。
pcoll := beam.GroupByKey(s, src)
问题是在 GroupByKey 转换之后我想用 ParDo 转换进一步处理它。我遇到了类型问题,因为 Go 要我按如下方式定义 ParDo 函数输入:
value CoGBK<[]uint8,[]uint8>
但是Go中没有类型CoGBK。有没有办法在 Apache Beam Go SDK 中定义这种类型?
好的,当我们有一条消息需要值 CoGBK<[]uint8,[]uint8>
类型时,我们实际上应该做的是应用以下转换:
beam.ParDo0(s, func(key []uint8, values func(*[]uint8) bool) {}, pcoll)
Go 将其解释为 CoGBK<[]uint8,[]uint8>
.
我在 Apache Beam Go SDK 中有一个管道。
pcoll := beam.GroupByKey(s, src)
问题是在 GroupByKey 转换之后我想用 ParDo 转换进一步处理它。我遇到了类型问题,因为 Go 要我按如下方式定义 ParDo 函数输入:
value CoGBK<[]uint8,[]uint8>
但是Go中没有类型CoGBK。有没有办法在 Apache Beam Go SDK 中定义这种类型?
好的,当我们有一条消息需要值 CoGBK<[]uint8,[]uint8>
类型时,我们实际上应该做的是应用以下转换:
beam.ParDo0(s, func(key []uint8, values func(*[]uint8) bool) {}, pcoll)
Go 将其解释为 CoGBK<[]uint8,[]uint8>
.