在 Scalding 中将 Seq 转换为管道

Question

上下文： 我正在读取一个文件，其中多个字段是一个 ID 列表。我需要将这些字段转换成一个 Pipe 以将它们与其他 Pipes 连接起来。

我试过的：

val otherPipe = pipe
     .project('fieldIwant)
     .map { p: Pipe => p.toString.split(",") } // converts pipe -> array
     .unique

Answer 1

您可以使用以下方法从集合中获取 TypedPipe：

TypedPipe.from(Seq(1, 2, 3, 4, 555, 3))

如果您需要回退到 FieldsAPI（已弃用），您可以使用

TypedPipe.from(Seq(1, 2, 3, 4, 555, 3)).toPipe('fieldName)

Convert Seq to Pipe in Scalding