scio所有saveAs txt文件方法输出一个带有part前缀的txt文件
Scio all saveAs txt file methods output a txt file with part prefix
如果我想将 TableRow 或 String 的 SCollection 输出到 google 云存储 (GCS)，我分别使用 saveAsTableRowJsonFile 或 saveAsTextFile。这两种方法最终都使用
private[scio] def pathWithShards(path: String) = path.replaceAll("\/+$", "") + "/part"
强制文件名以 "part" 开头。输出自定义分片文件的唯一方法是使用 saveAsCustomOutput 吗？
我必须通过 saveAsCustomOutput
在 beam 代码中完成
import org.apache.beam.sdk.util.Transport
val jsonFactory: JsonFactory = Transport.getJsonFactory
val outputPath = "gs://foo/bar_" // file prefix will be bar_
@BigQueryType.toTable()
case class Clazz(foo: String, bar: String)
val collection: SCollection[Clazz] = ....
collection.map(Clazz.toTableRow).
map(jsonFactory.toString).
saveAsCustomOutput(name = "CustomWrite", io.TextIO.write()
.to(outputPath)
.withSuffix("")
.withWritableByteChannelFactory(FileBasedSink.CompressionType.GZIP))
Scio 的 SCollection#saveAs* APIs 是常见接收器的自以为是的包装器，模仿其他流行系统的行为，在这种情况下，Hadoop Map/Reduce 如何为输出文件添加前缀。因此，如果您想直接访问较低级别的 Beam API，SCollection#saveAsCustomOutput 是正确的方法。
如果我想将 TableRow 或 String 的 SCollection 输出到 google 云存储 (GCS)，我分别使用 saveAsTableRowJsonFile 或 saveAsTextFile。这两种方法最终都使用
private[scio] def pathWithShards(path: String) = path.replaceAll("\/+$", "") + "/part"
强制文件名以 "part" 开头。输出自定义分片文件的唯一方法是使用 saveAsCustomOutput 吗？
我必须通过 saveAsCustomOutput
在 beam 代码中完成import org.apache.beam.sdk.util.Transport
val jsonFactory: JsonFactory = Transport.getJsonFactory
val outputPath = "gs://foo/bar_" // file prefix will be bar_
@BigQueryType.toTable()
case class Clazz(foo: String, bar: String)
val collection: SCollection[Clazz] = ....
collection.map(Clazz.toTableRow).
map(jsonFactory.toString).
saveAsCustomOutput(name = "CustomWrite", io.TextIO.write()
.to(outputPath)
.withSuffix("")
.withWritableByteChannelFactory(FileBasedSink.CompressionType.GZIP))
Scio 的 SCollection#saveAs* APIs 是常见接收器的自以为是的包装器，模仿其他流行系统的行为，在这种情况下，Hadoop Map/Reduce 如何为输出文件添加前缀。因此，如果您想直接访问较低级别的 Beam API，SCollection#saveAsCustomOutput 是正确的方法。