Scio 如何回退到 Kryo
How does Scio fallback to Kryo
我看到 Scio 回退到 Kryo 编码器而不是 Java 序列化程序,后者是当编码器不能通过 CoderRegistry inferred/found 时用于数据流的默认编码器。我在任何地方都没有看到任何对 setFallbackCoderProvider
的引用,Scio 如何将回退注册到 KryoAtomicCoder?
直到 Scio v0.6.x 它发生在这里:
https://github.com/spotify/scio/blob/v0.6.1/scio-core/src/main/scala/com/spotify/scio/Implicits.scala#L55
自 v0.7.x 以来,编码器查找和推导发生了显着变化。它仍在大力开发中,但有关更多详细信息,请参见:
https://github.com/spotify/scio/wiki/Coders
我看到 Scio 回退到 Kryo 编码器而不是 Java 序列化程序,后者是当编码器不能通过 CoderRegistry inferred/found 时用于数据流的默认编码器。我在任何地方都没有看到任何对 setFallbackCoderProvider
的引用,Scio 如何将回退注册到 KryoAtomicCoder?
直到 Scio v0.6.x 它发生在这里: https://github.com/spotify/scio/blob/v0.6.1/scio-core/src/main/scala/com/spotify/scio/Implicits.scala#L55
自 v0.7.x 以来,编码器查找和推导发生了显着变化。它仍在大力开发中,但有关更多详细信息,请参见: https://github.com/spotify/scio/wiki/Coders