Kryo vs Encoder vs Java Spark 中的序列化?

Kryo vs Encoder vs Java Serialization in Spark?

哪种情况下使用哪种序列化,
从 spark 文档中可以看出:
它提供了两个序列化库:
1. Java(默认)和
2.克里奥
现在编码器是从哪里来的,为什么文档中没有给出。
还有数据块,它说编码器对数据集执行得更快,RDD 又如何,以及如何将所有这些映射结合在一起。 在什么情况下我们应该使用哪个序列化器?

  • Encoders 仅用于 Dataset
  • Kryo 在内部使用 火花。
  • KryoJava序列化可供您使用 为您的数据改组。

至于你应该使用哪个 - 如果你不使用 DatasetKryo 是你最好的选择。否则你实际上没有任何选择。