Spark kryo 序列化寄存器 Datatype[]
Spark kryo serialization register Datatype[]
要强制 spark 使用 kryo 序列化，可以设置以下选项 spark.kryo.registrationRequired。
如何注册 org.apache.spark.sql.types.DataType[]？
Class is not registered: org.apache.spark.sql.types.DataType[]
这是抛出异常。但是尝试像 classOf[org.apache.spark.sql.types.DataType[]] 那样注册将不会编译
我对 java 和 scala 数组表示法感到困惑。
classOf[Array[org.apache.spark.sql.types.DataType]]
是正确的注册。
尽管如此，这是一个 spark 内部 class，应该已经被 spark 注册了。
要强制 spark 使用 kryo 序列化，可以设置以下选项 spark.kryo.registrationRequired。
如何注册 org.apache.spark.sql.types.DataType[]？
Class is not registered: org.apache.spark.sql.types.DataType[]
这是抛出异常。但是尝试像 classOf[org.apache.spark.sql.types.DataType[]] 那样注册将不会编译
我对 java 和 scala 数组表示法感到困惑。
classOf[Array[org.apache.spark.sql.types.DataType]]
是正确的注册。
尽管如此，这是一个 spark 内部 class，应该已经被 spark 注册了。