如何在 Spark 中使用 Kryo 注册 InternalRow

Question

我想 运行 Spark 与 Kryo 序列化。因此我设置 spark.serializer=org.apache.spark.serializer.KryoSerializer 和 spark.kryo.registrationRequired=true

然后 运行 我的代码出现错误：

Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]

根据 this post 我使用了

sc.getConf.registerKryoClasses(Array( classOf[ org.apache.spark.sql.catalyst.InternalRow[_] ] ))

但是错误是：

org.apache.spark.sql.catalyst.InternalRow does not take type parameters

Answer 1

你应该使用外部 class 作为

class MyRegistrator extends KryoRegistrator {
override def registerClasses(kryo: Kryo) {
kryo.register(classOf[Array[org.apache.spark.sql.catalyst.InternalRow]])
}
}

来源：http://spark.apache.org/docs/0.6.0/tuning.html

或者如果您想在您的 spark 中注册 class

val cls: Class[Array[InternalRow]] = classOf[Array[org.apache.spark.sql.catalyst.InternalRow]]

spark.sparkContext.getConf.registerKryoClasses(Array(cls))

我用的是第一个，效果很好，我还没有测试过第二个。