Kryos/Java 序列化程序的 Spark-shell --conf 选项
Spark-shell --conf option for Kryos/Java serializer
我需要使用 spark help page 中提到的 registerKryoClasses 方法使用自定义 类 启动 spark shell。
现在如页面中所述，我无法在启动 spark shell 后重新创建 sc 变量，因此需要在启动 spark-shell 命令时提供选项 --conf。
--conf 的选项值应该是多少，以便它等同于以下更新：
conf.registerKryoClasses(Array(classOf[ArrayBuffer[String]], classOf[ListBuffer[String]]))
使用 Javaserializer 而不是 Kryos 序列化器的选项对我有用：
spark-shell --conf 'spark.serializer=org.apache.spark.serializer.JavaSerializer'
编辑：刚刚弄清楚如何使用这些选项。我们可以做到以下几点：
--conf 'spark.kryo.classesToRegister=scala.collection.mutable.ArrayBuffer,scala.collection.mutable.ListBuffer'
我需要使用 spark help page 中提到的 registerKryoClasses 方法使用自定义 类 启动 spark shell。
现在如页面中所述，我无法在启动 spark shell 后重新创建 sc 变量，因此需要在启动 spark-shell 命令时提供选项 --conf。
--conf 的选项值应该是多少，以便它等同于以下更新：
conf.registerKryoClasses(Array(classOf[ArrayBuffer[String]], classOf[ListBuffer[String]]))
使用 Javaserializer 而不是 Kryos 序列化器的选项对我有用：
spark-shell --conf 'spark.serializer=org.apache.spark.serializer.JavaSerializer'
编辑：刚刚弄清楚如何使用这些选项。我们可以做到以下几点：
--conf 'spark.kryo.classesToRegister=scala.collection.mutable.ArrayBuffer,scala.collection.mutable.ListBuffer'