使用 Scala 在 Spark 中使用广播变量的正确语法是什么？

Question

我想在 Spark 和 Scala 中使用广播变量。但是我找不到关于如何使用它们的足够帮助。比如说，我有一个 class A 的对象，我通常会在 Scala 中声明如下。

val a = new A()

将其声明为广播变量的语法是什么。我将如何调用它的方法？

Answer 1

如果 sc 是 SparkContext，则 val broadcasted = sc.broadcast(a) 将播出a.
然后您可以使用 broadcasted.value.

访问它

Answer 2

Marth 是对的。您还需要使用 sc.destroy(blocking) 销毁广播变量，其中 blocking 是一个标志。我想强调的是建议避免广播小变量。