从 rJava 调用访问 SparkContext

Question

SparkR (v1.5.1) 中的 SparkContext 是

Java ref type org.apache.spark.api.java.JavaSparkContext

但是在创建我的 class 时：

.jnew("com.example.MyClass","sc")

对于我的 scala class: class TableReader(sc: JavaSparkContext)，我得到一个：java.lang.NoSuchMethodError:

这是什么 "Java ref type" 以及如何从中获取实际上下文以通过 rJava 发送？

Answer 1

SparkR 似乎在 backend.R 中实现了自己的 Java 互操作性。调用以 SparkR:::newJObject(className, args) 的形式进行，但我找不到任何特定的文档，除了在同一项目中的测试。

需要使用 --jars {csv jars} 或 --packages 在启动期间初始化 sqlContext 并加载相关的 jar，如 documentation.

中所述

access SparkContext from rJava call