RStudio 连接到 IBM Watson Studio 上的 Spark

Question

我正在尝试从 IBM Watson Studio 上的 RStudio 实例连接到 Spark，但出现以下错误。

    No encoding supplied: defaulting to UTF-8. Error in force(code) : 
    Failed during initialize_connection: attempt to use zero-length 
    variable name
    Log: /tmp/Rtmpdee7QC/file1b33141066_spark.log


    ---- Output Log ----
    hummingbird kernel
    http://localhost:8081/apsrstudio/agent/v1/kernel/hb-connect ; Time 
    Diff :1.31352798938751
    {"code": "import sparklyr._"} ; Time Diff :0.00552034378051758

这是我用来创建连接的代码：

    kernels <- load_spark_kernels()
    sc <- spark_connect(config = kernels[1])

非常感谢任何帮助！

Answer 1

如果您正在使用 IBM Watson Studio on Cloud 并在其中使用 Rstudio，您应该使用 list_spark_kernels() 列出内核。

kernels <- list_spark_kernels()

然后使用spark_connect() 连接到它。还有一件事，不要升级 sparklyr，如果升级了，请将其卸载。由于 Rstudio on watson studio cloud 的 sparklyr 已被定制为允许从 IBM Cloud 连接到 spark 服务。

sc <- spark_connect(config = kernels[1])

卸载 sparklyr 或删除您的 sparklyr 版本将加载原始 sparklyr（自定义）。

希望对您有所帮助。

Answer 2

我能够解决这个问题！好像我缺少项目访问令牌。可以按照 here 所述手动创建项目访问令牌。可以在项目的“设置”页面上创建令牌。来自上面分享的link：

Create an access token on the Settings page of your project. Only project admins can create access tokens. The access token can have viewer or editor access permissions. Only editors can inject the token into a notebook.

添加项目访问令牌后，我可以使用问题中提供的代码连接到 Spark，没有任何问题。

kernels <- load_spark_kernels()
sc <- spark_connect(config = kernels[1])

RStudio 连接到 IBM Watson Studio 上的 Spark

RStudio Connection to Spark on IBM Watson Studio

r

rstudio

apache-spark

ibm-watson

sparklyr