如何使用 SparkR 1.6.0 写入 JDBC 源代码？

Question

使用 SparkR 1.6.0，我可以使用以下代码从 JDBC 源读取，

jdbc_url <- "jdbc:mysql://localhost:3306/dashboard?user=<username>&password=<password>"

df <- sqlContext %>%
  loadDF(source     = "jdbc", 
         url        = jdbc_url, 
         driver     = "com.mysql.jdbc.Driver",
         dbtable    = "db.table_name")

但是在执行计算后，当我尝试将数据写回数据库时遇到了障碍...

write.df(df      = df,
         path    = "NULL",
         source  = "jdbc",
         url     = jdbc_url, 
         driver  = "com.mysql.jdbc.Driver",
         dbtable = "db.table_name",
         mode    = "append")

...returns...

ERROR RBackendHandler: save on 55 failed
Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
  java.lang.RuntimeException: org.apache.spark.sql.execution.datasources.jdbc.DefaultSource does not allow create table as select.
    at scala.sys.package$.error(package.scala:27)
    at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:259)
    at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:148)
    at org.apache.spark.sql.DataFrame.save(DataFrame.scala:2066)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.api.r.RBackendHandler.handleMethodCall(RBackendHandler.scala:141)
    at org.apache.spark.api.r.RBackendHandler.channelRead0(RBackendHandler.scala:86)
    at org.apache.spark.api.r.RBackendHandler.channelRead0(RBackendHandler.scala:38)
    at io.netty.channel.SimpleChannelIn

环顾网络，我发现 this 告诉我从版本 2.0.0 开始包含针对此错误的补丁；我们还得到函数 read.jdbc 和 write.jdbc.

不过，对于这个问题，假设我坚持使用 SparkR v1.6.0。有没有一种方法可以写入 JDBC 源（即是否有一种解决方法可以让我使用来自 SparkR 的 DataFrameWriter.jdbc()）？

Answer 1

简短的回答是，不，SparkR 2.0.0 版之前不支持 JDBC 写入方法。

如何使用 SparkR 1.6.0 写入 JDBC 源代码？

How to write to JDBC source with SparkR 1.6.0?

r

apache-spark

jdbc

sparkr