SparklyR 流媒体和 JDBC

Question

能否提供一个使用 SparklyR 的示例 stream_read_jdbc():

stream_read_jdbc(sc, path, name = NULL, columns = NULL,
    options = list(), ...)

和stream_write_jdbc()、

stream_write_jdbc(x, mode = c("append", "complete", "update"),
  trigger = stream_trigger_interval(),
  checkpoint = file.path("checkpoints", random_string("")),
  options = list(), ...)

最好连接到 Oracle？如果示例使用任何其他数据库，那是可以的。为什么从 JDBC 读取文件时会有一个文件路径参数？从数据库而不是文件系统获取资源不是重点吗？

Answer 1

虽然spakrlyr确实提供了以下功能：

• stream_read_jdbc
• stream_write_jdbc

这实际上是一段无效代码，因为 Spark Structured Streaming 不支持使用 JDBC 源进行流式读写。