Sparklyr 读取数据库 table 到分布式 DF
Sparklyr read database table to distributed DF
嗨，我想知道是否有办法直接将数据库 table 读取到 sparkR 数据帧。我在 EMR 集群上安装了 rstudio，该集群上有我的 Hive Metastore。
我知道我可以做到以下几点：
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
library(DBI)
query <- "select * from schema.table"
result <- dbGetQuery(sc, query)
result_t <- copy_to(sc,result)
但是有没有办法直接查询 result_t？
喜欢@kevinykuo 的建议，
result_t <- tbl(sc, "schema.table")
嗨，我想知道是否有办法直接将数据库 table 读取到 sparkR 数据帧。我在 EMR 集群上安装了 rstudio，该集群上有我的 Hive Metastore。
我知道我可以做到以下几点：
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
library(DBI)
query <- "select * from schema.table"
result <- dbGetQuery(sc, query)
result_t <- copy_to(sc,result)
但是有没有办法直接查询 result_t？
喜欢@kevinykuo 的建议，
result_t <- tbl(sc, "schema.table")