是否可以将 ORC 文件读取到 sparklyr 中的 Spark 数据帧？

Question

我知道sparklyr有以下读取文件的方法：

spark_read_csv
spark_read_parquet
spark_read_json

读取兽人文件怎么样？这个库支持它吗？

我知道我可以使用 read.orc in SparkR or this solution，但我想将我的代码保存在 sparklyr 中。

Answer 1

您可以按照我在对的回答中描述的方式使用低级 Spark API：

library(dplyr)
library(sparklyr)

sc <- spark_connect(...)

spark_session(sc) %>% 
  invoke("read") %>% 
  invoke("format", "orc") %>%
  invoke("load", path) %>% 
  invoke("createOrReplaceTempView", name)

df <- tbl(sc, name)

其中 name 是用于标识 table

的任意名称

在当前的 sparklyr 版本中，您应该可以将上面的内容替换为 spark_read_source:

spark_read_source(sc, name, source = "orc", options = list(path = path))

是否可以将 ORC 文件读取到 sparklyr 中的 Spark 数据帧？

Is it possible to read ORC file to Spark Data Frame in sparklyr?

r

apache-spark

sparkr

orc

sparklyr