在 sparklyr 中禁用配置单元支持
Disable hive support in sparklyr
有什么方法可以禁用 sparklyr 中的配置单元支持吗?
就像在 SparkR 中一样:
sparkR.session(master="local[*]", enableHiveSupport=FALSE)
您可以通过将 SQL 目录实现设置为 in-memory
来禁用 sparklyr 中的 Hive。
# get the default config
conf <- spark_config()
# set the catalog implementation, defaults to hive, but we want it in-memory
conf$spark.sql.catalogImplementation <- "in-memory"
sc <- spark_connect(master = "local", config = conf)
该选项是在破坏 solution on version 1.2.0 as described on issue #2460 后在 sparklyr 1.3.0 中引入的。
library(sparklyr)
config <- spark_config()
config$sparklyr.connect.enablehivesupport <- FALSE
sc <- spark_connect(master = "local", config = config)
有什么方法可以禁用 sparklyr 中的配置单元支持吗?
就像在 SparkR 中一样:
sparkR.session(master="local[*]", enableHiveSupport=FALSE)
您可以通过将 SQL 目录实现设置为 in-memory
来禁用 sparklyr 中的 Hive。
# get the default config
conf <- spark_config()
# set the catalog implementation, defaults to hive, but we want it in-memory
conf$spark.sql.catalogImplementation <- "in-memory"
sc <- spark_connect(master = "local", config = conf)
该选项是在破坏
library(sparklyr)
config <- spark_config()
config$sparklyr.connect.enablehivesupport <- FALSE
sc <- spark_connect(master = "local", config = config)