使用 Spark / Spark SQL / Java 连接到 HCatalog

Question

如何使用 Spark/Spark 连接到 HCatalog 以获取存储在 Hive [Hive metastore] 中的数据 SQL / Java

我们需要为此使用 HiveContext() 吗？我如何配置 Hcatalog？

Answer 1

您可以将现有的 hive-site.xml 复制到 Spark 的配置中，然后创建一个 HiveContext。参见 http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables。