使用 Spark 在 Hive 上创建视图

Question

如何使用 pyspark 使用 Spark 在 Hive 上创建视图？

我在从 Hive 中提取的 df 上做了一些工作：

df = spark.sql("SELECT * FROM myTable")

现在我想用 df

中的内容创建视图或 table

可能吗？

Answer 1

不相信 pyspark 造成的差异，也是对标题的纯粹回答，具有 multi-table 现有表的视图：

spark.sql("create or replace view viewSO as select f1.orig as f1_orig, f2.orig as f2_orig, f2.dest as f2_dest from facts f1, facts f2 ")
spark.table("viewSO").printSchema

root
  |-- f1_orig: string (nullable = true)
  |-- f2_orig: string (nullable = true)
  |-- f2_dest: string (nullable = true)

使用 Spark 在 Hive 上创建视图

Create a view on Hive with Spark

view

create-table

pyspark