如何在数据块笔记本中将 pyspark.sql.dataframe.DataFrame 转换回 sql table
How can I convert a pyspark.sql.dataframe.DataFrame back to a sql table in databricks notebook
我通过执行以下行创建了一个 pyspark.sql.dataframe.DataFrame 类型的数据框：
dataframe = sqlContext.sql("select * from my_data_table")
如何将其转换回我可以 运行 sql 查询的 sparksql table？
您可以使用 createReplaceTempView 创建您的 table。在你的情况下它会是这样的：
dataframe.createOrReplaceTempView("mytable")
之后您可以使用 SQL.
查询您的 mytable
如果你的spark版本≤1.6.2你可以使用registerTempTable
我通过执行以下行创建了一个 pyspark.sql.dataframe.DataFrame 类型的数据框：
dataframe = sqlContext.sql("select * from my_data_table")
如何将其转换回我可以 运行 sql 查询的 sparksql table？
您可以使用 createReplaceTempView 创建您的 table。在你的情况下它会是这样的：
dataframe.createOrReplaceTempView("mytable")
之后您可以使用 SQL.
查询您的mytable
如果你的spark版本≤1.6.2你可以使用registerTempTable