如何在数据块笔记本中将 sql table 转换为 pyspark/python 数据结构并将 return 转换回 sql
How to convert sql table into a pyspark/python data structure and return back to sql in databricks notebook
我正在 运行在数据块上创建一个 sql 笔记本。我想分析一个包含十亿条记录的 table。我可以 运行 对数据进行简单的 sql 查询。但是，我需要将日期列类型从 str 更改为 date。
不幸的是，sparkSQL 似乎不支持 update/alter 语句，因此我似乎无法修改 table.
中的数据
允许我将 SQL table 转换为 python 数据结构（在 pyspark 中）的一行代码是什么下一个单元格？
然后我可以修改文件 return 到 SQL.
dataFrame = sqlContext.sql('select * from myTable')
df=sqlContext.sql("select * from table")
要将数据框转换回 sql 视图，
df.createOrReplaceTempView("myview")
我正在 运行在数据块上创建一个 sql 笔记本。我想分析一个包含十亿条记录的 table。我可以 运行 对数据进行简单的 sql 查询。但是，我需要将日期列类型从 str 更改为 date。
不幸的是，sparkSQL 似乎不支持 update/alter 语句，因此我似乎无法修改 table.
中的数据允许我将 SQL table 转换为 python 数据结构（在 pyspark 中）的一行代码是什么下一个单元格？ 然后我可以修改文件 return 到 SQL.
dataFrame = sqlContext.sql('select * from myTable')
df=sqlContext.sql("select * from table")
要将数据框转换回 sql 视图，
df.createOrReplaceTempView("myview")