Databricks Magic Sql - 导出数据

Question

是否可以在 Databricks 中导出“magic SQL”命令单元格的输出？

我喜欢这样一个事实，即不必转义 SQL 命令，而且可以轻松格式化。但是，我似乎无法在其他单元格中使用输出。我想做的是将数据导出到 CSV 文件，但可能会在写出之前完成对数据帧的一些最终操作。

sql = "select * from calendar"
df = sqlContext.sql(sql)
display(df.limit(10))

vs（DBricks格式化以下代码）

%sql
select
  *
from
  calendar

但是想象一下，一旦你引入转义字符串、嵌套连接等。想知道是否有更好的方法来处理数据块中的 SQL。

Answer 1

最简单的解决方案是我没有想到的最明显的解决方案：创建视图！

%sql

CREATE OR REPLACE TEMPORARY VIEW vwCalendar as
/*
  Comments to make your future self happy!
 */
select
  c.line1,   -- more comments
  c.line2,   -- more comments
  c.zipcode
from
  calendar
where
  c.status <> 'just an example\'s' -- <<imagine escaping this

现在您可以在后续 SQL 单元格中使用视图 vwCalendar，就像任何其他 table。

如果您想在 python 单元格中使用它：

df = spark.table("vwCalendar")
display(df.limit(3))

https://docs.databricks.com/spark/latest/spark-sql/language-manual/sql-ref-syntax-ddl-create-view.html

https://docs.databricks.com/spark/latest/spark-sql/udf-python.html#user-defined-functions---python

Databricks Magic Sql - 导出数据

Databricks Magic Sql - Export Data

databricks

azure-databricks

aws-databricks