jupyter 笔记本中的双百分比火花 sql

double percent spark sql in jupyter notebook

我在 Spark EMR 集群上使用 Jupyter Notebook,想了解有关某个命令的更多信息,但我不知道要搜索的正确技术栈是什么。那是斯帕克吗? Python? Jupyter 特殊语法?派斯帕克?

当我尝试 google 它时,我只得到几个结果,其中 none 实际上包括我引用的内容。就像它忽略了 %%.

“%%spark_sql”的作用是什么,它起源于什么,您可以传递给它的参数是什么,例如 -s 和 -n?

一个例子可能看起来像

%%spark_sql -s true
select 
*
from df

这些被称为magic commands/functions。在 Jupyter 单元格中尝试 运行 %pinfo %%spark_sql%pinfo2 %%spark_sql,看看它是否为您提供有关 %%spark_sql.

的详细信息