从 PyCharm IDE 执行数据块魔术命令
Execute databricks magic command from PyCharm IDE
通过 databricks-connect,我们可以成功地 运行 从许多 IDE 中用 Databricks 或 Databricks notebook 编写的代码。 Databricks 还创建了许多魔法命令,通过添加 %sql
或 %md
等命令来支持其在每个单元格中 运行 宁多语言支持的功能。我目前面临的一个问题是,当我尝试在 Pycharm 中执行 Databricks 笔记本时,如下所示:
如何从 PyCharm 执行 Databricks 特定的魔术命令。
例如。
使用此命令在 Done in Databricks 中导入脚本或笔记本-
%run
'./FILE_TO_IMPORT'
在 IDE from FILE_TO_IMPORT import XYZ
中有效。
每次我下载 Databricks notebook 时,它都会注释掉魔法命令,这使得它无法在 Databricks 环境之外的任何地方使用。
每次我想做任何开发都转换所有数据块魔术命令真的很低效。
是否有任何配置可以自动检测 Databricks 特定的魔术命令?
对此的任何解决方案都会有所帮助。提前致谢!!!
不幸的是,根据 databricks-connect
版本 6.2.0-
" We cannot use magic command outside the databricks environment directly. This will either require creating custom functions but again that will only work for Jupyter not PyCharm"
同样,由于导入 py 文件需要 %run
魔术命令,所以这也成为一个主要问题。一个解决方案是将要导入的文件集转换为 python 包并通过 Databricks UI 添加到集群,然后在 PyCharm 中导入和使用它。但这是一个非常繁琐的过程。
通过 databricks-connect,我们可以成功地 运行 从许多 IDE 中用 Databricks 或 Databricks notebook 编写的代码。 Databricks 还创建了许多魔法命令,通过添加 %sql
或 %md
等命令来支持其在每个单元格中 运行 宁多语言支持的功能。我目前面临的一个问题是,当我尝试在 Pycharm 中执行 Databricks 笔记本时,如下所示:
如何从 PyCharm 执行 Databricks 特定的魔术命令。 例如。 使用此命令在 Done in Databricks 中导入脚本或笔记本-
%run './FILE_TO_IMPORT'
在 IDE from FILE_TO_IMPORT import XYZ
中有效。
每次我下载 Databricks notebook 时,它都会注释掉魔法命令,这使得它无法在 Databricks 环境之外的任何地方使用。
每次我想做任何开发都转换所有数据块魔术命令真的很低效。
是否有任何配置可以自动检测 Databricks 特定的魔术命令?
对此的任何解决方案都会有所帮助。提前致谢!!!
不幸的是,根据 databricks-connect
版本 6.2.0-
" We cannot use magic command outside the databricks environment directly. This will either require creating custom functions but again that will only work for Jupyter not PyCharm"
同样,由于导入 py 文件需要 %run
魔术命令,所以这也成为一个主要问题。一个解决方案是将要导入的文件集转换为 python 包并通过 Databricks UI 添加到集群,然后在 PyCharm 中导入和使用它。但这是一个非常繁琐的过程。