从 PyCharm IDE 执行数据块魔术命令

Execute databricks magic command from PyCharm IDE

通过 databricks-connect,我们可以成功地 运行 从许多 IDE 中用 Databricks 或 Databricks notebook 编写的代码。 Databricks 还创建了许多魔法命令,通过添加 %sql%md 等命令来支持其在每个单元格中 运行 宁多语言支持的功能。我目前面临的一个问题是,当我尝试在 Pycharm 中执行 Databricks 笔记本时,如下所示:

在 IDE from FILE_TO_IMPORT import XYZ 中有效。

每次我下载 Databricks notebook 时,它都会注释掉魔法命令,这使得它无法在 Databricks 环境之外的任何地方使用。

每次我想做任何开发都转换所有数据块魔术命令真的很低效。

是否有任何配置可以自动检测 Databricks 特定的魔术命令?

对此的任何解决方案都会有所帮助。提前致谢!!!

不幸的是,根据 databricks-connect 版本 6.2.0-

" We cannot use magic command outside the databricks environment directly. This will either require creating custom functions but again that will only work for Jupyter not PyCharm"

同样,由于导入 py 文件需要 %run 魔术命令,所以这也成为一个主要问题。一个解决方案是将要导入的文件集转换为 python 包并通过 Databricks UI 添加到集群,然后在 PyCharm 中导入和使用它。但这是一个非常繁琐的过程。