如何删除已从 Azure Databricks 工作区中删除的库
How to remove libraries already removed from an Azure Databricks workspace
删除使用选项 "Install automatically on all clusters" 添加的库 jar 后,该库仍会自动安装在工作区的所有集群上。我需要删除或禁用库的自动安装行为。
我将一个库从 Maven 导入到我的 Azure Databricks 工作区。新版本发布后,我添加了新版本,并从工作区中删除了旧版本的 jar。
旧版本已添加到具有 "Install automatically on all clusters" 行为的工作区,并且仍然安装在工作区中创建的所有新集群上,即使 jar 从 GUI 中消失了。由于 jar 不见了(从 GUI),我无法更改 jar 的 "Install automatically on all clusters" 行为并且 Databricks 不允许您从集群(从集群视图)手动解除附加自动安装的库。
我尝试从 Maven Central 读取相同的库(相同版本)并在集群上安装新的 jar 以查看它是否覆盖了旧安装,希望我可以通过这种方式改变行为。不幸的是,当我尝试将新下载的版本添加到已自动安装库的集群时,安装会无限期地停滞不前。
任何关于如何在无需设置新工作区的情况下解决此问题的想法都很棒。
几个选项。首先检查 Clusters 中的 Library 选项卡,看看是否可以从那里删除它。
如果不打开笔记本和 运行:
%fs ls "/FileStore/jars/
这是缓存库的地方。如果你能弄清楚哪个是你的库,你可以删除它并重新启动集群。
这是 Databricks 中的一个错误(看起来它已经存在很长时间了!)。如果您勾选了在所有集群上自动安装然后删除共享库,它将在所有新集群上安装并且无法卸载。
要卸载它,请转到共享工作区并创建一个新库。输入完全相同的包,然后单击“创建”。在下一个屏幕上,您现在可以取消勾选 "Install automatically on all clusters" 并将其从已安装的集群中删除。然后,您可以将新库移至回收站。
感谢 Databricks 论坛上的 post 发现了这一点:https://forums.databricks.com/questions/16400/remove-auto-install-library-thats-already-been-del.html
删除使用选项 "Install automatically on all clusters" 添加的库 jar 后,该库仍会自动安装在工作区的所有集群上。我需要删除或禁用库的自动安装行为。
我将一个库从 Maven 导入到我的 Azure Databricks 工作区。新版本发布后,我添加了新版本,并从工作区中删除了旧版本的 jar。
旧版本已添加到具有 "Install automatically on all clusters" 行为的工作区,并且仍然安装在工作区中创建的所有新集群上,即使 jar 从 GUI 中消失了。由于 jar 不见了(从 GUI),我无法更改 jar 的 "Install automatically on all clusters" 行为并且 Databricks 不允许您从集群(从集群视图)手动解除附加自动安装的库。
我尝试从 Maven Central 读取相同的库(相同版本)并在集群上安装新的 jar 以查看它是否覆盖了旧安装,希望我可以通过这种方式改变行为。不幸的是,当我尝试将新下载的版本添加到已自动安装库的集群时,安装会无限期地停滞不前。
任何关于如何在无需设置新工作区的情况下解决此问题的想法都很棒。
几个选项。首先检查 Clusters 中的 Library 选项卡,看看是否可以从那里删除它。 如果不打开笔记本和 运行:
%fs ls "/FileStore/jars/
这是缓存库的地方。如果你能弄清楚哪个是你的库,你可以删除它并重新启动集群。
这是 Databricks 中的一个错误(看起来它已经存在很长时间了!)。如果您勾选了在所有集群上自动安装然后删除共享库,它将在所有新集群上安装并且无法卸载。
要卸载它,请转到共享工作区并创建一个新库。输入完全相同的包,然后单击“创建”。在下一个屏幕上,您现在可以取消勾选 "Install automatically on all clusters" 并将其从已安装的集群中删除。然后,您可以将新库移至回收站。
感谢 Databricks 论坛上的 post 发现了这一点:https://forums.databricks.com/questions/16400/remove-auto-install-library-thats-already-been-del.html