如何停止引用旧版本的 egg 文件的 DataBricks 笔记本？

Question

在 Azure 上的 DataBricks 上：

我遵循以下步骤：

从 python egg 创建一个库，比如 simon_1_001.egg 其中包含一个模块 simon。
将库附加到集群并重启集群
将笔记本附加到集群并运行:

将西蒙导入为 s
打印 s.__file__
运行笔记本，它正确地给了我一个文件名，包括字符串 'simon_1_001.egg'
然后分离并删除egg文件，甚至清空垃圾
重新启动集群，分离并附加笔记本运行，然后它没有抱怨找不到模块 simon，而是运行s 和显示相同的字符串

同样，如果我上传一个更新版本的 egg，比如 simon_1_002.egg，它仍然显示相同的字符串。如果我等待半小时清除并重新运行几次，那么最终它会选择新库并显示 simon_1_002.egg.

如何正确清除旧的 egg 文件？

Answer 1

Simon，这是 Databricks 平台中的一个错误。当使用 jar 在 Databricks 中创建库时，文件存储在 dbfs:/FileStore 和 /databricks/python2/lib/python2.7/site-packages/（对于 Py2）和 /databricks/python3/lib/python3.5/site-packages/（对于 Py3 集群）。

在jar和egg两种情况下，创建库时都会存储路径。当一个库被分离并从回收站中删除时，它应该从 DBFS 中删除它当前没有做的副本。

为了缓解这种不一致问题，您可能需要检查 Spark UI 中的环境子选项卡或在单元格中使用 %sh ls 来查找适当的路径以确保是否正确删除了库或不，并在重新启动集群并附加更新版本的库之前使用 %sh rm 命令删除它们。

Answer 2

作业依赖项中还有另一个有趣的 Databricks 平台错误。删除 UI 中的依赖库不会执行任何操作，因此旧的依赖版本会卡在那里，即使您从 dbfs 中删除 jar/egg，作业也会失败。

唯一的选择似乎是使用 CLI or API 更新作业。因此，您需要按照以下方式做一些事情 (CLI)：

databricks jobs list

找到您的职位编号，然后：

databricks jobs get --job-id 5

将输出保存到 json 文件 job.json，删除 settings 之外的内容，将 settings 中的内容复制到 json 文档的根目录，删除不需要的库，然后执行：

 databricks jobs reset --job-id 5 --json-file job.json

如何停止引用旧版本的 egg 文件的 DataBricks 笔记本？

How can I stop a DataBricks notebook referencing old versions of my egg files?

egg

databricks