如何将已安装的 dbfs jar 文件从 databricks 集群下载到本地计算机?

How to download an installed dbfs jar file from databricks cluster to local machine?

我是 Databricks 的新手,我希望将已安装的 Databricks 集群库下载到我的本地机器上。你能帮我吗?

所以要详细说明,我已经有一个 运行 集群,上面已经安装了库。我需要将其中一些库(它们是 dbfs jar 文件)下载到我的本地计算机。实际上,我一直在尝试通过 databricks-cli 使用“'dbfs cp'”命令,但这不起作用。它没有给出任何错误,但也没有做任何事情。我希望一切都清楚一些。

注意: 当您通过 JarsMavenPyPI 安装库时,它们位于文件夹路径 dbfs:/FileStore.

  • 对于位于 - dbfs:/FileStore/jars
  • 的交互式集群 Jar
  • 对于位于 - dbfs:/FileStore/job-jars
  • 的自动化集群 Jars

有几种方法可以将已安装的 dbfs jar 文件从 databricks 集群下载到本地计算机。

GUI Method: You can use DBFS Explorer

DBFS Explorer 是作为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。

您需要在 Web 界面中创建不记名令牌才能连接。

第 1 步: 从此处下载 DBFS 资源管理器:https://datathirst.net/projects/dbfs-explorer 并安装。

第二步:如何创建不记名令牌?

  • 点击右上角的用户个人资料图标用户个人资料 你的 Databricks 工作区。

  • 单击用户设置

  • 转到访问令牌选项卡。

  • 单击生成新令牌按钮。

注意:复制生成的令牌并存储在安全位置。

第 3 步: 打开 Databricks 的 DBFS 资源管理器并输入 Host URLBearer Token 并继续。

第 4 步: 导航到名为 FileStore 的 DBFS 文件夹 => jars => Select 您要下载的 jar,然后单击下载和 select本地计算机上的文件夹。

CLI Method: You can use Databricks CLI

第 1 步: 安装 Databricks CLI,使用您的 Databricks 凭据对其进行配置。

第 2 步: 使用 CLI“dbfs cp”命令将文件复制到 DBFS 或从中复制文件。

语法: dbfs cp <SOURCE> <DESTINATION>

示例: dbfs cp "dbfs:/FileStore/azure.txt" "C:\Users\Name\Downloads\"