Databricks

Question

通常我使用下面的 URL 将文件从 Databricks DBFS FileStore 下载到我的本地计算机。

*https://<MY_DATABRICKS_INSTANCE_NAME>/fileStore/?o=<NUMBER_FROM_ORIGINAL_URL>*

但是，这次没有下载文件，而是 URL 将我带到了 Databricks 主页。有人对我如何从 DBFS 下载文件到本地有什么建议吗？或者应该如何修复 URL 以使其正常工作？

如有任何建议，我们将不胜感激！

八打灵再也

Answer 1

Method1: Using Databricks portal GUI, you can download full results (max 1 millions rows).

Method2: Using Databricks CLI

要下载完整结果，请先将文件保存到 dbfs，然后使用 Databricks cli 将文件复制到本地计算机，如下所示。

dbfs cp "dbfs:/FileStore/tables/my_my.csv" "A:\AzureAnalytics"

您可以使用 DBFS CLI、DBFS API、Databricks 文件系统实用程序 (dbutils.fs)、Spark APIs 和本地文件 API 访问 DBFS 对象s.

在 Spark 集群中，您可以使用 Databricks 文件系统实用程序、Spark APIs 或本地文件 APIs 访问 DBFS 对象。

在本地计算机上，您使用 Databricks CLI 或 DBFS API.

访问 DBFS 对象

参考： Azure Databricks – Access DBFS

DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开一个易于使用的命令行界面。使用此客户端，您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

参考： Installing and configuring Azure Databricks CLI

Method3: Using third-party tool named DBFS Explorer

DBFS Explorer 是作为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建不记名令牌才能连接。

Databricks - 下载一个 dbfs:/FileStore 文件到我的本地机器

Databricks - Download a dbfs:/FileStore file to my Local Machine

azure-databricks