如何将本地文件复制到 Azure Databricks DBFS 文件存储

Question

我在 Azure Databricks 中使用以下命令尝试将文件 test.csv 从本地 C: 驱动器复制到 Databricks dbfs 位置，如图所示。

dbutils.fs.cp("C:/BoltQA/test.csv", "dbfs:/tmp/test_files/test.csv")

我收到这个错误：

java.io.IOException: No FileSystem for scheme: C
---------------------------------------------------------------------------
ExecutionError                            Traceback (most recent call last)
<command-3936625823332356> in <module>
----> 1 dbutils.fs.cp("C:/test.csv", "dbfs:/tmp/test_files/test.csv")
      2 

/local_disk0/tmp/1605164901540-0/dbutils.py in f_with_exception_handling(*args, **kwargs)
    312                     exc.__context__ = None
    313                     exc.__cause__ = None
--> 314                     raise exc
    315             return f_with_exception_handling
    316

请帮忙。

Answer 1

Unfortunately, you cannot use the dbutils.fs.cp command to copy files from the local machine to Databricks File System. It used to copy files only on Databricks File System.

有多种方法可以将文件从本地计算机上传到 Azure Databricks DBFS 文件夹。

Method1: Using the Azure Databricks portal.

Method2: Using Databricks CLI

DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开一个易于使用的命令行界面。使用此客户端，您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

参考： Installing and configuring Azure Databricks CLI

Method3: Using third-party tool named DBFS Explorer

DBFS Explorer 是作为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建不记名令牌才能连接。

Step1:下载并安装DBFS Explorer并安装

第 2 步： 打开 DBFS 资源管理器并输入：Databricks URL 和个人访问令牌

第三步： Select从本地机器上传文件的文件夹，拖放到要上传的文件夹，点击上传即可。

Answer 2

感谢@CHEEKATLAPRADEEP-MSFT 的回答。

You can mount a Blob storage container or a folder inside a container to Databricks File System (DBFS). The mount is a pointer to a Blob storage container, so the data is never synced locally. Refer docs.microsoft.com

如何将本地文件复制到 Azure Databricks DBFS 文件存储

How do I copy a local file to Azure Databricks DBFS filestore

databricks

azure-databricks

dbutils