如何通过 Azure databricks 连接我的 window 网络共享路径
How to connect my window network share path via Azure data bricks
我在本地 windows 网络文件共享路径中有文件。我可以使用自托管 IR 通过 Azure ADF 访问该文件。但是我们需要通过数据块加载这些文件。
已尝试以下代码
spark.read.csv('file:///networkpath/folder/', header="true", inferSchema="true")
还尝试通过 UI 手动上传加载文件，它工作正常。
但需要知道如何自动将此文件上传到 DFS 文件系统。
Unfortunately, Azure Databricks doesn't support connect Windows Network Share.
注意：强烈建议：不要在默认 DBFS 文件夹中存储任何生产数据
有多种方法可以将文件从本地计算机上传到 Azure Databricks DBFS 文件夹。
方法 1：使用 Azure Databricks 门户。
方法2：使用Databricks CLI
DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开一个易于使用的命令行界面。使用此客户端，您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如：
# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
方法三：使用名为DBFS Explorer的第三方工具
DBFS Explorer 是作为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建不记名令牌才能连接。
Step1:下载并安装DBFS Explorer并安装
步骤 2：打开 DBFS 资源管理器并输入：Databricks URL 和个人访问令牌
第三步： Select 从本地机器上传文件的文件夹，拖放到要上传的文件夹，点击上传即可。
我在本地 windows 网络文件共享路径中有文件。我可以使用自托管 IR 通过 Azure ADF 访问该文件。但是我们需要通过数据块加载这些文件。
已尝试以下代码
spark.read.csv('file:///networkpath/folder/', header="true", inferSchema="true")
还尝试通过 UI 手动上传加载文件，它工作正常。
但需要知道如何自动将此文件上传到 DFS 文件系统。
Unfortunately, Azure Databricks doesn't support connect Windows Network Share.
注意：强烈建议：不要在默认 DBFS 文件夹中存储任何生产数据
有多种方法可以将文件从本地计算机上传到 Azure Databricks DBFS 文件夹。
方法 1：使用 Azure Databricks 门户。
方法2：使用Databricks CLI
DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开一个易于使用的命令行界面。使用此客户端，您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如：
# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
方法三：使用名为DBFS Explorer的第三方工具
DBFS Explorer 是作为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建不记名令牌才能连接。
Step1:下载并安装DBFS Explorer并安装
步骤 2：打开 DBFS 资源管理器并输入：Databricks URL 和个人访问令牌
第三步： Select 从本地机器上传文件的文件夹，拖放到要上传的文件夹，点击上传即可。