在 DBFS 上输入正确的文件路径

Question

我上传文件到 DBFS：

/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv

我试图通过 pandas 访问它们，但我总是收到这样的文件不存在的信息。我尝试使用以下路径：

/dbfs/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv
dbfs/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv
dbfs:/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv
./FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv

有趣的是，当我通过 dbutils.fs.ls 检查它们时，我看到了所有文件。

我找到了这个解决方案，并且我已经尝试过了：Databricks dbfs file read issue

已将它们移至新文件夹：

dbfs:/new_folder/

我试图从这个文件夹访问它们，但它仍然对我不起作用。唯一不同的是我把文件复制到了不同的地方。

我也检查了文档：https://docs.databricks.com/data/databricks-file-system.html

我使用 Databricks 社区版。

我不明白我做错了什么以及为什么会这样。我没有任何其他想法。

Answer 1

/dbfs/ 挂载点在社区版中不可用（这是一个已知限制），因此您需要按照链接答案中的建议进行操作：

dbutils.fs.cp(
  'dbfs:/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv', 
  'file:/tmp/file_name.csv')

然后使用 /tmp/file_name.csv 作为 Pandas 函数的输入参数。如果您需要向 DBFS 写入一些内容，那么您可以采取其他方式 - 写入本地文件 /tmp/...，然后将该文件复制到 DBFS。

在 DBFS 上输入正确的文件路径

Entering a proper path to files on DBFS

databricks

databricks-community-edition