Databricks 访问不使用 SPARK sc 的文件

Question

我成功上传了一个文件到 Databricks。

/FileStore/tables/DEL2018_05.txt

使用 sc.textFile 处理没有问题。

但是，none Databricks notebook 中的其他方法 return 除了 dbutils。我查看了文档，但无法弄清楚。如果我编写一个普通的 Scala 程序来处理文件，事情也能正常进行。

为什么：

val d = new File("/FileStore/tables/")
d.listFiles

return什么都没有？

d: java.io.File = DBFS/FileStore/tables
res51: Array[java.io.File] = null

此外，运行 DataBricks Notebook 中的这个 SCALA：

Source.fromFile("/FileStore/customGerard/ALT2018_01.txt").mkString

returns:

java.io.FileNotFoundException: /FileStore/customGerard/ALT2018_01.txt (No such file or directory)

但是使用 dbutils 我可以观察到文件在那里。在这个时间点是一个很大的谜...

Answer 1

需要/dbfs

val d = new File("/dbfs/FileStore/tables/")

然后就可以了！！！

Databricks 文档不清楚恕我直言。

Answer 2

对于社区版，最好的方法是使用这个命令：

display(dbutils.fs.ls("/FileStore/tables/"))

其中 /FileStore/tables/ 是您的路径

Databricks access to files not using SPARK sc