无法直接从 GCP Databricks 上的 pandas 读取
Can't read directly from pandas on GCP Databricks
通常在 Azure/AWS 上的 Databricks 上读取存储在 Azure Blob/S3 上的文件，我会装载存储桶或 blob 存储，然后执行以下操作：
如果使用 Spark
df = spark.read.format('csv').load('/mnt/my_bucket/my_file.csv', header="true")
如果直接使用pandas，添加/dbfs到路径：
df = pd.read_csv('/dbfs/mnt/my_bucket/my_file.csv')
我正在尝试使用 GCP 在 Databricks 的托管版本上做完全相同的事情，虽然我成功地安装了我的存储桶并使用 Spark 读取它，但我无法使用 Pandas直接添加 /dbfs 不起作用，我得到一个 No such file or directory: ... error
你们中有人遇到过类似的问题吗？我错过了什么吗？
我也是
%sh
ls /dbfs
它 returns 什么都没有，尽管我在 UI dbfs 浏览器中看到了我安装的存储桶和文件
感谢您的帮助
它记录在 list of features not released yet:
DBFS access to local file system (FUSE mount).
For DBFS access, the Databricks dbutils commands, Hadoop Filesystem APIs such as the %fs command, and Spark read and write APIs are available. Contact your Databricks representative for any questions.
因此您需要在使用 Pandas:
读取之前将文件复制到本地磁盘
dbutils.fs.cp("/mnt/my_bucket/my_file.csv", "file:/tmp/my_file.csv")
df = pd.read_csv('/tmp/my_file.csv')
通常在 Azure/AWS 上的 Databricks 上读取存储在 Azure Blob/S3 上的文件，我会装载存储桶或 blob 存储，然后执行以下操作：
如果使用 Spark
df = spark.read.format('csv').load('/mnt/my_bucket/my_file.csv', header="true")
如果直接使用pandas，添加/dbfs到路径：
df = pd.read_csv('/dbfs/mnt/my_bucket/my_file.csv')
我正在尝试使用 GCP 在 Databricks 的托管版本上做完全相同的事情，虽然我成功地安装了我的存储桶并使用 Spark 读取它，但我无法使用 Pandas直接添加 /dbfs 不起作用，我得到一个 No such file or directory: ... error
你们中有人遇到过类似的问题吗？我错过了什么吗？
我也是
%sh
ls /dbfs
它 returns 什么都没有，尽管我在 UI dbfs 浏览器中看到了我安装的存储桶和文件
感谢您的帮助
它记录在 list of features not released yet:
DBFS access to local file system (FUSE mount). For DBFS access, the Databricks dbutils commands, Hadoop Filesystem APIs such as the %fs command, and Spark read and write APIs are available. Contact your Databricks representative for any questions.
因此您需要在使用 Pandas:
读取之前将文件复制到本地磁盘dbutils.fs.cp("/mnt/my_bucket/my_file.csv", "file:/tmp/my_file.csv")
df = pd.read_csv('/tmp/my_file.csv')