Azure Databricks DBFS 数据集存储在哪里?

Where are the Azure Databricks DBFS datasets stored?

我上传数据到Azure Databricks,可以看到DBFS列表中有数据集,但是在Databricks所属的资源组中找不到任何数据集。

Azure Databricks DBFS 数据集存储在哪里?

此外,如果我创建了 Delta Lake,如何从 Azure 数据工厂调用 Delta Lake?我看不到 delta lake 存放在哪里。

Where are Azure Databricks DBFS datasets stored?

默认存储位置DBFS 被称为 DBFS 根 。 您可以在 /databricks-datasets 中找到任何数据集:参见 special DBFS Root location.

Databricks 文件系统 (DBFS) 是一个分布式文件系统,安装在 Azure Databricks 工作区 中,可在 Azure Databricks 集群上使用。 DBFS 在可扩展对象存储 ADLS gen2 之上。

how can I call the delta lake from Azure Data factory?

你可以参考这个视频,也可以关注下面的参考资料:

https://www.youtube.com/watch?v=evqQRwsF_Ps

参考:

https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory

https://docs.microsoft.com/en-us/azure/databricks/data/databricks-file-system#--important-information-about-dbfs-permissions

https://docs.microsoft.com/en-us/azure/databricks/data/databricks-datasets