Databricks 增量表 - 它们通常存储在哪里?
Databricks Delta Tables - Where are they normally stored?
我正在开始我的 Delta 表之旅,但仍然让我感到困惑的一件事是,如果您以后需要查询它们,最好在哪里保存您的 delta 表。
例如,我正在将几个表从本地迁移到 azure databricks 到单独的增量表中。我的问题是,我应该将大小可能很大的单个增量表保存到 DBFS databricks 内部存储中,还是应该挂载一个 blob 存储位置并在那里保存增量湖表?人们在这些情况下通常会做什么?
我通常建议人们将数据存储在单独的存储帐户中(挂载或直接使用),并且不要将工作区的内部存储用于该任务。主要原因 - 如果需要,与其他工作区或其他系统共享此数据更容易。内部存储应主要用于临时文件、库、初始化脚本等。
有许多有用的指南可以提供帮助:
我正在开始我的 Delta 表之旅,但仍然让我感到困惑的一件事是,如果您以后需要查询它们,最好在哪里保存您的 delta 表。
例如,我正在将几个表从本地迁移到 azure databricks 到单独的增量表中。我的问题是,我应该将大小可能很大的单个增量表保存到 DBFS databricks 内部存储中,还是应该挂载一个 blob 存储位置并在那里保存增量湖表?人们在这些情况下通常会做什么?
我通常建议人们将数据存储在单独的存储帐户中(挂载或直接使用),并且不要将工作区的内部存储用于该任务。主要原因 - 如果需要,与其他工作区或其他系统共享此数据更容易。内部存储应主要用于临时文件、库、初始化脚本等。
有许多有用的指南可以提供帮助: