"Determining location of DBIO file fragments..." 是什么意思,我该如何加快速度?

What does "Determining location of DBIO file fragments..." mean, and how do I speed it up?

当在 Databricks 中 运行 简单 SQL 命令时,有时我会收到消息:

Determining location of DBIO file fragments. This operation can take some time.

这是什么意思,我如何避免它每次都必须执行这个看似昂贵的操作?即使所有基础表都是增量表,也会发生这种情况。

这是一条关于增量缓存的消息。它决定在哪个执行器上缓存什么,以路由任务以获得最佳缓存位置。更频繁地优化您的 table 以减少文件数量会使情况变得更好。