非 Databricks 平台上的 Spark Delta 格式

Spark Delta format on non-Databricks platforms

To improve query speed, Delta Lake on Databricks supports the ability to optimize the layout of data stored in cloud storage. Delta Lake on Databricks supports two layout algorithms: bin-packing and Z-Ordering.

如果您 运行 本地(不在云中)并在 Spark 中使用 delta 格式,而不是在 Databricks 上,是否可以使用 Z-Ordering?或者它仅适用于 Databricks 运行 时间?

我的假设是肯定的,但我想说清楚,因为我手头没有 RHEL 集群。

仅在 Databricks Runtime 上的 Delta Lake 中支持 z 排序。