Databricks 上的增量格式自动压缩不是 运行
Auto Compact for delta format not running on Databricks
spark.sql("set spark.databricks.delta.autoCompact.enabled = true")
是否也适用于 HDP 上的增量格式,因此 运行 不适用于 DataBricks 上的 Delta Lake?
据我所知,并不是 Delta Lake 的所有功能都可以在 HDP 上使用。我问,因为我不能轻易找到这个问题的答案,并且在访问集群方面不方便。我的同事对此一无所知,另一个单位表示他们正在开发一个压缩脚本。
不,自动压缩(和自动优化)只是 Databricks 的未来。对于非 Databricks 安装,您可以参考 documentation on delta.io.
spark.sql("set spark.databricks.delta.autoCompact.enabled = true")
是否也适用于 HDP 上的增量格式,因此 运行 不适用于 DataBricks 上的 Delta Lake?
据我所知,并不是 Delta Lake 的所有功能都可以在 HDP 上使用。我问,因为我不能轻易找到这个问题的答案,并且在访问集群方面不方便。我的同事对此一无所知,另一个单位表示他们正在开发一个压缩脚本。
不,自动压缩(和自动优化)只是 Databricks 的未来。对于非 Databricks 安装,您可以参考 documentation on delta.io.