防止 Delta table 合并创建很多小文件？
Prevent Delta table merge to create a lot of small files?
我正在将一个更新数据帧合并到一个大的 Delta table 中。这样做时，我注意到镶木地板文件的数量急剧增加。我知道之后我可以在 table 上执行 vacuum 命令，保留时间为 0 小时。但是，我认为这是非常低效的。有没有办法关闭增量版本控制？我想将那个 delta table 转换成镶木地板 table 但后来我无法再执行合并...
所以我发现的唯一减少这种影响的建议列在这里：
https://docs.databricks.com/delta/delta-update.html#language-python
我正在将一个更新数据帧合并到一个大的 Delta table 中。这样做时，我注意到镶木地板文件的数量急剧增加。我知道之后我可以在 table 上执行 vacuum 命令，保留时间为 0 小时。但是，我认为这是非常低效的。有没有办法关闭增量版本控制？我想将那个 delta table 转换成镶木地板 table 但后来我无法再执行合并...
所以我发现的唯一减少这种影响的建议列在这里：
https://docs.databricks.com/delta/delta-update.html#language-python