Delta Lake 事务日志 - 删除属性

Question

我正在尝试将 csv 文件转换为 delta 格式。转换成功但我可以在第二个 json 交易文件中看到 删除 属性，其中包含镶木地板中第一个 csv 文件的详细信息，如下所示：对于第一个 json 事务文件没有删除 属性.

{"remove":{"path":"part-00000-8780-121c6b34a252-c000.snappy.parquet","deletionTimestamp":1597827161514,"dataChange":true}}

我没有尝试删除任何文件或从 delta table 中删除。为什么我在尝试将新的 csv 文件转换为增量文件时看到此删除属性？有什么建议吗？

Answer 1

尝试添加 .config("spark.databricks.delta.retentionDurationCheck.enabled", "false")

Answer 2

我的理解就像我对保存的 spark“覆盖”模式所做的那样，它导致删除。