从 Spark 结构化流作业写入时的增量 table 版本控制
Delta table versioning while writing from a Spark structured streaming job
从 Spark 结构化流作业写入 Delta table 是否会为写入的每个微批数据创建一个版本?
来自文档:
As you write into a Delta table or directory, every operation is
automatically versioned.
所以,是的,你是对的。
获取数据:
使用时间戳
使用版本号
参考:https://databricks.com/blog/2019/02/04/introducing-delta-time-travel-for-large-scale-data-lakes.html
从 Spark 结构化流作业写入 Delta table 是否会为写入的每个微批数据创建一个版本?
来自文档:
As you write into a Delta table or directory, every operation is automatically versioned.
所以,是的,你是对的。
获取数据:
使用时间戳
使用版本号
参考:https://databricks.com/blog/2019/02/04/introducing-delta-time-travel-for-large-scale-data-lakes.html