如何检查 azure databricks 和 HDinsight 上的数据沿袭？

Question

我有笔记本对存储在 dbfs（databricks 文件系统）中的表执行转换。我想捕获并显示数据沿袭。另外我想知道如何在 hdinsight 中做同样的事情。

Answer 1

Spline 源自 Spark 和 Lineage 这两个词。它是一种用于可视化和跟踪数据随时间变化的工具。 Spline 提供了一个 GUI，用户可以在其中查看和分析数据如何转换以产生洞察力。

您可以查看解释 Spark Data Lineage on Databricks Notebook using Spline and Data Lineage Tracking And Visualization Solution 的文章。