对于任何 ETL 或数据转换工具,IGC 是否允许我跟踪数据来源或数据使用方式?

Will IGC allow me to trace where data has been sourced from or how data is being consumed, for any ETL or Data Transformation Tool?

作为我们的治理计划和监管要求的一部分,我们需要生成沿袭(易处理性)报告,概述进入我们仓库的数据流,以及使用其数据的报告或服务。我们知道 Information Governance Catalog 可以在 DataStage 向 Warehouse 写入数据时自动生成这样的报告。当我们使用 SQL 脚本或其他工具向我们的仓库读取或写入信息时,Information Governance Catalog 是否可以做同样的事情?我可以查看包含如此不同信息的完整沿袭报告吗?

IGC 中记录或以其他方式定义信息的使用以支持数据沿袭和监管报告的步骤是什么?

是的,虽然我们可以为 DataStage 自动生成沿袭(可追溯性)报告,但 IGC 确实提供了为其他数据移动脚本、工具或流程记录数据流的工具。这将生成相同的沿袭报告,可用于满足合规性需求,或建立对数据使用或消费的信心和信任。

最简单的说,IGC 允许起草一份映射文件。本质上是一个描述数据源和数据目标的电子表格,以及支持转换、聚合或其他逻辑的文档。电子表格可以直接在 IGC 中制作,或从 Excel(文本文件)加载,进一步支持流程的自动化。可在此处找到扩展映射文档的文档:https://www.ibm.com/support/knowledgecenter/en/SSZJPZ_11.5.0/com.ibm.swg.im.iis.mdwb.doc/topics/c_extensionMappings.html(尽管建议从 IGC 创建此类文档,并将结果导出到 Excel)。

此外,IGC 支持更正式的流程来扩展目录和引入新类型的资产。这将更进一步,正确地记录和编目数据过程(SQL 命令,其他 ETL 工具)并映射通过这些过程的数据移动。这将允许用户识别数据过程,甚至允许用户包含操作数据(IGC 支持)。有关此过程的更多信息,请参见此处:https://www-01.ibm.com/support/docview.wss?uid=swg21699130

建议审查绝对要求,以及随后的可追溯性报告需要哪些信息。从扩展映射文档开始就足够了,而且最容易实施并带来直接收益。