计算和报告数据完整性

Calculating and reporting Data Completeness

一段时间以来,我一直致力于衡量数据完整性并为 HRIS 系统创建可操作的报告。

到现在为止我一直在使用 Excel,但是现在报告的要求已经稳定下来并且对更快响应时间的需求增加了,我想将工作提升到另一个层次。同时也希望能有更详细的选项来区分不同的单位

例如,我正在查看缺失的字段。因此,对于每家公司的每位员工,我只想计算缺少多少个字段。

对于其他领域,我希望验证数据 - 例如生日与雇用日期的比较、不同值的阈值、员工组与职责级别的比较,等等。

我的问题是从这里搬到哪里去。在处理导入列表、对列表中的字段进行评估然后在公司和其他级别进行量化时,是否有任何语言比其他语言更好?我希望能够从我们不同的系统中提取数据,然后让程序进行所有计算并以某种方式总结结果。 (我认为这是一次很好的学习经历。)

我过去做过类似的事情,有点被骗了。我编写了一个程序,每晚 运行 识别缺失的字段(不是必需的,但对于数据完整性是必需的)并将它们转储到一个不完整的记录 table 中,该记录每晚在进程 运行 之前被清除。然后,我将批量电子邮件发送给负责缺失元素的每个不同组,再发送给负责组(Payroll/Benefits/Compensation/HR 管理员),以便可以添加缺失的数据。我使用 .Net 和 Oracle 数据库并通过 Lotus Notes 发送电子邮件,但类似的设计应该适用于几乎任何环境。