如何在 Evaluator 中计算额外的统计数据？

Question

在 TFX 评估器中，除了以 TFMA 格式描述的指标之外，我想计算与我的模型在我的数据集上的性能相关的统计数据。当然，我也想要一种访问这些统计信息的方法：通过组件的输出，或者让组件将统计信息上传到某个地方。

我猜想需要一些自定义代码（用于计算和 return 统计数据），但我真的不知道需要多少以及什么是最好的方法写下来。关于这个话题有什么想法吗？

谢谢

Answer 1

有 2 种方法可以实现此目的，具体取决于您如何看待您的功能在 TFX 流中的位置。

1. 编写自定义 TFX 组件 - 这需要付出很多努力，您需要定义很多东西。
2. 重用现有组件 - 我们可以继承现有组件并通过覆盖执行程序功能来自定义它，而不是完全从头开始为 TFX 编写组件。

我建议从以下博客开始：
Anatomy of TFX Component
Creating custom Components