使用 MLflow 进行数据和模型漂移监控

Question

MLFlow Tracking 非常适合监控实验，但我想知道是否有 MLFlow 或其他开源平台上的解决方案可以集成以监控数据和模型漂移。

Databricks 的 post 展示了如何使用 Delta Lake 实现这一点，但是，由于您可以使用 MLFlow 部署和服务模型，在我看来，监控所做的预测会很容易通过模型，与我们监控实验的方式相同 运行.

Answer 1

我的团队最近添加了 MLflow 与我们名为 whylogs 的开源数据监控库之间的集成。这使您可以记录通过模型的数据的统计概况 and/or 模型的输出。然后，您可以从 MLflow 运行 工件中收集这些配置文件并分析它们的漂移。

我们有一个 notebook that walks you through the integration process and a blog post 来配合它。如果您有任何问题或其他功能要求，请联系我们！