在 apache flink 中嵌入现有的 ML 模型

Question

我们正在离线训练机器学习模型并将它们保存在 python 个泡菜文件中。

我们想知道将这些 pickeled 模型嵌入到流中的最佳方法（例如 sensorInputStream > PredictionJob > OutputStream。

Apache Flink ML 似乎是使用流数据训练模型而不是引用现有模型的正确选择。

感谢您的回复。

亲切的问候 洛蒙戈

Answer 1

根据您使用的型号，有两种可能的解决方案：

1. 可能最简单的想法是创建将调用模型和 return 结果的外部服务，然后使用 AsyncFunction
简单地调用服务
2. 使用一些库，再次根据您的模型在 ProcessFunction 的 open 方法中加载预训练模型。然后简单地为每个到达的数据调用模型。

第二个解决方案有两个缺点，首先你需要有可用的特定库的 Java 版本，另一个是你需要以某种方式外部化模型的元数据，如果你想能够随着时间的推移更新它。