如何在中间件中将模型添加到 PredictionEnginePool (ML.NET)？

Question

我在 ASP.NET 核心应用程序中使用 ML.NET，我在 Startup 中使用以下代码：

var builder = services.AddPredictionEnginePool<Foo, Bar>();

if (File.Exists("model.zip"))
{
    builder.FromFile(String.Empty, "model.zip", true);
}

如果model.zip不存在，我稍后在中间件中创建它。如何将它添加到注入的 PredictionEnginePool？

没有通过 PredictionEnginePool 加载模型的选项，并且实例化或注入 PredictionEnginePoolBuilder 不是一个选项，因为它需要 IServiceCollection（因此必须在 Startup.ConfigureServices).

目前我能看到的唯一选择是如果文件在启动时不存在则设置一个标志，然后在model.zip之后重新启动服务稍后在中间件中创建（使用IApplicationLifetime.StopApplication），但我真的不喜欢这个选项。

Answer 1

PredictionEnginePool 的设计方式使您可以编写自己的 ModelLoader 实现。开箱即用，Microsoft.Extensions.ML 有 2 个加载程序，File 和 Uri。当那些不能满足您的需求时，您可以下拉并自己编写。

参见 https://github.com/dotnet/machinelearning-samples/pull/560，它更改了 dotnet/machine-learning 示例之一以使用 "in-memory" 模型加载器，它不从文件或 Uri 获取模型。您可以遵循相同的模式并编写获得模型所需的任何代码。

    public class InMemoryModelLoader : ModelLoader
    {
        private readonly ITransformer _model;

        public InMemoryModelLoader(ITransformer model)
        {
            _model = model;
        }

        public override ITransformer GetModel() => _model;

        public override IChangeToken GetReloadToken() =>
            // This IChangeToken will never notify a change.
            new CancellationChangeToken(CancellationToken.None);
    }

然后在Startup.cs

            services.AddPredictionEnginePool<ImageInputData, ImageLabelPredictions>();
            services.AddOptions<PredictionEnginePoolOptions<ImageInputData, ImageLabelPredictions>>()
                .Configure(options =>
                {
                    options.ModelLoader = new InMemoryModelLoader(_mlnetModel);
                });

如何在中间件中将模型添加到 PredictionEnginePool (ML.NET)？

How to add model to PredictionEnginePool in middleware (ML.NET)?

asp.net-core-middleware

ml.net