R 模型的 Azure ML Web 服务显示不可预测

Azure ML Web Service for R models shows unpredictable

在我们的 R 模型中发布 Azure ML Web 服务和预加载数据时,我们发现性能不一致。第一次调用很慢,但后续调用很快,等待下一次调用的时间(几分钟)会显示更长的响应时间。

Azure ML Web 服务在后台工作的方式意味着托管模型的实例是在非常动态的多租户环境中配置和移动的。缓存数据(预热)可能会有帮助,但这并不意味着所有后续调用都将落在缓存中具有相同数据的同一实例上。

对于需要大量内存数据的模型,此时 Azure ML Web 服务托管层可以提供的内容是有限的。 Microsoft R 服务器可以替代托管这些大型 ML 工作负载并考虑 Service Fabric 以进行扩展