CoreML 模型在 coremltools 和 Xcode 之间产生不同的结果

Question

我创建了一个基于自定义 PyTorch CNN 模型的 .mlmodel 文件，首先使用 onnx_coreml 将 PyTorch 模型转换为 ONNX，然后再转换为 CoreML。使用虚拟数据（一个 3 x 224 x 224 数组，其中每个值都是 1.0），我验证了 PyTorch 模型、ONNX 模型（运行使用 Caffe 后端）和 CoreML 模型（使用 coremltools）都产生相同的结果。

但是，当我将同一模型导入 Xcode 并在 phone 上将其导入运行时，即使使用虚拟数据，模型输出也不匹配。

我使用的设备似乎没有什么不同（我试过从 XS Max 一直到 SE 的 iPhone）。都是运行ning iOS 12.2，并且使用Xcode 10.2.1

这是我用来创建虚拟数据并从我的模型中获得预测的代码（在 Swift 中）：

let pixelsWide = Int(newImg.size.width)
let pixelsHigh = Int(newImg.size.height)
var pixelMLArray = try MLMultiArray(shape: [1, 1, 3, 224, 224], dataType: .float32)
for y in 0 ..< pixelsHigh {
    for x in 0 ..< pixelsWide {
        pixelMLArray[[0,0,0,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,1,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,2,x,y] as [NSNumber]] = 1.0
    }
}

do {
    let convModel = CNNModel()
    var thisConvOutput = try convModel.prediction(_0: pixelMLArray)._1161
} catch { print("Error") }

我已验证输入和输出标签是否正确等等。这运行很顺利，但是 thisConvOutput 的前三个值是： [0.000139, 0.000219, 0.003607]

为了比较，PyTorch 模型的前三个值运行是： [0.0002148、0.00032246 和 0.0035419]

以及使用 coremltools 的完全相同的 .mlmodel： [0.00021577, 0.00031877, 0.0035404]

长话短说，没有使用 Swift 的经验，我想知道我在通过模型初始化/填充我的 "pixelMLArray" 到运行时是否在做一些愚蠢的事情在我的设备上 Xcode，因为 coremltools 的 .mlmodel 结果非常接近我使用 PyTorch 得到的结果。有人可以帮忙吗？

Answer 1

您在设备上的 Core ML 输出：[0.000139, 0.000219, 0.003607]

coremltools 的输出：[0.00021577, 0.00031877, 0.0035404]

请注意，这些都是非常小的数字。当 Core ML 在 GPU 上（也可能在神经引擎上，不确定）运行你的模型时，它使用 16 位浮点。它们的精度比 32 位浮点数小得多。

请注意 0.000139 和 0.00021577 不是同一个数字，但它们都在 1e-4 左右。这低于 16 位浮点数的精度限制。但是 0.003607 和 0.0035404 几乎是相同的数字，因为它们大约大 10 倍，因此不会损失那么多的精度。

使用 CPU 在设备上尝试运行您的 Core ML 模型（您可以在实例化模型时为此传递一个选项）。您可能会发现现在得到的结果与 coremltools 版本更接近（并且可能相同），因为 CPU 上的 Core ML 使用 32 位浮点数。

结论：从您目前所展示的内容来看，您的模型似乎按预期工作，考虑到由于使用 16 位浮点进行计算，您将失去精度。

CoreML 模型在 coremltools 和 Xcode 之间产生不同的结果

CoreML model yields different results between coremltools and Xcode

swift

coreml

coremltools