针对不同大小图像的 Core ML 对象检测

Question

我已经训练模型从图像中识别矩形。我工作得很好，但只适用于特定图像（我认为取决于特定的纵横比）。例如：

valid example

在此输入图片描述但是当我开始使用相同的图像但尺寸不同时，它不起作用。

invalid example

有人能告诉我为什么会这样吗？我该如何解决？

我如何提出请求：

let requestHandler = VNImageRequestHandler(cgImage: cgImage, orientation: image.cgImageOrientation, options: [:])

    self.request = VNCoreMLRequest(model: model) { (request, error) in
        guard let observations = request.results as? [VNRecognizedObjectObservation] else {
            return
        }

        self.visualizeObservations(observations: observations)
        print(observations)
    }

    request.imageCropAndScaleOption = .scaleFill

    DispatchQueue.global(qos: .background).async {
        do {
            try requestHandler.perform([self.request])
        } catch let error as NSError {
            print("Error in performing Image request: \(error)")
        }
    }

另外，我想知道，在什么情况下，模型可以在 CreateML GUI 中检测到对象，但不能在屏幕上检测到相同的图像？

更新：我已经找到了解决方案。根本原因是无效输出，当我更改

let requestHandler = VNImageRequestHandler(cgImage: cgImage, orientation: image.cgImageOrientation, options: [:])

到

let requestHandler = VNImageRequestHandler(data: image.jpegData(compressionQuality: 1)!, orientation: image.cgImageOrientation, options: [:])

解决问题。

Answer 1

UPD：我已经资助了解决方案。根本原因是无效的输出，当我改变

let requestHandler = VNImageRequestHandler(cgImage: cgImage, orientation: image.cgImageOrientation, options: [:])

至

let requestHandler = VNImageRequestHandler(data: image.jpegData(compressionQuality: 1)!, orientation: image.cgImageOrientation, options: [:])

解决问题。

针对不同大小图像的 Core ML 对象检测

Core ML Object detection for different sized images

machine-learning

ios

coreml