如何检测对象的轮廓并描述它以在服务器上与 ARKit 进行比较

How to detect contours of object and describe it to compare on server with ARKit

我想检测形状然后描述它(以某种方式)以将其与服务器数据进行比较。

所以第一个问题是,是否可以使用 ARKit 检测像 blob 这样的形状?

更具体地说,让我们大致描述一下我的用例。

我想通过phone扫描图片,获取具体形状,发送到服务器,在服务器上比较两张图片(服务器图片是真实的,扫描的图片会很相似)然后发送返回一些数据。我不是在问服务器端,关于服务器端的唯一问题是我应该比较什么 - 使用 OpenCV 的图像,两个图像的一些数学描述并尝试找到相似性等)。

如果这个问题很难理解,让我们把它分成两个简单的问题: 1) 如何通过 iPhone 扫描二维对象并保存它(trim 当对象为黑色和背景为白色时,从其背景的特定形状)。 2) 描述扫描对象,以便与几乎相同的对象进行比较。

  • ARKit 在这里没有用。
  • 您可能需要大量 CoreImage(用于修复透视失真和二值化)和 OpenCV 逻辑。
  • 也许 Vision 可以帮助您从整个帧中获得 ROI,尤其是当波形图像位于某种矩形中时。
  • 也许您可以训练一个自定义 ML 模型,该模型将识别特定波形或通常用于 Vision 的波形。

无论如何,这都不是一件小事。