ARKit 能否将特定表面检测为平面？

Can ARKit detect specific surfaces as planes?

使用 iOS 11 和 iOS 12 和 ARKit，我们目前能够检测水平表面上的平面，并且我们还可以在表面上可视化该平面。

我想知道我们是否可以通过某种图像文件声明我们要检测平面的特定表面？ （可能会忽略 ARKit 从其他表面检测到的所有其他平面）

如果那不可能，那么我们是否可以捕获检测到的平面（通过图像），然后我们可以通过识别该特定表面的 CoreML 模型对其进行处理？

A​​RKit 目前不支持这样的东西。您确实可以将检测到的平面捕获为图像，如果您能够通过核心 ML 实时匹配它，我相信很多人都会感兴趣！

你应该：

  • 获取平面角的 3D 位置
  • 使用sceneView.projectPoint
    • 找到他们在框架中的二维位置
  • 从 currentFrame.capturedImage
    • 中提取帧
  • 对图像进行仿射变换，将其留在平面上，重新投影为矩形
  • 做一些机器学习/图像处理来检测匹配

请记住，ARKit 矩形检测通常没有很好地对齐，并且可能只有整个平面的一部分。

最后，不幸的是，ARKit 公开的特征点没有用，因为它们不包含任何用于跨帧匹配特征点的特征，Apple 也没有说明他们使用什么算法来计算特征点。

这是查找水平面的小演示代码。在#Swift5Github