我可以让眼睛包含在 ARSCNFaceGeometry 中(从 VNFaceLandmarkRegion2D 获取 3D 瞳孔坐标)吗?

Can I get eyes to be included in ARSCNFaceGeometry (to get 3D pupil coordinates from VNFaceLandmarkRegion2D)?

我正在尝试使用 ARKit 和 SceneKit 在 iPhone X 上执行 3D 特征检测,使用 Vision 检测面部标志。然后,我使用 ARSCNView.hitTest 将 2D 面部地标投射到通过 ARSCNFaceGeometry 获得的面部拓扑结构中。这很好用,但我在学生身上遇到了麻烦。很难获得学生的命中测试结果,我假设这是因为脸部几何形状在眼睛所在的位置有间隙。例如,有没有办法通过将眼睛添加到面部几何形状来执行 hitTest,从 leftPupilrightPupil VNFaceLandmarkRegion2D 坐标获得准确的 z 值?

我目前的想法是使用周围 eye 地标的 z 值并将该值用于 unproject 2D 瞳孔进入场景,当然这并不准确正如我希望的那样。任何帮助或任何其他想法将不胜感激,谢谢!

如果您在创建 ARSCNFaceGeometry 时通过 fillMesh: true,它不会为眼睛和嘴巴留下空白。

https://developer.apple.com/documentation/arkit/arscnfacegeometry/2928202-init