我可以让眼睛包含在 ARSCNFaceGeometry 中(从 VNFaceLandmarkRegion2D 获取 3D 瞳孔坐标)吗?
Can I get eyes to be included in ARSCNFaceGeometry (to get 3D pupil coordinates from VNFaceLandmarkRegion2D)?
我正在尝试使用 ARKit 和 SceneKit 在 iPhone X 上执行 3D 特征检测,使用 Vision 检测面部标志。然后,我使用 ARSCNView.hitTest
将 2D 面部地标投射到通过 ARSCNFaceGeometry
获得的面部拓扑结构中。这很好用,但我在学生身上遇到了麻烦。很难获得学生的命中测试结果,我假设这是因为脸部几何形状在眼睛所在的位置有间隙。例如,有没有办法通过将眼睛添加到面部几何形状来执行 hitTest
,从 leftPupil
和 rightPupil
VNFaceLandmarkRegion2D
坐标获得准确的 z 值?
我目前的想法是使用周围 eye
地标的 z 值并将该值用于 unproject
2D 瞳孔进入场景,当然这并不准确正如我希望的那样。任何帮助或任何其他想法将不胜感激,谢谢!
如果您在创建 ARSCNFaceGeometry
时通过 fillMesh: true
,它不会为眼睛和嘴巴留下空白。
https://developer.apple.com/documentation/arkit/arscnfacegeometry/2928202-init
我正在尝试使用 ARKit 和 SceneKit 在 iPhone X 上执行 3D 特征检测,使用 Vision 检测面部标志。然后,我使用 ARSCNView.hitTest
将 2D 面部地标投射到通过 ARSCNFaceGeometry
获得的面部拓扑结构中。这很好用,但我在学生身上遇到了麻烦。很难获得学生的命中测试结果,我假设这是因为脸部几何形状在眼睛所在的位置有间隙。例如,有没有办法通过将眼睛添加到面部几何形状来执行 hitTest
,从 leftPupil
和 rightPupil
VNFaceLandmarkRegion2D
坐标获得准确的 z 值?
我目前的想法是使用周围 eye
地标的 z 值并将该值用于 unproject
2D 瞳孔进入场景,当然这并不准确正如我希望的那样。任何帮助或任何其他想法将不胜感激,谢谢!
如果您在创建 ARSCNFaceGeometry
时通过 fillMesh: true
,它不会为眼睛和嘴巴留下空白。
https://developer.apple.com/documentation/arkit/arscnfacegeometry/2928202-init