有没有办法在 ArCore 面部跟踪中将 ViewRenderables 与 AugmentedFaceNodes 一起使用?

Is there a way to use ViewRenderables with AugmentedFaceNodes in ArCore Face Tracking?

我正在开发一款应用程序,可以识别人脸并显示有关此人的医疗信息。我的目标是在人脸附近的 ViewRenderable 中显示 AR 中的信息。有没有办法像我们在基于平面的 AR 中那样使用人脸作为锚点?

Augmented Faces 示例仅显示了正在使用的 ModelRenderable,这对我的情况并没有真正帮助。

完成您的任务的最佳方法可能是使用 AugmentedFace class 的 getCenterPose() 功能来跟踪脸部的中心并相对于此姿势放置您的内容。 另一种方法是向 ARCore 片段添加一个叠加层,其中包含一个部分,当您的应用识别人脸时,您可以在其中放置上下文医疗信息。

我没有使用过增强面孔功能,但我怀疑如果不使用另一个专注于机器 learning/deep 学习的框架,它就无法区分不同的人脸。只是对此进行一些检查。

锚点需要放置在特定的真实 space 位置,该位置由相机获取的图像的不可变特征生成。 不可变特性意味着当您放置锚点时,锚点与您在特定时间看到的内容紧密耦合。

因此,使用随时间移动很多的对象不是一个好主意,因为它会改变图像的特征数量,并且可能会给 phone 跟踪过程带来问题。 我认为这是您仅在放置锚点后才将对象放置在真实 space 中的原因之一。 文档还说不可能在增强的脸上放置锚点。enter link description here

希望这能给你一些提示。