ARKit3 如何使用 TrueDepth 相机进行人脸跟踪和其他人的面部网格?

ARKit3 How to use TrueDepth camera for face tracking and face meshes of other people?

我有兴趣使用 ARKit 3 和几台 iPad 来创建 multi-user(协作)体验,因为根据 WWDC '19,对协作 AR 的支持似乎有所改进。

A​​pple 谈了很多关于面部跟踪和动作捕捉的内容,但听起来只有前置摄像头支持(面向手持设备的人)。有没有办法对你的朋友进行面部跟踪?正在分享经验?在 WWDC 演示视频中,动作捕捉角色看起来像是从用户视角中的人物生成的,而 Minecraft 演示显示用户视角中的人物与 Minecraft 内容在 AR 中混合。这表明 后置摄像头 正在处理此问题。然而,我认为 AR 的意义在于将虚拟 objects 附加到您面前的物理世界 。 Reality Composer 有一个面部跟踪示例和一个会跟随面部的引号气泡,但因为我没有带深度摄像头的设备,所以我不知道这个示例是否意味着让引号气泡跟随你,周围的用户,或摄像头视野中的其他人。

简而言之,我对在共享 AR 环境中可以使用面部跟踪、人物遮挡和 body 跟踪其他人做些什么感到困惑。哪些相机正在使用,哪些功能可以应用于其他人而不是我自己(自拍风格)?

最后,假设我可以对我视野中的其他人进行面部和 body 跟踪,并且我可以对其他人进行遮挡,有人会指导我一些示例代码吗?我还想使用场景中的深度信息(同样,如果可能的话),但这可能需要一些完全不同的 API.

由于我还没有配备原深感摄像头的设备,因此我无法使用此处的示例项目自行测试:https://developer.apple.com/documentation/arkit/tracking_and_visualizing_faces 我正在尝试根据人们的回答来确定我是否可以在购买必要的硬件之前首先创建我想要的系统。

ARKit 3 提供了同时使用前置和后置摄像头的功能。

面部跟踪使用前置摄像头,需要配备原深感摄像头的设备。 ARKit 3 现在可以使用前置摄像头跟踪最多三张脸。面部跟踪可让您捕捉详细的面部动作。

Body 使用后置摄像头进行跟踪和动作捕捉。这允许检测 body 并将其映射到您的应用程序可用于捕获位置数据的虚拟骨架上。

例如,您可以捕捉 body 使用后置摄像头的人的动作和使用前置摄像头观看该动作的人的面部表情,并将其组合到一个 ARKit 场景中。