我正在尝试使用来自 Oculus 耳机的数据来表示化身,但我不知道如何正确表示它

I am trying to represent an avatar with data from an Oculus headset, and I cannot find out how to properly represent it

TL;DR: 对于 youtube 频道,我将尝试以类似于下面的 gif 的方式控制头像。本质上是在 VR 中记录我的动作,然后在视频中使用它们。

我有 Oculus Rift S 和空闲时间来尝试使用 unity 和其他程序。

到目前为止我已经尝试过:

  1. 在其他内置录音功能的游戏中录音 这没有为我提供我需要的可定制性
  2. 统一录制 我还没有成功地实现统一记录。

显然有多种方法可以解决这个问题,我花了几个小时试图找到一个解决方案,但我找不到一个有效的方法。

相当大的项目但是

在 Unity 中创建 rigged/animated 个头像 ->

设置动画状态机->

根据输入切换到不同状态的设置逻辑(hand/mouth 动画的不同状态)->

具有触发不同动画状态触发器的逻辑,也许还可以播放来自音频源的音频片段

可选:

获取麦克风输入 ->

具有 AI 语音识别或仅对一般声音输入的麦克风音量进行采样 ->