faceeffect 如何决定在何处附加 3dmesh？例如将轴连接到鼻子

Question

查看下面 Mediapipe 的 faceeefect 模块的图形定义

  node_options: {
[type.googleapis.com/mediapipe.SwitchContainerOptions] {
  contained_node: {
    calculator: "FaceGeometryEffectRendererCalculator"
    node_options: {
      [type.googleapis.com/mediapipe.FaceGeometryEffectRendererCalculatorOptions] {
        effect_texture_path: "mediapipe/graphs/face_effect/data/axis.pngblob"
        effect_mesh_3d_path: "mediapipe/graphs/face_effect/data/axis.binarypb"
      }
    }
  }

我进一步检查了 FaceGeometryEffectRendererCalculator 的计算器代码，我无法确定确定渲染器渲染轴的确切位置的代码。可能是我对OpenGL不是很了解，所以造成了误解。

有人可以帮我看看我应该在哪里寻找吗？

谢谢！

Answer 1

通过深入研究文档和论文，我了解到估计的人脸几何形状与规范的人脸模型是一致的。你可以参考寻呼机https://arxiv.org/pdf/1907.06724.pdf and the explanation here

faceeffect 如何决定在何处附加 3dmesh？例如将轴连接到鼻子

How does faceeffect decide where to attach the 3dmesh? e.g attach the axis to the nose

mediapipe