是否可以使用 Mediapipe 中的 face_landmark.tflite 在 Android 中独立生成人脸网格?

Is it possible to use face_landmark.tflite from Mediapipe to generate face mesh in Android independently?

我正在开发面部跟踪应用程序 (Android studio / Java),我需要识别面部特征点。我有兴趣在 Windows OS.

上使用 Mediapipe face mesh model. The problem is: I use Windows OS, and Mediapipe is not working

我对 Tensorflow 有非常基本的了解,谁能向我解释一下我如何使用 Mediapipe 的 face_landmark.tflite 模型来检测图像中的人脸并在 Android studio 中使用 Java 独立于整个 Mediapipe 框架?

您可以尝试查看下面我的笔记本以获取 python 中的用法示例。这个只需要tflite模型,不需要安装Mediapipe

https://nbviewer.jupyter.org/github/quickgrid/CodeLab/blob/master/tensorflow/MediaPipe_Face_Mesh_TFLite_Python_Direct_Inference.ipynb

这是输出图像,

这应该为使用 android tflite 解释器获取面部特征点并绘制它们提供了一个起点。需要人脸检测器such as blazeface先输出人脸边界框。

因为我还没有在 android 中实现这个模型,所以我不能说还需要什么。可以在 mediapipe 面网格代码中找到更多详细信息。笔记本基于此代码,

https://github.com/shortcipher3/Whosebug/blob/master/mediapipe_iris_2d_landmarks.ipynb

进一步参考,

https://github.com/google/mediapipe/blob/master/mediapipe/modules/face_landmark/face_landmark.tflite

https://google.github.io/mediapipe/solutions/face_mesh

带有输入、输出详细信息的模型卡,

https://drive.google.com/file/d/1QvwWNfFoweGVjsXF3DXzcrCnz-mx-Lha/view

备用选项

Android ML Kit 也有人脸标志,有很好的文档和代码示例。

https://developers.google.com/ml-kit/vision/face-detection

https://developers.google.com/android/reference/com/google/mlkit/vision/face/package-summary