Dlib。如何解决实时的优化约束？地标融合的想法？
Dlib. How solve the optimization constraints to be on real time ? Idea of landmarks convergence?
我想使用 dlib 库来实时检测人脸特征点。
该算法基于论文：Vahid Kazemi 和 Josephine Sullivan 的 One Millisecond Face Alignment with an Ensemble of Regression Trees
我使用现有的库：dlib，它很慢。我在 http://dlib.net/faq.html 上阅读了如何快速完成此操作，但在我的计算机上不可能，因为在 SSE4 或 AVX 之前我没有优化选项。最后，我使用 SSE2。
所以我有以下问题：
-可以在 mobile/web 应用程序库 dlib 中使用，以便它实时工作？我对优化设置等不熟悉，这就是为什么有多少限制很有趣。
-可以在我的电脑上使用而不优化 SSE4 以便它实时工作吗？
-此文件 shape_predictor_68_face_landmarks.dat 大小为 95 Mb。我只需要人脸+地标检测，这个文件是不是按照我的需要包含冗余信息？
-一道算法题：points(landmarks)的收敛依赖于人脸检测的bounding box，smb可以解释一下，是怎么做到的？我们在边界框内拟合平均面的点，然后我们正在寻找其邻域中的每个地标最佳位置？这个小区多少钱？
感谢任何帮助
-It is possible to use in mobile/web application library dlib in order that it works in real time ? I am not familar with optimization settings and so on, that is why it is interesting how much restrictions there are.
-It is possible to use in my computer without optimisation SSE4 in order that it works in real time ?
人脸界标检测有两个步骤：人脸检测和人脸界标检测。而最 CPU 消耗的部分是第一步 - 检测人脸 (运行ning simple_object_detector)，只有这部分可以从使用中获利 AVX/SSE
为什么它很慢 - 对于 80x80 像素和更大的人脸尺寸，人脸检测会耗尽，如果您将一些高分辨率图像放入检测器，它将花费很多时间在不同的滑动 window秤。大多数情况需要1-3张脸在同一帧，而现代手机摄像头的分辨率都很高。
因此，我建议您减小用于人脸检测的图像大小 - 缩小图像尺寸并根据感兴趣的区域进行裁剪。这将使你最大可能的性能优化。
下一个可能的步骤是使人脸检测器不运行在不同的尺度上，但可以进行 1-2 次迭代。看看这个问题 - 它描述了这个问题 ()
-This file shape_predictor_68_face_landmarks.dat weights 95 Mb. I need just face+landmark detection, does this file contain redundant information according to my needs?
此文件只有在 iBug 数据集上训练的 68 个面部标志的数据模型。它内部没有人脸检测模型。 dlib/image_processing/frontal_face_detector.h 文件
中的人脸检测模型
是的，这个文件很大，但这是它质量的代价。您可以训练一些新的人脸界标检测模型（在 http://dlib.net/train_shape_predictor_ex.cpp.html 示例中描述），具有更少的界标点或更低的质量 - 这可以使您的文件更小
-One algorithm question...
回答-请考虑阅读原文(http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf)和dlib/image_processing/shape_predictor.h源代码
不久 - 在检测到面部（找到边界框）后，形状预测器会在相对于面部边界框的预训练位置搜索一些特征（图像像素值）。根据特征值 shape_predictor 将 平均脸型 更改为新的脸型（预测的脸型），并且在形状预测模型 [=16] 内对每个训练有素的回归树迭代进行此过程=]
我想使用 dlib 库来实时检测人脸特征点。 该算法基于论文：Vahid Kazemi 和 Josephine Sullivan 的 One Millisecond Face Alignment with an Ensemble of Regression Trees
我使用现有的库：dlib，它很慢。我在 http://dlib.net/faq.html 上阅读了如何快速完成此操作，但在我的计算机上不可能，因为在 SSE4 或 AVX 之前我没有优化选项。最后，我使用 SSE2。 所以我有以下问题：
-可以在 mobile/web 应用程序库 dlib 中使用，以便它实时工作？我对优化设置等不熟悉，这就是为什么有多少限制很有趣。
-可以在我的电脑上使用而不优化 SSE4 以便它实时工作吗？
-此文件 shape_predictor_68_face_landmarks.dat 大小为 95 Mb。我只需要人脸+地标检测，这个文件是不是按照我的需要包含冗余信息？
-一道算法题：points(landmarks)的收敛依赖于人脸检测的bounding box，smb可以解释一下，是怎么做到的？我们在边界框内拟合平均面的点，然后我们正在寻找其邻域中的每个地标最佳位置？这个小区多少钱？
感谢任何帮助
-It is possible to use in mobile/web application library dlib in order that it works in real time ? I am not familar with optimization settings and so on, that is why it is interesting how much restrictions there are.
-It is possible to use in my computer without optimisation SSE4 in order that it works in real time ?
人脸界标检测有两个步骤：人脸检测和人脸界标检测。而最 CPU 消耗的部分是第一步 - 检测人脸 (运行ning simple_object_detector)，只有这部分可以从使用中获利 AVX/SSE
为什么它很慢 - 对于 80x80 像素和更大的人脸尺寸，人脸检测会耗尽，如果您将一些高分辨率图像放入检测器，它将花费很多时间在不同的滑动 window秤。大多数情况需要1-3张脸在同一帧，而现代手机摄像头的分辨率都很高。
因此，我建议您减小用于人脸检测的图像大小 - 缩小图像尺寸并根据感兴趣的区域进行裁剪。这将使你最大可能的性能优化。
下一个可能的步骤是使人脸检测器不运行在不同的尺度上，但可以进行 1-2 次迭代。看看这个问题 - 它描述了这个问题 (
-This file shape_predictor_68_face_landmarks.dat weights 95 Mb. I need just face+landmark detection, does this file contain redundant information according to my needs?
此文件只有在 iBug 数据集上训练的 68 个面部标志的数据模型。它内部没有人脸检测模型。 dlib/image_processing/frontal_face_detector.h 文件
中的人脸检测模型是的，这个文件很大，但这是它质量的代价。您可以训练一些新的人脸界标检测模型（在 http://dlib.net/train_shape_predictor_ex.cpp.html 示例中描述），具有更少的界标点或更低的质量 - 这可以使您的文件更小
-One algorithm question...
回答-请考虑阅读原文(http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf)和dlib/image_processing/shape_predictor.h源代码
不久 - 在检测到面部（找到边界框）后，形状预测器会在相对于面部边界框的预训练位置搜索一些特征（图像像素值）。根据特征值 shape_predictor 将 平均脸型 更改为新的脸型（预测的脸型），并且在形状预测模型 [=16] 内对每个训练有素的回归树迭代进行此过程=]