Dlib 在 kurento opencv 过滤器中没有检测到人脸

Question

我为 Kurento 的 WebRTC 框架创建了一个 opencv 过滤器，可以检测一个人是否眨眼。我的代码在独立的 opencv 应用程序中运行。然而，一旦我转换为 Kurento 的 opencv 过滤器，它就开始播放了。当 module/filter 在没有优化标志的情况下编译时，它会短暂地检测面部并绘制眼睛周围的轮廓。但是，在使用优化标志编译 module/filter 后，性能有所提高，但未检测到人脸。这是我在过滤器中的代码：

 void BlinkDetectorOpenCVImpl::process(cv::Mat &mat) {

            std::vector <dlib::rectangle> faces;

            // Just resize input image if you want
            resize(mat, mat, Size(800, 450));

            cv_image <rgb_alpha_pixel> cimg(mat);
            dlib::array2d<unsigned char> img_gray;
            dlib::assign_image(img_gray, cimg);
            faces = detector(img_gray);
            std::cout << "XXXXXXXXXXXXXXXXXXXXX FACES: " << faces.size() << std::endl;
            std::vector <full_object_detection> shapes;
            for (unsigned long i = 0; i < faces.size(); ++i) {
                full_object_detection shape = pose_model(cimg, faces[i]);
                std::vector <Point> left_eye_points = get_points_for_eye(shape, LEFT_EYE_START, LEFT_EYE_END);
                std::vector <Point> right_eye_points = get_points_for_eye(shape, RIGHT_EYE_START, RIGHT_EYE_END);
                double left_eye_ear = get_eye_aspect_ratio(left_eye_points);
                double right_eye_ear = get_eye_aspect_ratio(right_eye_points);

                double ear = (left_eye_ear + right_eye_ear) / 2.0;

                // Draw left eye
                std::vector <std::vector<Point>> contours;
                contours.push_back(left_eye_points);
                std::vector <std::vector<Point>> hull(1);
                convexHull(contours[0], hull[0]);
                drawContours(mat, hull, -1, Scalar(0, 255, 0));

                // Draw right eye
                contours[0] = right_eye_points;
                convexHull(contours[0], hull[0]);
                drawContours(mat, hull, -1, Scalar(0, 255, 0));

                if (ear < EYE_AR_THRESH) {
                    counter++;
                } else {
                    if (counter >= EYE_AR_CONSEC_FRAMES) {
                        total++;
                        /*  std::string sJson = "{\"blink\": \"blink\"}";

                          try
                          {
                              onResult event(getSharedFromThis(), onResult::getName(), sJson);
                              signalonResult(event);
                          }
                          catch (std::bad_weak_ptr &e)
                          {
                          }*/
                    }

                    counter = 0;
                }

                cv::putText(mat, (boost::format{"Blinks: %d"} % total).str(), cv::Point(10, 30),
                            cv::FONT_HERSHEY_SIMPLEX,
                            0.7, Scalar(0, 0, 255), 2);
                cv::putText(mat, (boost::format{"EAR: %.2f"} % ear).str(), cv::Point(300, 30),
                            cv::FONT_HERSHEY_SIMPLEX,
                            0.7, Scalar(0, 0, 255), 2);
            }
        }


    } /* blinkdetector */

Answer 1

我能够解决我自己的问题。我发现，与其将图像调整为任意分辨率，不如将其调整为实际图像分辨率的一半宽度和一半高度。将图像大小调整为较小的尺寸可以使 Dlib 人脸检测速度更快。所以这就是我为解决问题所做的工作：

    Mat tmpMat = mat.clone();
    resize(tmpMat, tmpMat, Size(tmpMat.size().width / 2, tmpMat.size().height / 2));

我不得不将 Kurento 发送的图像克隆到我的方法中，因为由于某些奇怪的原因，原始 Mat 在使用 cv_image 转换为 Dlib 图像时不显示轮廓。

Dlib 在 kurento opencv 过滤器中没有检测到人脸

Dlib not detecting face in kurento opencv filter

c++

opencv

kurento

dlib