如何从 dlib 的 array2d<rgb_pixel> 图像上的 dlib::rectangle 创建 cv::Mat？

Question

我使用 dlib 的 hog 检测器，因为它发现人脸比 opencv haarcascades 好得多。但它无法检测脸上的情绪（或者可以？？？）。我需要从 dlib::rectangle 中提取一个 "sub-image" 并从中创建 cv::Mat 以使用预加载的 "haarcascade_smile.xml".

调用 cv::detectMultiScale()

如何执行这个extraction/conversion？

下面的代码示例...

int DetectionProc(void * param){ // async operation
    auto instance =(Detector *)param;
    const unsigned int delay = 1000 / instance->OPS;
    std::vector<dlib::rectangle> detects;
    array2d<rgb_pixel> sample;

    while(instance->OPS){
        unsigned int elapsed = GetTickCount();

        EnterCriticalSection(&instance->cs_buf);
        assign_image(sample,instance->buffer);
        instance->buffer.clear();
        LeaveCriticalSection(&instance->cs_buf);

        if (sample.size()){
            detects = instance->face_detector(sample);
            if (!detects.empty()){
                detection res(GetTickCount());
                if (!instance->smile_detector.empty()){
                    // TODO
                    // extract subimage from detects.front() on sample to cv::Mat face;
                    // instance->smile_detector.detectMultiScale(); on face
                    // set res.smiled to true on success
                }
                EnterCriticalSection(&instance->cs_result);
                instance->result = res;
                LeaveCriticalSection(&instance->cs_result);
            }
        }
        elapsed = GetTickCount() - elapsed;
        Sleep((elapsed < delay) ? (delay - elapsed) : 0);
    }
    return 0;
}

Answer 1

有两种方法可以实现这一点，要么通过 dlib (docs) 中的 extract_image_chips 功能，要么使用相应的 cv::Mat 从包装中提取子图像OpenCV API。您将使用哪一个取决于选择对其余处理管道的方便程度。

从您的示例得出结论，OpenCV 路径似乎是最方便的（但再次请检查设计和 API 选项）：

// 1.) Wrap your "sample" dlib-image in cv::Mat
//     dlib::toMat() is available through #include <dlib/opencv.h>
cv::Mat sample_mat = dlib::toMat(sample);

// 2.) Iterate through your detections
for (const auto& rect: detects) 
{
    // 3.) Extract the rectangle sub-image using OpenCV
    cv::Mat rect_sub = sample_mat(
        cv::Rect(rect.left(), rect.top(), rect.width(), rect.height()));

    // 4.) Process the sub-image
}

如何从 dlib 的 array2d<rgb_pixel> 图像上的 dlib::rectangle 创建 cv::Mat？

How to create cv::Mat from dlib::rectangle on dlib's array2d<rgb_pixel> image?

c++

opencv

dlib