从 pcl openni grabber 获取 rgb 的 OpenCV Mat 变量和深度信息

Question

我现在正在使用 pcl openni 抓取器从 kinect 相机获取点云。但我也想获取 OpenCV Mat 变量以获取 rgb 和深度信息。

有人知道如何实现吗？

非常感谢！

Answer 1

我刚发现pcl有自己的openni2包装器可以直接获取颜色和深度图像。我们可以写一个回调函数，如：

void PclProcessor::image_cb1_ (const boost::shared_ptr<pcl::io::Image>& rgb1, const boost::shared_ptr<pcl::io::DepthImage>& depth1, float reciprocalFocalLength)
{
    if (refreshK1)
    {
        C1 = Mat(rgb1->getHeight(), rgb1->getWidth(), CV_8UC3);
        rgb1->fillRGB(C1.cols,C1.rows,C1.data,C1.step);
        cvtColor(C1, C1, CV_RGB2BGR);

        D1 = Mat(depth1->getHeight(), depth1->getWidth(), CV_32F);
        depth1->fillDepthImage(D1.cols, D1.rows,(float *)D1.data,D1.step);

        refreshK1 = false;
    }
    imshow("camera 1 color",C1);
    imshow("camera 1 depth",D1);
    cv::waitKey(0);
}

在这种情况下，我可以得到正确的彩色图像。但是，深度图看起来不对。

从 pcl openni grabber 获取 rgb 的 OpenCV Mat 变量和深度信息

get OpenCV Mat variables of rgb and depth information from pcl openni grabber

opencv

kinect

openni

point-cloud-library