当我们在 OpenCV 中有深度和 rgb 垫时如何显示 3D 图像（从 Kinect 捕获）

Question

我们使用带有 OpenNI 库的 Kinect 捕获了 3d 图像，并使用此代码以 OpenCV Mat 的形式获得了 rgb 和深度图像。

    main()
{
    OpenNI::initialize();
    puts( "Kinect initialization..." );
    Device device;
    if ( device.open( openni::ANY_DEVICE ) != 0 )
    {
        puts( "Kinect not found !" ); 
        return -1;
    }
    puts( "Kinect opened" );
    VideoStream depth, color;
    color.create( device, SENSOR_COLOR );
    color.start();
    puts( "Camera ok" );
    depth.create( device, SENSOR_DEPTH );
    depth.start();
    puts( "Depth sensor ok" );
    VideoMode paramvideo;
    paramvideo.setResolution( 640, 480 );
    paramvideo.setFps( 30 );
    paramvideo.setPixelFormat( PIXEL_FORMAT_DEPTH_100_UM );
    depth.setVideoMode( paramvideo );
    paramvideo.setPixelFormat( PIXEL_FORMAT_RGB888 );
    color.setVideoMode( paramvideo );
    puts( "Réglages des flux vidéos ok" );

    // If the depth/color synchronisation is not necessary, start is faster :
    //device.setDepthColorSyncEnabled( false );

    // Otherwise, the streams can be synchronized with a reception in the order of our choice :
    device.setDepthColorSyncEnabled( true );
    device.setImageRegistrationMode( openni::IMAGE_REGISTRATION_DEPTH_TO_COLOR );

    VideoStream** stream = new VideoStream*[2];
    stream[0] = &depth;
    stream[1] = &color;
    puts( "Kinect initialization completed" );


    if ( device.getSensorInfo( SENSOR_DEPTH ) != NULL )
    {
        VideoFrameRef depthFrame, colorFrame;
        cv::Mat colorcv( cv::Size( 640, 480 ), CV_8UC3, NULL );
        cv::Mat depthcv( cv::Size( 640, 480 ), CV_16UC1, NULL );
        cv::namedWindow( "RGB", CV_WINDOW_AUTOSIZE );
        cv::namedWindow( "Depth", CV_WINDOW_AUTOSIZE );

        int changedIndex;
        while( device.isValid() )
        {
            OpenNI::waitForAnyStream( stream, 2, &changedIndex );
            switch ( changedIndex )
            {
                case 0:
                    depth.readFrame( &depthFrame );

                    if ( depthFrame.isValid() )
                    {
                        depthcv.data = (uchar*) depthFrame.getData();
                        cv::imshow( "Depth", depthcv );
                    }
                    break;

                case 1:
                    color.readFrame( &colorFrame );

                    if ( colorFrame.isValid() )
                    {
                        colorcv.data = (uchar*) colorFrame.getData();
                        cv::cvtColor( colorcv, colorcv, CV_BGR2RGB );
                        cv::imshow( "RGB", colorcv );
                    }
                    break;

                default:
                    puts( "Error retrieving a stream" );
            }
            cv::waitKey( 1 );
        }

        cv::destroyWindow( "RGB" );
        cv::destroyWindow( "Depth" );
    }
    depth.stop();
    depth.destroy();
    color.stop();
    color.destroy();
    device.close();
    OpenNI::shutdown();
}

我们在上面添加了一些代码并从中获取了 RGB 和深度垫，然后我们使用 OpenCV 处理了 RGB。

现在我们需要以 3D 形式显示该图像。

我们正在使用:-

1) Windows 8 x64

2) Visual Studio 2012 x64

3) OpenCV 2.4.10

4) OpenNI 2.2.0.33

5) Kinect1

6) Kinect SDK 1.8.0

问题:-

1) 我们可以使用 OpenCV 直接显示此图像还是我们需要任何外部库？？

2) 如果我们需要使用外部库，对于这个简单的 OpenGL 任务，哪个更好，PCL 或任何其他 ??

3) PCL 是否支持 Visual Studio 12 和 OpenNI2 并且由于 PCL 与其他版本的 OpenNI 一起打包，这两个版本是否冲突？？

Answer 1

我还没有用 OpenNI 和 OpenCV 做过这个，但我希望我能帮助你。所以首先回答你的前两个问题：

可能是的，据我了解，您想要可视化 3D 点云。 OpenCV 只是一个图像处理库，你需要一个 3D 渲染库来做你想做的事。
我使用过 OpenSceneGraph 并会推荐它。但是，您也可以使用 OpenGL 或 Direct X。

如果您只想可视化点云，例如 Kinect Studio 的“3D 视图”，则不需要 PCL，因为这对于这项简单的工作来说太多了。

执行此任务的基本思想是创建与图像上的像素数相同的 3D 四边形。例如，如果您的分辨率为 640x480，则需要 640*480 四边形。根据彩色图像的像素值，每个四边形将具有相应像素的颜色。然后，您将根据深度图像的值在 Z 轴上来回移动这些四边形。这可以使用现代 OpenGL 来完成，或者如果您觉得使用 C++ 更舒服，可以使用 OpenSceneGraph（它也基于 OpenGL）。

你必须注意两件事：

即使在现代计算机上绘制如此多的四边形也会很慢。您需要阅读 "instanced rendering" 才能在单个 GPU 绘制调用中渲染大量对象实例（在我们的例子中是四边形）。这可以使用顶点着色器来完成。
由于Kinect的RGB和Depth camera的物理位置不同，所以需要对两者进行校准。官方Kinect SDK中有这个功能，但是我不知道OpenNI。

如果您决定使用 OpenGL 执行此操作，如果您不熟悉 GPU 管道，我建议您阅读它。这将帮助您在使用顶点着色器时节省大量时间。

Answer 2

为了完善南极人的回答，要以 3D 形式显示图像，您需要先创建点云... RGB 和深度图像为您提供创建有组织的彩色点云所需的数据。为此，您需要计算每个点的 x、y、z 值。 z值来自于深度像素，但是x和y必须计算出来。

要做到这一点，您可以这样做：

void Viewer::get_pcl(cv::Mat& color_mat, cv::Mat& depth_mat, pcl::PointCloud<pcl::PointXYZRGBA>& cloud ){
    float x,y,z;

    for (int j = 0; j< depth_mat.rows; j ++){
        for(int i = 0; i < depth_mat.cols; i++){
            // the RGB data is created
            PCD_BGRA   pcd_BGRA;
                       pcd_BGRA.B  = color_mat.at<cv::Vec3b>(j,i)[0];
                       pcd_BGRA.R  = color_mat.at<cv::Vec3b>(j,i)[2];
                       pcd_BGRA.G  = color_mat.at<cv::Vec3b>(j,i)[1];
                       pcd_BGRA.A  = 0;

            pcl::PointXYZRGBA vertex;
            int depth_value = (int) depth_mat.at<unsigned short>(j,i);
            // find the world coordinates
            openni::CoordinateConverter::convertDepthToWorld(depth, i, j, (openni::DepthPixel) depth_mat.at<unsigned short>(j,i), &x, &y,&z );

            // the point is created with depth and color data
            if ( limitx_min <= i && limitx_max >=i && limity_min <= j && limity_max >= j && depth_value != 0 && depth_value <= limitz_max && depth_value >= limitz_min){
                vertex.x   = (float) x;
                vertex.y   = (float) y;
                vertex.z   = (float) depth_value;
            } else {
                // if the data is outside the boundaries
                vertex.x   = bad_point;
                vertex.y   = bad_point;
                vertex.z   = bad_point;
            }
            vertex.rgb = pcd_BGRA.RGB_float;

            // the point is pushed back in the cloud
            cloud.points.push_back( vertex );
        }
    }
}

并且PCD_BGRA是

union PCD_BGRA
{
    struct
    {
        uchar B; // LSB
        uchar G; // ---
        uchar R; // MSB
        uchar A; //
    };
    float RGB_float;
    uint  RGB_uint;
};

当然，这是针对你要使用PCL的情况，但或多或少是对x,y,z值的计算。这依赖于 openni::CoordinateConverter::convertDepthToWorld 来找到点在 3D 中的位置。您也可以手动执行此操作

 const float invfocalLength = 1.f / 525.f;
 const float centerX = 319.5f;
 const float centerY = 239.5f;
 const float factor = 1.f / 1000.f;

 float dist = factor * (float)(*depthdata);
 p.x = (x-centerX) * dist * invfocalLength;
 p.y = (y-centerY) * dist * invfocalLength;
 p.z = dist;

其中 centerX、centerY 和 cocallength 是相机的固有校准（这是针对 Kinect 的）。以及如果您需要以米或毫米为单位的距离...这个值取决于您的程序

问题：

是的，您可以使用最新的 OpenCV 和 viz class 或其他适合您需要的外部库来显示它。
OpenGl 很好，但是如果您不知道如何使用它们（我的意思是显示点云），PCL（或 OpenCV）更容易使用
我还没有在 windows 上使用它，但理论上它可以在 visual studio 2012 上使用。据我所知，PCL 附带的版本是OpenNI 1，不会影响OpenNI2...

当我们在 OpenCV 中有深度和 rgb 垫时如何显示 3D 图像（从 Kinect 捕获）

How to Display a 3D image when we have Depth and rgb Mat's in OpenCV (captured from Kinect)

opencv

opengl

kinect

openni

point-cloud-library