在 ARCore 中访问图像数据字节

Question

我创建了一个 ARCore Session and attached an OpenGL texture id through the Session#setCameraTextureName 方法来显示我的相机数据。我想访问显示在纹理上的相机图像数据字节。

ARKit and Tango 提供对每个帧的图像字节的访问，但似乎没有任何东西可以在 ARCore API 中轻松提供。

在使用 ARCore 时，还有其他方法可以访问图像字节吗？

Answer 1

目前，访问图像数据的最佳方法可能是将纹理绘制到渲染缓冲区，然后使用 glReadPixels 进入持久映射像素解包缓冲区。使用栅栏同步检测 glReadPixels 何时完成。

另一种选择是使用计算着色器并直接写入 ~~持久映射~~ SSBO。 （忽略持久映射建议。我认为 EXT_buffer_storage 有更广泛的支持）

后者可能副本较少（即使在 glReadPixels 之后使渲染缓冲区像素无效，渲染缓冲区像素仍可能命中 DRAM），但它也是一个不太常见的代码路径并导致 render/compute 转换，所以我不没有关于哪种方法更有效的直觉。

Answer 2

也许这可以帮助你我想以位图形式获取相机视图。我已经在三星 s8 上测试过。

    int w=1080;
    int h = 2220;
    int b[]=new int[w*(0+h)];
    int bt[]=new int[w*h];
    IntBuffer ib = IntBuffer.wrap(b);
    ib.position(0);
    GLES20.glReadPixels(0, 0, w, h, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, ib);

    for(int i=0, k=0; i<h; i++, k++)
    {//remember, that OpenGL bitmap is incompatible with Android bitmap
        //and so, some correction need.
        for(int j=0; j<w; j++)
        {
            int pix=b[i*w+j];
            int pb=(pix>>16)&0xff;
            int pr=(pix<<16)&0x00ff0000;
            int pix1=(pix&0xff00ff00) | pr | pb;
            bt[(h-k-1)*w+j]=pix1;
        }
    }

    sb=Bitmap.createBitmap(bt, w, h, Bitmap.Config.ARGB_8888);

Answer 3

从 ARCore v1.1.0 开始，有一个 API 来访问当前帧的图像字节：

https://developers.google.com/ar/reference/java/com/google/ar/core/Frame.html#acquireCameraImage()

在 ARCore 中访问图像数据字节

Accessing Image Data Bytes in ARCore

java

android

arcore