使用 Android Camera2 api 和 ANativeWindow 进行实时图像处理和显示

Question

我需要用相机预览数据做一些实时图像处理，比如人脸检测，这是一个c++库，然后在屏幕上显示处理过的带有人脸标签的预览。

我已阅读http://nezarobot.blogspot.com/2016/03/android-surfacetexture-camera2-opencv.html and Eddy Talvala's answer from 。在这两个网页之后，我设法构建了应用程序（没有调用人脸检测库，只尝试使用 ANativeWindow 显示预览），但每次我运行这个应用程序在 Google Pixel - 7.1.0 - API 25 运行在 Genymotion 上，应用程序总是崩溃并抛出以下日志

08-28 14:23:09.598 2099-2127/tau.camera2demo A/libc: Fatal signal 11 (SIGSEGV), code 2, fault addr 0xd3a96000 in tid 2127 (CAMERA2)
                  [ 08-28 14:23:09.599   117:  117 W/         ]
                  debuggerd: handling request: pid=2099 uid=10067 gid=10067 tid=2127

我用谷歌搜索了这个，但没有找到答案。

Github上的整个项目：https://github.com/Fung-yuantao/android-camera2demo

这是关键代码（我认为）。

Camera2Demo.java中的代码：

private void startPreview(CameraDevice camera) throws CameraAccessException {
    SurfaceTexture texture = mPreviewView.getSurfaceTexture();

    // to set PREVIEW size
    texture.setDefaultBufferSize(mPreviewSize.getWidth(),mPreviewSize.getHeight());
    surface = new Surface(texture);
    try {
        // to set request for PREVIEW
        mPreviewBuilder = camera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }

    mImageReader = ImageReader.newInstance(mImageWidth, mImageHeight, ImageFormat.YUV_420_888, 2);

    mImageReader.setOnImageAvailableListener(mOnImageAvailableListener,mHandler);

    mPreviewBuilder.addTarget(mImageReader.getSurface());

    //output Surface
    List<Surface> outputSurfaces = new ArrayList<>();
    outputSurfaces.add(mImageReader.getSurface());

    /*camera.createCaptureSession(
            Arrays.asList(surface, mImageReader.getSurface()),
            mSessionStateCallback, mHandler);
            */
    camera.createCaptureSession(outputSurfaces, mSessionStateCallback, mHandler);
}


private CameraCaptureSession.StateCallback mSessionStateCallback = new CameraCaptureSession.StateCallback() {

    @Override
    public void onConfigured(CameraCaptureSession session) {
        try {
            updatePreview(session);
        } catch (CameraAccessException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void onConfigureFailed(CameraCaptureSession session) {

    }
};

private void updatePreview(CameraCaptureSession session)
        throws CameraAccessException {
    mPreviewBuilder.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_AUTO);

    session.setRepeatingRequest(mPreviewBuilder.build(), null, mHandler);
}


private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {

    @Override
    public void onImageAvailable(ImageReader reader) {
        // get the newest frame
        Image image = reader.acquireNextImage();

        if (image == null) {
            return;
        }

        // print image format
        int format = reader.getImageFormat();
        Log.d(TAG, "the format of captured frame: " + format);

        // HERE to call jni methods
        JNIUtils.display(image.getWidth(), image.getHeight(), image.getPlanes()[0].getBuffer(), surface);


        //ByteBuffer buffer = image.getPlanes()[0].getBuffer();
        //byte[] bytes = new byte[buffer.remaining()];


        image.close();
    }
};

JNIUtils.java中的代码：

import android.media.Image;
import android.view.Surface;

import java.nio.ByteBuffer;


public class JNIUtils {
    // TAG for JNIUtils class
    private static final String TAG = "JNIUtils";

    // Load native library.
    static {
        System.loadLibrary("native-lib");
    }

    public static native void display(int srcWidth, int srcHeight, ByteBuffer srcBuffer, Surface surface);
}

原生代码-lib.cpp:

#include <jni.h>
#include <string>
#include <android/log.h>
//#include <android/bitmap.h>
#include <android/native_window_jni.h>

#define LOGE(...) __android_log_print(ANDROID_LOG_ERROR, "Camera2Demo", __VA_ARGS__)

extern "C" {
JNIEXPORT jstring JNICALL Java_tau_camera2demo_JNIUtils_display(
        JNIEnv *env,
        jobject obj,
        jint srcWidth,
        jint srcHeight,
        jobject srcBuffer,
        jobject surface) {
    /*
    uint8_t *srcLumaPtr = reinterpret_cast<uint8_t *>(env->GetDirectBufferAddress(srcBuffer));

    if (srcLumaPtr == nullptr) {
        LOGE("srcLumaPtr null ERROR!");
        return NULL;
    }
    */

    ANativeWindow * window = ANativeWindow_fromSurface(env, surface);
    ANativeWindow_acquire(window);

    ANativeWindow_Buffer buffer;

    ANativeWindow_setBuffersGeometry(window, srcWidth, srcHeight, 0/* format unchanged */);

    if (int32_t err = ANativeWindow_lock(window, &buffer, NULL)) {
        LOGE("ANativeWindow_lock failed with error code: %d\n", err);
        ANativeWindow_release(window);
        return NULL;
    }

    memcpy(buffer.bits, srcBuffer,  srcWidth * srcHeight * 4);


    ANativeWindow_unlockAndPost(window);
    ANativeWindow_release(window);

    return NULL;
}
}

我把memcpy注释掉后，应用不再崩溃，但什么都不显示。所以我想问题现在转向 如何正确使用 memcpy 将 captured/processed 缓冲区复制到 buffer.bits.

更新：

我改

memcpy(buffer.bits, srcBuffer, srcWidth * srcHeight * 4);

至

memcpy(buffer.bits, srcLumaPtr, srcWidth * srcHeight * 4);

应用程序不再折叠并开始显示，但它显示了一些奇怪的东西。

Answer 1

只是把它作为一个答案，以避免一长串的评论——这样的崩溃问题可能是由于 memcpy 复制的咬合大小不正确（在其他评论之后更新：在这种情况下，它是由于禁止直接复制）。

如果您现在得到一张奇怪的图像，那可能是另一个问题 - 我会怀疑图像格式，请尝试修改它。

Answer 2

正如 yakobom 所提到的，您正在尝试将 YUV_420_888 图像直接复制到 RGBA_8888 目的地（这是默认设置，如果您没有更改的话）。仅使用 memcpy 是行不通的。

您需要实际转换数据，并且需要确保您不会复制太多 - 您拥有的示例代码复制 width*height*4 字节，而 YUV_420_888 图像只占用stride*height*1.5 字节（大约）。因此，当您复制时，您运行远离缓冲区的末尾。

您还必须考虑 Java 级别提供的步幅以正确索引到缓冲区。 This link 来自 Microsoft 的图表很有用。

如果您只关心亮度（所以灰度输出就足够了），只需将亮度通道复制到 R、G 和 B 通道即可。伪代码大致是：

uint8_t *outPtr = buffer.bits;
for (size_t y = 0; y < height; y++) {
   uint8_t *rowPtr = srcLumaPtr + y * srcLumaStride;
   for (size_t x = 0; x < width; x++) {
      *(outPtr++) = *rowPtr;
      *(outPtr++) = *rowPtr;
      *(outPtr++) = *rowPtr;
      *(outPtr++) = 255; // gamma for RGBA_8888
      ++rowPtr;
    }
}

您需要从 Image 对象（第一个平面的行跨度）读取 srcLumaStride，并通过 JNI 将其传递下去。

使用 Android Camera2 api 和 ANativeWindow 进行实时图像处理和显示

Real-time image process and display using Android Camera2 api and ANativeWindow

android

android-ndk

android-camera2