libav sws_scale() 在真实设备上无法进行色彩空间转换，但可以在模拟器上运行

Question

我正在用 libav 制作电影播放器。我有解码视频包的工作，我有反向工作，我有寻找工作。所有这些都不适用于 x86 android 模拟器，但无法在真正的 android phone (arm64-v8a)

上运行

故障在 sws_scale() - 它 returns 0。视频帧继续正确解码，没有错误。

没有来自 libav 的错误、警告和警报。我已连接 avlog_callback

void log_callback(void *ptr, int level, const char *fmt, va_list vargs) {
    if (level<= AV_LOG_WARNING)
        __android_log_print( level, LOG_TAG, fmt, vargs);
}
uint64_t openMovie( char* path, int rotate, float javaDuration )
{
    av_log_set_level(AV_LOG_WARNING);
    av_log_set_callback(log_callback);

执行 sws_scale() 的代码是：

int JVM_getBitmapBuffer( JNIEnv* env, jobject thiz, jlong av, jobject bufferAsInt, jbyte transparent ) { 
    avblock *block = (avblock *) av;
    if (!block) {
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  avblock is null");
        return AVERROR(EINVAL);
    }
    if (!block->pCodecCtx) {
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  codecctx is null");
        return AVERROR(EINVAL);
    }

    int width = block->pCodecCtx->width;
    int height = block->pCodecCtx->height;

    if (NULL == block->sws) {
        __android_log_print( ANDROID_LOG_ERROR, LOG_TAG, "getBitmapBuffer:\n  *** invalid sws context ***" );
    }

    int scaleRet = sws_scale( block->sws,
            block->pFrame->data,
            block->pFrame->linesize,
            0,
            height,
            block->pFrameRGB->data,
            block->pFrameRGB->linesize
    );
    if (scaleRet == 0 ) {
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  scale failed");
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  pframe linesize    %d", block->pFrame->linesize[0]); 
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  pframergb linesize %d", block->pFrameRGB->linesize[0]); 
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  height  %d",
        height);
        return AVERROR(EINVAL);
    }

设置 codex 和 avframes：

//i have tried every combination of 1, 8, 16, and 32 for these values
int alignRGB = 32;
int align    = 16; 
int width    = block->pCodecCtx->width;
int height   = block->pCodecCtx->height;
block->pFrame    = av_frame_alloc();
block->pFrameRGB = av_frame_alloc();

block->pFrameRGBBuffer = av_malloc(
    (size_t)av_image_get_buffer_size(AV_PIX_FMT_RGB32, width, height, alignRGB) 
);

av_image_fill_arrays(
    block->pFrameRGB->data,
    block->pFrameRGB->linesize,
    block->pFrameRGBBuffer,
    AV_PIX_FMT_RGB32,
    width,
    height,
    alignRGB
);

block->pFrameBuffer = av_malloc(
        (size_t) av_image_get_buffer_size(block->pCodecCtx->pix_fmt,
                                          width, height, align
        )
);
av_image_fill_arrays(
    block->pFrame->data,
    block->pFrame->linesize,
    block->pFrameBuffer,
    block->pCodecCtx->pix_fmt,
    width, height,
    align
);
block->sws = sws_getContext(
    width, height,
    AV_PIX_FMT_YUV420P,
    width, height,
    AV_PIX_FMT_RGB32,
    SWS_BILINEAR, NULL, NULL, 0
);

通配符是：

我正在使用 React-Native
我的模拟器是x86 android api 28
我的真机是arm64-v8a AOSP（api28左右，记不太清了（

其他说明：

libav .so 文件是从 mobile-ffmpeg 项目编译的。
我也可以 sws_scale 也可以 x86_64 linux 使用 SDL 投影 YV12
测试视频在这里：https://github.com/markkimsal/video-thumbnailer/tree/master/fixtures
block 是一个简单的 C 结构，带有指向相关 AV 内存结构的指针。
使用 FFMPEG 4.3.2

我很确定它与像素对齐有关。但是关于这个主题的文档实际上是不存在的。这也可能是像素格式 RGBA 和 RGB32 之间的差异，或者可能是小端与大端之间的差异。

Answer 1

这是 ARM 架构上 FFMPEG 中的一个已知错误。

mythtv 发布了一个解决方法，其中涉及从目标宽度中减去 1 以绕过损坏的优化代码。

https://code.mythtv.org/trac/ticket/12888

https://code.mythtv.org/trac/changeset/7de03a90c1b144fc0067261af1c9cfdd8d358972/mythtv

针对 FFMPEG 3.2.1 报告 http://trac.ffmpeg.org/ticket/6192

FFMPEG 4.3.2 中仍然存在

    int new_width = width;
#if ARCH_ARM
    // The ARM build of FFMPEG has a bug that if sws_scale is
    // called with source and dest sizes the same, and
    // formats as shown below, it causes a bus error and the
    // application core dumps. To avoid this I make a -1
    // difference in the new width, causing it to bypass
    // the code optimization which is failing.
    if (pix_fmt == AV_PIX_FMT_YUV420P
      && dst_pix_fmt == AV_PIX_FMT_BGRA)
        new_width = width - 1;
#endif
    d->swsctx = sws_getCachedContext(d->swsctx, width, height, pix_fmt,
                                     new_width, height, dst_pix_fmt,
                                     SWS_FAST_BILINEAR, NULL, NULL, NULL);

更新：

使用 --debug 选项构建 mobile-ffmpeg 4.3.2 生成工作二进制文件。

更新 2：

--debug 标志似乎不再起作用。一定是一些不干净的建筑。这似乎与 alpha 通道有关。

Android.Bitmap.Config 和 ffmpeg 都支持的唯一 non-alpha RGB 格式是 RGB_565。使用 565 适用于偶数编号的目标宽度。

在libswscale/yuv2rgb.c中：

SwsFunc ff_yuv2rgb_get_ptr(SwsContext *c) {
   ...
   switch(c->dstFormat) {
   case AV_PIX_FMT_RGBA:
       return (CONFIG_SWSCALE_ALPHA & isALPHA(c->srcFormat)) ? yuva2rgb_c: yuv2rgb_c_32;
   ....
   case AV_PIX_FMT_RGB565:
       return yuv2rgb_c_16_ordered_dither;
   ...

我的源是 YUV420P，不支持 alpha 通道（比如 yuv A 420p）。当我的目标格式是RGB565时，这个方法似乎没有任何问题。

很遗憾我无法为 Android 制作任何 alpha 通道。我想真正的答案是只使用 OpenGL 并使用直接支持 blitting YUV 的表面。

更新 3

我在 libswscale/swscale_unscaled.c 和 libswscale/yuv2rgb.c

中找到了代码路径

如果缩放输出，则可以转换为 RGBA 目标格式。

如果您将标志 SWS_ACCURATE_RND 添加到您的 SwsContext，那么您还可以避免错误的代码路径。

libav sws_scale() 在真实设备上无法进行色彩空间转换，但可以在模拟器上运行

libav sws_scale() fails colorspace conversion on real device, works on emulator

android

ffmpeg

libav

swscale

更新：

更新 2：

更新 3