如何将原始 YUV 图像转换为 jpg

Question

我有一张原始图像，是在相机设置如下后 v4l2-ctl 拍摄的：

# media-ctl -d /dev/media0 -l "'rzg2l_csi2 10830400.csi2':1 -> 'CRU output':0 [1]"
# media-ctl -d /dev/media0 -V "'rzg2l_csi2 10830400.csi2':1 [fmt:UYVY8_2X8/1280x960 field:none]"
# media-ctl -d /dev/media0 -V "'ov5645 0-003c':0 [fmt:UYVY8_2X8/1280x960 field:none]"

然后照片被拍了下来：

# v4l2-ctl --device /dev/video0 --stream-mmap --stream-to=frame.raw --stream-count=1

现在我尝试了多种方法将其转换为 jpeg，但似乎没有产生预期的输出

原始文件可以在这里下载：https://drive.google.com/file/d/1VqXnrJDYbzdtSsWfTlm2mX9rl1-Rl_7F/view?usp=sharing

我尝试了以下命令：

convert -verbose -size 1280x960 UYVY:frame.raw frame.bmp

我在

上找到的

但这并不能解决问题

Answer 1

你的框架是 2457600 字节，你的像素尺寸是 1280x960，所以你有：

bits per pixel = 2457600 * 8 / (1280 * 960) = 16

您可以获得 ffmpeg 支持的像素格式列表：

ffmpeg -pix_fmts 2> /dev/null

示例输出

FLAGS NAME            NB_COMPONENTS BITS_PER_PIXEL
-----
IO... yuv420p                3            12
IO... yuyv422                3            16
IO... rgb24                  3            24
IO... bgr24                  3            24
IO... yuv422p                3            16
IO... yuv444p                3            24
IO... yuv410p                3             9
...
...

这意味着您可以获得包含 Y、U 和 V 的像素格式列表，每个像素 16 位，如下所示：

ffmpeg -pix_fmts 2> /dev/null | awk '/y/ && /u/ && /16$/ {print}'  

IO... yuyv422                3            16
IO... yuv422p                3            16
IO... yuvj422p               3            16
IO... uyvy422                3            16
IO... yuv440p                3            16
IO... yuvj440p               3            16
IO... yvyu422                3            16

现在您可以运行一个循环，遍历所有每像素 16 位的 YUV 格式并查看 ffmpeg 对您的图像的影响 - 以格式命名每个结果以便您可以识别这是哪个：

ffmpeg -pix_fmts 2> /dev/null | 
   awk '/y/ && /u/ && /16$/ {print }' | 
      while read f; do 
         ffmpeg -y -s:v 1280x960 -pix_fmt $f -i frame.raw $f.jpg
      done

这会为您提供这些文件：

-rw-r--r--  1 mark  staff  304916  3 Feb 09:38 yuv440p.jpg
-rw-r--r--  1 mark  staff  227123  3 Feb 09:38 yuvj422p.jpg
-rw-r--r--  1 mark  staff   39543  3 Feb 09:38 yuyv422.jpg
-rw-r--r--  1 mark  staff   39545  3 Feb 09:38 yvyu422.jpg

我猜 yuyv422.jpg 是您的图像，所以这意味着您可以使用以下方法提取它：

ffmpeg -y -s:v 1280x960 -pix_fmt yuyv422 -i frame.raw result.jpg

如果你想用 ImageMagick 做到这一点，你可以这样做：

#!/bin/bash

python3 <<EOF
import numpy as np
h, w = 960, 1280

# Load raw file into Numpy array
raw = np.fromfile('frame.raw', np.uint8)
raw[0::2].tofile('Y')     # Starting at the 1st byte, write every 2nd byte to file "Y"
raw[1::4].tofile('U')     # Starting at the 2nd byte, write every 4th byte to file "U"
raw[3::4].tofile('V')     # Starting at the 3rd byte, write every 4th byte to file "V"
EOF

# Load the Y channel, then the U and V channels forcibly resizing them, then combine and go to sRGB
magick -depth 8 -size 1280x960 gray:Y \
  \( -size 640x960 gray:U gray:V -resize 1280x960\! \) \
  -set colorspace YUV -combine -colorspace sRGB result.jpg

如果你不 like/have Python，那部分可以用一些基本的 C 替换，如下所示：

#include <stdint.h>
#include <stdio.h>

// Split YUYV file called "frame.raw" into separate channels with filenames "Y", "U" and "V"
// Compile with: clang -O3 splitter.c -o splitter

int main(){

   FILE    *in, *Y, *U, *V;
   uint8_t buffer[4];
   size_t  bytesRead;

   // Open input file and 1 output file per channel
   in = fopen("frame.raw", "rb");   
   Y  = fopen("Y", "wb");   
   U  = fopen("U", "wb");   
   V  = fopen("V", "wb");   

   // read up to sizeof(buffer) bytes
   while ((bytesRead = fread(buffer, 1, sizeof(buffer), in)) > 0)
   {
      fputc(buffer[0], Y);
      fputc(buffer[1], U);
      fputc(buffer[2], Y);
      fputc(buffer[3], V);
   }
}

在 ffmpeg、Python 和 C 版本中玩得很开心，我想我会尝试这样做在 shell - 将字节转换为行，因此我可以选择备用行而不是备用字节。这与上面的工作原理相同：

#!/bin/bash

# Build JPEG image from YUYV image with packed bytes in order YUYVYUYV...
# Use "xxd" to convert bytes into lines, then extract alternate lines - which is easier than extracting bytes

H=960
W=1280
INPUT="frame.raw"

# Take top byte of every uint16 and put into "Y.pgm"
xxd -c1 -p "$INPUT" | sed -n 'p;n' | xxd -r -p | magick -size ${W}x${H} -depth 8 gray:- Y.pgm

# Take bottom byte of every 2nd uint16, starting at the 1st, resize up to full width and put into "U.pgm"
xxd -c1 -p "$INPUT" | sed -n 'n;p' | sed -n 'p;n' | xxd -r -p | magick -size $((W/2))x${H} -depth 8 gray:- -resize ${W}x${H}\! U.pgm

# Take bottom byte of every 2nd uint16, starting at the 2nd, resize up to full width and put into "V.pgm"
xxd -c1 -p "$INPUT" | sed -n 'n;p' | sed -n 'n;p' | xxd -r -p | magick -size $((W/2))x${H} -depth 8 gray:- -resize ${W}x${H}\! V.pgm

# Load the 3 channels, combine and convert to JPEG
magick {Y,U,V}.pgm -set colorspace YUV -combine -colorspace sRGB result.jpg

# Remove litter
rm {Y,U,V}.pgm

关于色偏去除，正如我在评论中所说，“正常” 方式，AFAIK，是获取图像的平均颜色然后反转其色相将 “negated cast” 与原始图像混合以抵消原始偏色。这是一个粗略的尝试 - 如果有人知道更好，请 ping 我！

第 1 步：获取平均色偏

magick result.jpg -resize 1x1\! cast.png

第 2 步：反转转换

magick cast.png -modulate 100,100,0 correction.png

第 3 步：将原始图像与校正后的图像混合并调亮

magick result.jpg correction.png -define compose:args=50,50 -compose blend -composite -auto-level result.jpg

以下是原始版本和更正版本：

显然，您可以更改不同程度的 “修正”.

的百分比

如何将原始 YUV 图像转换为 jpg

How to convert raw YUV image to jpg

linux

camera

image

yuv

type-conversion