如何使用 OpenCV 将 RGBA 图像叠加在 RGB 图像之上

Question

我有两张图像 (CV_8UC3) 和一个蒙版 (CV_8UC1)，它们的大小都相同，我想将蒙版应用到其中一张图像上并将其放在另一个：

const cv = require('opencv4nodejs');

const bg = cv.imread('./bg.jpg').cvtColor(cv.COLOR_RGB2RGBA);
//Loading the foreground image in RGB
const fg = cv.imread('./fg.jpg');
//Generating the mask with only one channel
const mask = cv.imread('./mask.jpg').cvtColor(cv.COLOR_RGB2GRAY);

const fgChannels = fg.split();
fgChannels.push(mask);
const maskedFg = new cv.Mat(fgChannels);

const output = cv.addWeighted(bg, 1, maskedFg, 1, 0).cvtColor(cv.COLOR_RGBA2RGB);
cv.imwrite('./output.jpg', output);

这是它的工作原理。首先是 bg.jpg 文件：

然后 fg.jpg 文件：

mask.jpg 文件：

最后，output.jpg 文件：

我的输出问题是我不希望看到背景图像的任何部分，除非它们在隧道开口下方。有人可以帮我找到解决方案吗？

Answer 1

你到底想达到什么目的？仅将 bg 的屏蔽部分添加到 fg 或在此之前删除 fg 上的屏蔽部分？我觉得你没有正确敷面膜。

以下方法应该适用于应用面具：

如果掩码是二进制的：将 bitwise_and 与 bg 和掩码一起使用
如果蒙版需要灰度：使用element-wise乘法

生成的 masked_bg 将仅包含图像的蒙版部分。另请注意 output.jpg 太亮，因为您只是将两个图像叠加在一起。您可以将每个权重更改为 0.5，或者确保两个图像的彩色部分永远不会重叠。

Answer 2

显然，OpenCV 没有直接执行此操作的函数。相反，你必须使用函数的组合来做到这一点：

const cv = require('opencv4nodejs');

const bg = cv.imread('./bg.jpg').convertTo(cv.CV_32FC3, 1.0 / 255);
const fg = cv.imread('./fg.jpg').convertTo(cv.CV_32FC3, 1.0 / 255);
const mask = cv.imread('./mask.jpg').convertTo(cv.CV_32FC3, 1.0 / 255);
const allOnes = new cv.Mat(mask.rows, mask.cols, cv.CV_32FC3, [1.0, 1.0, 1.0]);

const invMask = allOnes.sub(mask);
const output = mask.hMul(fg).add(invMask.hMul(bg));
cv.imwrite('./output.jpg', output);

如何使用 OpenCV 将 RGBA 图像叠加在 RGB 图像之上

How to overlay an RGBA image on top of an RGB using OpenCV

opencv

mask