将 PIL 图像转换为 VIPS 图像

Question

我正在使用 Vips 图像库处理一些大型组织学图像。与图像一起，我有一个带坐标的数组。我想制作一个二进制蒙版，它屏蔽掉坐标创建的多边形内的图像部分。我首先尝试使用 vips 绘制函数来执行此操作，但这非常低效并且需要很长时间（在我的真实代码中，图像大约为 100000 x 100000 像素，多边形数组非常大）。

然后我尝试使用 PIL 创建二进制掩码，效果很好。我的问题是将 PIL 图像转换为 vips 图像。它们都必须是 vips 图像才能使用 multiply-command。我还想从内存中写入和读取，因为我相信这比写入磁盘更快。

在 im_PIL.save(memory_area,'TIFF') 命令中，我必须指定图像格式，但由于我正在创建新图像，所以我不确定在此处放什么。

Vips.Image.new_from_memory(..)命令returns：TypeError: constructor returned NULL

from gi.overrides import Vips
from PIL import Image, ImageDraw
import io

# Load the image into a Vips-image
im_vips = Vips.Image.new_from_file('images/image.tif')

# Coordinates for my mask
polygon_array = [(368, 116), (247, 174), (329, 222), (475, 129), (368, 116)]

# Making a new PIL image of only 1's
im_PIL = Image.new('L', (im_vips.width, im_vips.height), 1)

# Draw polygon to the PIL image filling the polygon area with 0's
ImageDraw.Draw(im_PIL).polygon(polygon_array, outline=1, fill=0)

# Write the PIL image to memory ??
memory_area = io.BytesIO()
im_PIL.save(memory_area,'TIFF')
memory_area.seek(0)

# Read the PIL image from memory into a Vips-image
im_mask_from_memory = Vips.Image.new_from_memory(memory_area.getvalue(), im_vips.width, im_vips.height, im_vips.bands, im_vips.format)

# Close the memory buffer ?
memory_area.close()

# Apply the mask with the image
im_finished = im_vips.multiply(im_mask_from_memory)

# Save image
im_finished.tiffsave('mask.tif')

Answer 1

您正在以 TIFF 格式从 PIL 保存，但随后使用 vips new_from_memory 构造函数，它需要一个简单的 C 像素值数组。

最简单的修复方法是改用 new_from_buffer，它将加载某种格式的图像，从字符串中嗅探格式。像这样更改程序的中间部分：

# Write the PIL image to memory in TIFF format
memory_area = io.BytesIO()
im_PIL.save(memory_area,'TIFF')
image_str = memory_area.getvalue()

# Read the PIL image from memory into a Vips-image
im_mask_from_memory = Vips.Image.new_from_buffer(image_str, "")

它应该可以工作。

对两个 8 位 uchar 图像的 vips multiply 操作将生成一个 16 位 uchar 图像，它看起来很暗，因为数值范围是 0 - 255。你可以投射它在保存之前再次返回 uchar（将 .cast("uchar") 附加到相乘行），或者使用 255 而不是 1 作为 PIL 掩码。

您还可以将图像作为简单的字节数组从 PIL 移动到 VIPS。它可能会稍微快一些。

没错，vips 中的 draw 操作不适用于 Python 中的非常大的图像。在 vips 中写一个东西从一组点制作任意大小的蒙版图像并不难（只需将很多 && 和 < 与通常的缠绕规则组合起来），但是使用 PIL 肯定是更简单。

您也可以考虑将多边形蒙版作为 SVG 图像。 libvips 可以有效地加载非常大的 SVG 图像（它根据需要呈现部分），因此您只需将其放大到光栅图像所需的任何大小即可。

将 PIL 图像转换为 VIPS 图像

Converting PIL image to VIPS image

bytesio

python-imaging-library

vips