为什么相同的图像（编辑：PNG）在 Java 中产生两个略有不同的字节数组？

Question

我正在编写一个简单的应用程序，其中一个功能是能够将对象序列化为图像，以便用户可以共享其项目的照片，其中嵌入了构建说明。目前，其他用户可以将图像拖放到 JavaFX ListView 中，侦听器将执行一些代码来解码和解析嵌入的 JSON.

如果图像存储在本地，这很好用，但我还希望允许用户从浏览器拖放图像，而不必先将它们保存在本地。为了测试这一点，我在基本 HTML 文件中链接了一个工作图像，以便我可以在 Chrome 中渲染它。

最初我使用的是从 Dragboard 获取的文件的路径，但是当图像来自浏览器时我需要（我认为）能够直接接受图像，因此重载了 decode() 方法下面。

我遇到的问题是我最终得到两个略有不同的字节数组，具体取决于图像是来自浏览器还是来自我的主要本地存储中的某个地方。我对 Java 中的图像（或一般情况下）的了解还不够，无法理解为什么会这样并且无法在其他地方找到答案。源自浏览器的拖放生成了一个足够不同的字节数组，我无法 100% 正确解码消息，因此无法将其反序列化为对象。但是，如果我右键单击并保存基于浏览器的图像，它会正确加载。

我在下面包含了一个可重现的片段和一张测试图片。我的 JDK 是最新版本的 Amazon Corretto 8。

可重现的片段：

import javafx.application.Application;
import javafx.scene.Scene;
import javafx.scene.control.ListView;
import javafx.scene.image.Image;
import javafx.scene.image.PixelFormat;
import javafx.scene.image.PixelReader;
import javafx.scene.image.WritablePixelFormat;
import javafx.scene.input.TransferMode;
import javafx.scene.layout.GridPane;
import javafx.stage.Stage;


import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.awt.image.DataBufferByte;
import java.io.File;
import java.io.IOException;
import java.net.URL;
import java.nio.ByteBuffer;
import java.util.List;

public class MainApp extends Application {
    private static final int OFFSET = 40;
    private ListView<String> listView;
    private GridPane gridPane;

    @Override
    public void start(Stage primaryStage) throws Exception {
        listView = new ListView<>();
        gridPane = new GridPane();
        gridPane.addRow(0, listView);
        setDragDropAction();
        Scene scene = new Scene(gridPane, 250, 250);
        primaryStage.setScene(scene);
        primaryStage.sizeToScene();
        primaryStage.show();
    }

// the same drag-drop logic I am using in my project
    private void setDragDropAction() {
        gridPane.setOnDragOver(event -> {
            if (event.getDragboard().hasFiles() || event.getDragboard().hasImage()) {
                event.acceptTransferModes(TransferMode.ANY);
            }
            event.consume();
        });

        gridPane.setOnDragDropped(event -> {
            List<File> files = event.getDragboard().getFiles();
            try {
                if (!files.isEmpty()) {
                    String decoded = decode(files.get(0));
                    System.out.println(decoded);
                } else if (event.getDragboard().hasImage()) {
                    Image image = event.getDragboard().getImage();
                    String decoded = decode(image);
                    System.out.println(decoded);
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        });
    }

    // decode using the file path
    public String decode(File file) throws IOException {
        byte[] byteImage = imageToByteArray(file);
        return getStringFromBytes(byteImage);
    }

    // this results in a different byte array and a failed decode
    public String decode(Image image) {
        int width = (int) image.getWidth();
        int height = (int) image.getHeight();
        PixelReader reader = image.getPixelReader();
        byte[] byteImage = new byte[width * height * 4];
        WritablePixelFormat<ByteBuffer> format = PixelFormat.getByteBgraInstance();
        reader.getPixels(0, 0, width, height, format, byteImage, 0, width * 4);

        return getStringFromBytes(byteImage);
    }

    private String getStringFromBytes(byte[] byteImage) {
        int offset = OFFSET;
        byte[] byteLength = new byte[4];
        System.arraycopy(byteImage, 1, byteLength, 0, (offset / 8) - 1);
        int length = byteArrayToInt(byteLength);
        byte[] result = new byte[length];
        for (int b = 0; b < length; ++b) {
            for (int i = 0; i < 8; ++i, ++offset) {
                result[b] = (byte) ((result[b] << 1) | (byteImage[offset] & 1));
            }
        }
        return new String(result);
    }

    private int byteArrayToInt(byte[] b) {
        return b[3] & 0xFF
                | (b[2] & 0xFF) << 8
                | (b[1] & 0xFF) << 16
                | (b[0] & 0xFF) << 24;
    }

    private byte[] imageToByteArray(File file) throws IOException {
        BufferedImage image;
        URL path = file.toURI().toURL();
        image = ImageIO.read(path);
        return ((DataBufferByte) image.getRaster().getDataBuffer()).getData();
    }

}

使用 SwingFXUtils.fromFXImage() 的另一种解码方法尝试也不起作用：


// Create a buffered image with the same imageType (6) as the type returned from ImageIO.read() with a local drag-drop
public String decode(Image image) throws IOException {
        int width = (int) image.getWidth();
        int height = (int) image.getHeight();
        BufferedImage buffImageFinal = new BufferedImage(width, height, 6); // imageType = 6
        BufferedImage buffImageTemp =  SwingFXUtils.fromFXImage(image, null);
        Graphics2D g = buffImageFinal.createGraphics();
        g.drawImage(buffImageTemp, 0, 0, width, height, null);
        g.dispose();
        return getStringFromBytes(((DataBufferByte) buffImageFinal.getRaster().getDataBuffer()).getData());
    }

显示数据变化的图像：

Corner of image. Dissimilar pixels are highlighted in red.

用于测试的示例图像：

解码后的测试消息应该打印出来（"This is a test message for my minimal reproducible example"。从浏览器中拖动图像不起作用，将图像保存在本地并拖放它。

Answer 1

根据 OP 的评论，event.getDragboard.getImage() 加载带有预乘 alpha 的图像，而 ImageIO.read() 不加载。一种简单的规避方法是从事件中获取 url（不管图像是如何拖放的）并使用 ImageIO.read().

gridPane.setOnDragDropped(event -> {
    if (event.getDragboard().hasUrl()) {
        try {
            URL path = new URL(event.getDragboard().getUrl());
            String decoded = decode(path);
            System.out.println(decoded);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
});

有以下修改

public String decode(URL url) throws IOException {
    byte[] byteImage = imageToByteArray(url);
    return getStringFromBytes(byteImage);
}

private byte[] imageToByteArray(URL url) throws IOException {
    BufferedImage image = ImageIO.read(url);
    return ((DataBufferByte) image.getRaster().getDataBuffer()).getData();
}

请注意，从 url 加载仅支持一组有限的格式，如所示。

为什么相同的图像（编辑：PNG）在 Java 中产生两个略有不同的字节数组？

Why does the same image (edit: PNG) produce two slightly different byte arrays in Java?

java

steganography

javafx

image