在nodejs中拆分和重建文件会改变它的长度与某些格式

Question

我正在编写一个脚本来将文件拆分成块并从块中重建这些文件。

这适用于 .txt 个文件和 .js 个文件

但是，当我用更多 "complex" 文件（例如图像 .png、.pdf 或 .docx 尝试我的脚本时，文件没有正确重建。

例如，对于原本 2 057 bytes 长的图像，我检索了一个 3 387 bytes 长的文件，任何东西都无法读取。

我不知道如何调试它。所以我很感激有人指出我的工作有什么问题或如何发现问题。

到目前为止，这是我的脚本：

const fs = require('fs');
const fileName = "sample.png";
var fileBuffer = fs.readFileSync(fileName);
var bufferLength = fileBuffer.length;
var chunkSize = 10;
var chunkQtt = bufferLength / chunkSize;
var result = splitBuffer(fileBuffer, chunkSize);

result.forEach(writeFileFromBuf);
var resFromChunk = [];

for (let i = 0; i < result.length; i++) {
    resFromChunk.push(fs.readFileSync('./chunks/fileChunk' + i));
}


fs.createWriteStream("rebuilt_" + fileName).write(Buffer.concat(resFromChunk).toString());

console.log("quantity of chunks: " + chunkQtt);
console.log("buffer length " + bufferLength);
console.log("chunks size " + chunkSize);

function splitBuffer(buffer, csize) {
    let pointer = 0;
    var result = [];
    var currentSize = 0;

    for (let i = 0; i < chunkQtt; i++) {
        result[i] = buffer.slice(pointer, pointer + csize);
        console.log("length " + result[i].length + " data: " + result[i].toString());
        currentSize += result[i].length;
        pointer += csize;
    }
    console.log("retrieved size " + currentSize)
    return result
}

function writeFileFromBuf(element, index, array) {
    var fileName = "./chunks/fileChunk" + index;
    fs.writeFileSync(fileName, element);
}

Answer 1

一切都很好，直到您尝试将所有 read-in 块粘合在一起并将结果写入重新组装的文件 "rebuilt_sample.png"。在那之前的所有步骤（读取原始文件，将其分成块，将块写出到单独的文件，将块文件读回）将文件数据作为包含未检查或解释的字节的缓冲区处理无论如何。

但随后发生了这种情况：

fs.createWriteStream("rebuilt_" + fileName).write(Buffer.concat(resFromChunk).toString());

在该语句中，toString() 调用导致连接缓冲区中的字节被解释（或 "decoded"）为字符，然后在 write() 操作期间这些字符被转换（或 "encoded"）回写入文件的字节流。解码和编码活动是根据程序的语言环境规则执行的，这可能是 UTF-8 语言环境。 UTF-8 是一种将 Unicode 字符与字节序列相互转换的方法。

没关系IF缓冲区中的字节都可以按照UTF-8规则成功解码为字符。当输入文件是文本文件（例如 .txt 或 .js 文件时，很可能会出现这种情况。但是当文件是 non-text 文件（通常称为 "binary" 文件）时，文件中的某些字节序列可能不是合法的 UTF-8 字节序列，因此这些字节不会可以翻译成字符。对于值大于十进制 127、十六进制 0x7F 的几乎所有字节都会发生这种情况。您的 sample.png 是这些二进制文件之一，其中包含一些无法转换为字符的字节。

程序可以通过多种方式对不可翻译的字节做出反应。例如，它可能会崩溃，它可能会静默地跳过这些字节，它可能会跳过它们并发出错误报告，它可能会在看到错误字节后停止翻译，它可能会生成一个完全空的字符串。在这种情况下，Node 会默默地将每个非法字节转换为生成的字符串中的 Unicode 替换字符“�”。然后，当该字符串在 write() 操作期间被编码回字节时，每个替换字符都会根据 UTF-8 规则进行转换，并成为重建文件中的 three-byte 序列 0xEF 0xBF 0xFD。

这就是重建文件比原始文件大的原因。几乎原始文件中值大于 0x7F 的每个字节都被重建文件中的三个字节替换。

这个问题的修复很简单。只需删除该行中的 .toString() 调用，让您的程序将串联缓冲区视为未解释的字节集合：

fs.createWriteStream("rebuilt_" + fileName).write(Buffer.concat(resFromChunk))

在nodejs中拆分和重建文件会改变它的长度与某些格式

Splitting and rebuilding file in nodejs changes its length with some formats

buffer

file

chunks

node.js