Node.js 从文件中删除前 N 个字节

Question

如何删除(remove | trim)二进制文件开头的N个字节而不加载到内存中？

我们有 fs.ftruncate(fd, len, callback)，它从文件末尾删除字节（如果它更大）。

如何在不读取内存中的文件的情况下，从 Node.js 中的开头或 trim 开始剪切字节？

我需要 truncateFromBeggining(fd, len, callback) 或 removeBytes(fd, 0, N, callback) 之类的东西。

如果不可能，使用文件流最快的方法是什么？

On most filesystems you can't "cut" a part out from the beginning or from the middle of a file, you can only truncate it at the end.

考虑到上述情况，我想，我们可能必须打开输入文件流，寻找第 N 个字节，然后 pipe 将其余字节输出到输出文件流。

Answer 1

您要求的是 OS 文件系统操作：能够从文件开头就地删除一些字节，而无需重写文件。

您要求的文件系统操作不存在，至少在Linux / FreeBSD / MacOS / Windows.

如果您的程序是该文件的唯一用户并且它适合 RAM，您最好的办法是将整个文件读入 RAM，然后重新打开文件进行写入，然后写出您想要保留的部分。

或者您可以创建一个新文件。假设您的输入文件名为 q。然后，您将创建一个名为 new_q 的文件并附加一个流。您会将所需的内容通过管道传输到新文件。然后你 unlink (delete) the input file q and rename 输出文件 new_q 到 q.

注意：当没有名为 q 的文件可用时，此取消链接/重命名操作将创建一个短时间。因此，如果其他程序试图打开它但没有找到它，它应该再试几次。

如果您正在创建排队方案，您可能会考虑使用其他方案来保存您的队列数据。这个文件读取/重写/取消链接/重命名序列有很多方法可以在重负载下出错。（问我怎么知道你有几个小时的空闲时间；-）redis 值得一看。

Answer 2

我决定解决bash中的问题。

脚本首先截断 temp 文件夹中的文件，然后将它们移回原始文件夹。

截断完成 tail:

tail --bytes="$max_size" "$from_file" > "$to_file"

完整脚本：

#!/bin/bash

declare -r store="/my/data/store"
declare -r temp="/my/data/temp"
declare -r max_size=$(( 200000 * 24 ))

or_exit() {
    local exit_status=$?
    local message=$*

    if [ $exit_status -gt 0 ]
    then
        echo "$(date '+%F %T') [$(basename "[=11=]" .sh)] [ERROR] $message" >&2
        exit $exit_status
    fi
}

# Checks if there are any files in 'temp'. It should be empty.
! ls "$temp/"* &> '/dev/null'
    or_exit 'Temp folder is not empty'

# Loops over all the files in 'store'
for file_path in "$store/"*
do
    # Trim bigger then 'max_size' files from 'store' to 'temp'
    if [ "$( stat --format=%s "$file_path" )" -gt "$max_size" ]
    then
        # Truncates the file to the temp folder
        tail --bytes="$max_size" "$file_path" > "$temp/$(basename "$file_path")"
            or_exit "Cannot tail: $file_path"
    fi
done
unset -v file_path

# If there are files in 'temp', move all of them back to 'store'
if ls "$temp/"* &> '/dev/null'
then
    # Moves all the truncated files back to the store
    mv "$temp/"* "$store/"
        or_exit 'Cannot move files from temp to store'
fi

Node.js 从文件中删除前 N 个字节

Node.js delete first N bytes from a file

truncate

file

filestream

node.js