从 Perl 中的大文件中删除一行

Question

我有一个巨大的文本文件，它的前五行内容如下：

This is fist line
This is second line
This is third line
This is fourth line
This is fifth line

现在，我想在该文件第三行的随机位置写一些东西，它将用我正在写的新字符串替换该行中的字符。我可以使用以下代码实现这一点：

use strict;
use warnings;

my @pos = (0);
open my $fh, "+<", "text.txt";

while(<$fh) {
    push @pos, tell($fh);
}

seek $fh , $pos[2]+1, 0;
print $fh "HELLO";

close($fh);

但是，我无法用同样的方法弄清楚如何从该文件中删除整个第三行，以便文本如下所示：

This is fist line
This is second line
This is fourth line
This is fifth line

我不想将整个文件读入一个数组，我也不想使用Tie::File。是否可以使用 seek and tell 来实现我的要求？解决方案将非常有帮助。

Answer 1

一个文件是一个字节序列。我们可以替换（覆盖）其中的一些，但是我们如何删除它们呢？写入文件后，其字节不能是序列的 'pulled out' 或任何方式的 'blanked'。（文件末尾的那些可以通过根据需要截断文件来消除。）

其余内容必须移动 'up'，以便要删除的文本后面的内容会覆盖它。我们必须重写文件的其余部分。实际上，重写整个文件通常要简单得多。

作为一个非常基本的例子

use warnings 'all';
use strict;
use File::Copy qw(move);

my $file_in = '...';
my $file_out = '...';  # best use `File::Temp`

open my $fh_in,  '<', $file_in  or die "Can't open $file_in: $!";
open my $fh_out, '>', $file_out or die "Can't open $file_out: $!";

# Remove a line with $pattern
my $pattern = qr/this line goes/;

while (<$fh_in>) 
{
    print $fh_out $_  unless /$pattern/;
}
close $fh_in;
close $fh_out;

# Rename the new fie into the original one, thus replacing it
move ($file_out, $file_in) or die "Can't move $file_out to $file_in: $!";

这会将输入文件的每一行写入输出文件，除非某行与给定模式匹配。然后该文件被重命名，替换原来的文件（不涉及数据复制）。参见 this topic in perlfaq5。

由于我们确实使用了一个临时文件，因此我建议使用核心模块 File::Temp。

通过以更新 '+<' 模式打开以便仅覆盖文件的一部分，这可能会更有效，但也更复杂。您迭代直到具有模式的行，记录 (tell) 它的位置和行长度，然后将所有剩余的行复制到内存中。然后 seek 回到减去该行长度的位置，并转储复制的文件其余部分，覆盖该行及其后的所有内容。

请注意，现在文件其余部分的数据被复制了两次，尽管一个副本在内存中。如果要删除的行在一个非常大的文件中很远，那么解决这个问题可能是有意义的。如果有更多行要删除，这会变得更加混乱。

写出新文件并将其复制到原始文件上会更改文件的 inode 号。对于某些工具或程序来说，这可能是个问题，如果是这样，您可以通过

新文件写完后，打开它进行阅读，打开原文件进行写入。这破坏了原始文件。然后从新文件读取并写入原始文件，从而将内容复制回同一个 inode。完成后删除新文件。
以读写模式打开原始文件 ('+<') 开始。写入新文件后，seek 到原始文件的开头（或要覆盖的位置）并向其写入新文件的内容。如果新文件更短，请记住还要设置文件结尾，
```
truncate $fh, tell($fh); 
```

复制完成后。这需要小心，第一种方法通常更安全。

如果文件不是很大，新的 "file" 可以 "written" 在内存中，作为数组或字符串。

Answer 2

在 Perl 的 Linux 命令行中使用 sed 命令：

my $return = `sed -i '3d' text.txt`;

其中“3d”表示删除第 3 行。

Answer 3

查看 perlrun 以及 perl 本身如何修改文件很有用 'in-place.'

鉴于：

$ cat text.txt
This is fist line
This is second line
This is third line
This is fourth line
This is fifth line

您显然可以 'modify in-place'，sed 之类的，通过使用 -i 和 -p 开关来调用 Perl：

$ perl -i -pe 's/This is third line\s*//' text.txt
$ cat text.txt
This is fist line
This is second line
This is fourth line
This is fifth line

但是，如果您查阅 Perl Cookbook 7.9 食谱（或查看 perlrun），您会看到：

$ perl -i -pe 's/This is third line\s*//' text.txt

相当于：

while (<>) {
    if ($ARGV ne $oldargv) {           # are we at the next file?
        rename($ARGV, $ARGV . '.bak');
        open(ARGVOUT, ">$ARGV");       # plus error check
        select(ARGVOUT);
        $oldargv = $ARGV;
    }
    s/This is third line\s*//;
}
continue{
    print;
}
select (STDOUT);                      # restore default output

从 Perl 中的大文件中删除一行

Deleting a line from a huge file in Perl

perl

file

seek

tell