如何根据第一个字段合并csv文件中的记录？

Question

我有一个 csv 文件，

 id1,v1,v2,v3,v4
 id2,v1,v2,v6,v4
 id1,v7,v8,v3,v9
 id1,v10,v11,v12,v13
 id2,v3,v5,v8,v7

因为文件没有排序，而且不应该！我希望输出为：

 id1,v1|v7|v10,v2|v8|v11,v3|v12,v4|v9|v13
 id2,v1|v10,v2|v5,v6|v8,v4|v7

其中，列中的所有相应值都合并到具有相同 ID 的记录中的相应列，重复值除外（请参阅第 3 列中的 v3 for id1）和 id。

我使用此处给出的代码进行了尝试 http://www.robelle.com/tips/st-export-notes.html。但它需要的远不止于此。

如何使用 perl 实现这一点？我是 perl 的新手。提前致谢！

Answer 1

假设您不需要任何特定的排序顺序，您可以使用数组散列来解决这个问题。哈希在其他语言中被称为字典。

use strict;
use warnings;

my %data;

while ( <DATA> ) {
  my ($id, @vals) = /[^,\s]+/g;
  for my $i ( 0 .. $#vals ) {
    ++$data{$id}[$i]{$vals[$i]};
  }
}

while ( my ($id, $vals) = each %data ) {
  my @vals = map { join '|', keys %$_ } @$vals;
  printf "%s,%s\n", $id, join ',', @vals;
}

__DATA__
id1,v1,v2,v3,v4
id2,v1,v2,v6,v4
id1,v7,v8,v3,v9
id1,v10,v11,v12,v13
id2,v3,v5,v8,v7

输出

id2,v1|v3,v5|v2,v8|v6,v7|v4
id1,v7|v10|v1,v11|v2|v8,v12|v3,v4|v13|v9

Answer 2

您应该为 CSV 数据使用正确的 CSV 解析器

use strict;
use warnings;
use Text::CSV;

my $csv = Text::CSV->new( { binary => 1, eol => $/ } );

my %data;
while ( my $row = $csv->getline(*DATA) ) {
    my $id = shift @$row;
    $data{$id}[$_]{ $$row[$_] } = undef for 0 .. $#$row;
}

for my $id ( sort keys %data ) {
    my $vals = $data{$id};
    $csv->print( \*STDOUT, [ $id, map { join '|', sort keys %$_ } @$vals ] );
}

__DATA__
id1,v1,v2,v3,v4
id2,v1,v2,v6,v4
id1,v7,v8,v3,v9
id1,v10,v11,v12,v13
id2,v3,v5,v8,v7

如何根据第一个字段合并csv文件中的记录？

How to merge records in csv file based on first field?

linux

perl

csv

merge

perlscript