mawk 语法适当 >1000 字段文件用于计数 non-numeric 数据 column-wise？

Question

以下愚蠢的 hard-coding 应该是某种循环或并行结构，名义上有效，但它是糟糕的 mawk 语法。我很好的 mawk 语法尝试都失败了，在 mawk（未显示）和 gnu parallel（未显示）中使用 for 循环。

它真的只需要从磁盘读取 CSV 文件 1 次，而不是每列一次，因为我有一个非常大的 CSV 文件（数百万行，数千列）。我的原始代码工作 fine-ish （未显示）但它为每一列再次读取整个磁盘文件，这需要几个小时，我在意识到发生了什么后将其杀死。我有一个使用 GPU 连接器插槽的快速固态磁盘，因此磁盘读取速度非常快。因此 CPU 是这里的瓶颈。如果我必须 hard-code 4000 行基本相同的语句，除了列号之外，代码愚蠢甚至是一个瓶颈。

代码是 column-wise 计算 non-numeric 个值。我需要一些循环（for-loop）或并行（首选），因为虽然以下内容在 2 列上正常工作，但它不是为数千列编写 mawk 代码的可扩展方式。

tail -n +1 pht.csv | awk -F"," '((+0 != ) && (!="")){cnt1++}; ((+0 != ) && (!="")){cnt2++} END{print cnt1+0; print cnt2+0}'
2
1

如何减少"column 1 processing; column 2 processing;"重复代码？如何引入循环？ gnu parallel怎么引入？非常感谢。 awk 新手，我是。对其他语言并不陌生。

我一直期待以下一个或多个 bash 命令的巧妙组合能够轻松解决这个问题，但我已经过了好几个小时了，什么也看不到。我张开双手前来。施舍 code-poor?

seq 1 2（现实生活中的 CSV 文件为 >>2）
tail（根据需要跳过header或不需要）
mawk (nice-ish row-wise CSV 文件处理，使用我在演示中向您展示的方便的语法，用于在所谓的 all-numeric CSV 数据文件中轻松找到 non-numerics超大尺寸）
tr（删除换行符，方便 transpose-ish 操作）
cut（一次抓取一列）
并行（快就好，我有很多内核需要处理，还有 phat RAM）

抱歉，我绝对不能使用 CSV 特定库，如 python pandas 或 R 数据帧。我的手被绑在这里。对不起。谢谢你这么酷。在这种情况下，我只能使用 bash 命令行。

我的 mawk 可以处理 32000+ 列，因此 NF 在这里不是问题，这与我见过的其他一些 awk 不同。我有不到 32000 列（但不是那么多）。

数据文件 pht.csv 包含以下 3x2 数据集：

cat pht.csv
8,T1,
T13,3,T1
T13,,-6.350818276405334473e-01

Answer 1

无权访问 mawk 但您可以执行与此等效的操作

awk -F, 'NR>1 {for(i=1;i<=NF;i++) if($i~/[[:alpha:]]/) a[i]++} 
         END  {for(i=1;i in a;i++) print a[i]}' file

即使是百万条记录，也不会超过几分钟。

为了识别指数符号，正则表达式测试将不起作用，您需要恢复到评论中提到的 +0!= 测试。请注意，您不必单独检查空字符串。

Answer 2

这是你想要做的吗？

$ awk -v RS='[\n,]' '(+0) != ' file | sort | uniq -c
      1 T1
      2 T13

以上使用 GNU awk 进行多字符 RS，对于您描述的输入文件，应该在几秒内运行。如果你没有 GNU awk，你可以这样做：

$ tr ',' $'\n' < file | awk '(+0) != ' | sort | uniq -c
      1 T1
      2 T13

我避免使用 , 作为 FS 的方法，因为那时你必须在循环中使用 $i 这会导致 awk 对每个输入行进行字段拆分准时添加，但您可以尝试一下：

$ awk -F, '{for (i=1;i<=NF;i++) if (($i+0) != $i) print $i}' file | sort | uniq -c
      1 T1
      2 T13

您可以在 awk 中使用由非数字值索引的数组进行唯一计数，但您可能必须在内存中存储大量数据（与使用临时交换文件的 sort 不同如有必要）所以 YMMV 采用这种方法。

Answer 3

我独立解决了。最终为我完成的是下面 URL 中的动态变量创建示例。 http://cfajohnson.com/shell/cus-faq-2.html#Q24

这是我开发的解决方案。注意：我添加了另一列，其中包含一些缺失的数据，以进行更完整的单元测试。我的不一定是最好的解决方案，待定。它在显示的小 csv 上正常工作是我目前所知道的。最好的解决方案还需要运行在 40 GB 的 csv 文件上非常快（未显示哈哈）。

$ cat pht.csv
8,T1,
T13,3,T1
T13,,0

$ tail -n +1 pht.csv | awk -F"," '{ for(i=1;i<=NF;i++) { cnt[i]+=(($i+0)!=$i) && ($i!="") } } END { for(i=1;i<=NF;i++) print cnt[i] }'
2
1
1

ps。老实说，我对自己的回答并不满意。他们说过早的优化是万恶之源。好吧，这句格言不适用于此。我真的非常想要 gnu parallel，如果可能的话，而不是 for-loop，因为我需要速度。

Answer 4

到目前为止

None 的解决方案并行化。让我们改变一下。

假设您有一个可以串行工作并且可以从管道读取的解决方案：

doit() {
    # This solution gives 5-10 MB/s depending on system
    # Changed so it now also treats '' as zero
    perl -F, -ane 'for(0..$#F) { 
        # Perl has no beautiful way of matching scientific notation
        $s[$_] += $F[$_] !~ /^-?\d*(?:\.\d*)?(?:[eE][+\-]?\d+)?$/m
    }
    END { $" = ","; print "@s\n" }';
}
export -f doit

doit() {
    # Somewhat faster - but regards empty fields as zero
    mawk -F"," '{
        for(i=1;i<=NF;i++) { cnt[i]+=(($i+0)!=$i) && ($i!="") } 
    }
    END { for(i=1;i<NF;i++) printf cnt[i]","; print cnt[NF] }';
}
export -f doit

为了并行化，我们需要将大文件分成块并将每个块传递给串行解决方案：

# This will spawn a process for each core
parallel --pipe-part -a pht.csv --block -1 doit > blocksums

（您需要版本 20161222 或更高版本才能使用'--block -1'）。

为了处理 header 我们计算 header 的结果，但我们否定结果：

head -n1 pht.csv | doit | perl -pe 's/(^|,)/-/g' > headersum

现在我们可以简单地总结 headersum 和块和：

cat headersum blocksums |
  perl -F, -ane 'for(0..$#F) { $s[$_] += $F[$_] }
                 END { $" = ",";print "@s\n" }'

或者如果您更喜欢逐行输出：

cat headersum blocksums |
  perl -F, -ane 'for(0..$#F) { $s[$_] += $F[$_] }
                 END { $" = "\n";print "@s\n" }'

Answer 5

最后说明：下面我分享了顺序和并行版本的性能时序，以及最佳可用的单元测试数据集。特别感谢 Ole Tange 在开发代码方面提供的巨大帮助，以便在此应用程序中使用他出色的 gnu 并行命令。

单元测试数据文件，最终版本：

$ cat pht2.csv
COLA99,COLB,COLC,COLD
8,T1,,T1
T13,3,T1,0.03
T13,,-6.350818276405334473e-01,-0.036

列式非数字计数的顺序版本的大数据计时（未显示）：

ga@ga-HP-Z820:/mnt/fastssd$ time tail -n +2 train_all.csv | awk -F"," '{ for(i=1; i<=NF; i++){ cnt[i]+=(($i+0)!=$i) && ($i!="") } } END { for(i=1;i<=NF;i++) print cnt[i] }' > /dev/null

real    35m37.121s

列式非数字计数并行版本的大数据计时：

# Correctness - 2 1 1 1 is the correct output.
#
# pht2.csv: 2 1 1 1 :GOOD
# train_all.csv: 
# real  1m14.253s
doit1() {
    perl -F, -ane 'for(0..$#F) { 
        # Perl has no beautiful way of matching scientific notation
        $s[$_] += $F[$_] !~ /^-?\d+(?:\.\d*)?(?:[eE][+\-]?\d+)?$/m
    }
    END { $" = ","; print "@s\n" }';
}

# pht2.csv: 2 1 1 1 :GOOD
# train_all.csv: 
# real  1m59.960s
doit2() {        
    mawk -F"," '{
        for(i=1;i<=NF;i++) { cnt[i]+=(($i+0)!=$i) && ($i!="") } 
    }
    END { for(i=1;i<NF;i++) printf cnt[i]","; print cnt[NF] }';
}

export -f doit1
parallel --pipe-part -a "$fn" --block -1 doit1 > blocksums
if [ $csvheader -eq 1 ] 
then
    head -n1 "$fn" | doit1 | perl -pe 's/(^|,)/-/g' > headersum
    cat headersum blocksums | perl -F, -ane 'for(0..$#F) { $s[$_] += $F[$_] } END { $" = "\n";print "@s\n" }' > "$outfile"
else
    cat blocksums | perl -F, -ane 'for(0..$#F) { $s[$_] += $F[$_] } END { $" = "\n";print "@s\n" }' > "$outfile"
fi

新：这是顺序代码中的按行（而非按列）计数：

tail -n +2 train_all.csv | awk -F"," '{ cnt=0; for(i=1; i<=NF; i++){ cnt+=(($i+0)!=$i) && ($i!="") } print cnt; }' > train_all_cnt_nonnumerics_rowwwise.out.txt

上下文：项目是机器学习。这是数据探索的一部分。 ~25 倍并行加速 在使用三星 950 Pro SSD 存储的双至强 32 虚拟/16 物理核心共享内存主机上看到：(32x60) 秒顺序时间，74 秒并行时间。惊人的！

mawk 语法适当 >1000 字段文件用于计数 non-numeric 数据 column-wise？

mawk syntax appropriate >1000 field file for counting non-numeric data column-wise?

csv

bash

awk

gnu-parallel