如何使用 grep 解析出 csv 中的列

Question

我有一个包含数百万行这样的日志

1482364800 bunch of stuff 172.169.49.138 252377 + many other things
1482364808 bunch of stuff 128.169.49.111 131177 + many other things 
1482364810 bunch of stuff 2001:db8:0:0:0:0:2:1 124322 + many other things
1482364900 bunch of stuff 128.169.49.112 849231 + many other things
1482364940 bunch of stuff 128.169.49.218 623423 + many other things

它太大了，我无法真正将它读入内存以供 python 解析，所以我只想将我需要的项目 zgrep 到另一个较小的文件中，但我不太擅长 grep。在 python 中，我通常会 open.gzip(log.gz) 然后将 data[0]、data[4]、data[5] 提取到一个新文件中，这样我的新文件只有 epoc和 ip 和日期（ip 可以是 ipv6 或 4）

新文件的预期结果：

1482364800 172.169.49.138 252377
1482364808 128.169.49.111 131177  
1482364810 2001:db8:0:0:0:0:2:1 124322 
1482364900 128.169.49.112 849231 
1482364940 128.169.49.218 623423

我该怎么做 zgrep？

谢谢

Answer 1

到 select 列你必须使用剪切命令 zgrep/grep select 行所以你可以像这样使用剪切命令

cut -d' ' -f1,2,4

在这个例子中，我得到第 1、2 和 4 列，其中 space ' ' 作为列的分隔符您应该知道 -f 选项用于指定列数，-d 用于分隔符。

希望我已经回答了你的问题

Answer 2

我在 OSX，也许这就是问题所在，但我无法让 zgrep 过滤列。并且 zcat 在 .gz 的末尾添加了一个 .Z。这是我最后做的：

awk '{print ,,}' <(gzip -dc /path/to/source/Largefile.log.gz) | gzip > /path/to/output/Smallfile.log.gz

这让我可以过滤掉我需要的 3 列，从大文件到小文件，同时以压缩格式保留源和目标。

如何使用 grep 解析出 csv 中的列

how to use grep to parse out columns in csv

python-2.7

parsing

grep

zgrep