从 pig 中的 txt 文件中删除不均匀的空格

Question

我有一个包含不均匀空格的文本文件，我想使用 pig.My 将其存储为 csv 文件，文件格式为

2013 210      0  2878 -7543 4  29  20 116
2013 210     10  2875 -7538 4  32  20 116
2013 210     20  2872 -7533 4  29  20 116
2013 210     30  2870 -7527 4  29  20 115
2013 210     40  2867 -7522 4  30  20 115
2013 210     50  2864 -7516 4  29  20 115
2013 210     60  2861 -7511 4  29  20 115

Answer 1

如果 spaces 不均匀，首先将值作为单行读取，然后使用正则表达式压缩数据，然后使用 STRSPLIT 拆分单个 space 分隔数据.

text_data = load 'file.txt' as line;

squeezed_data = foreach text_data generate REPLACE(line, '\s+', ' ');