在猪中转储一个字符串或一个（字符串，整数）元组

Question

我有一个简单的 pig 脚本，我能够读取数据并转储数据。但是，我未能转储字符串或 (string, int) 元组。只是想知道我在这里错过了什么？非常感谢！

dataset = LOAD '/Users/me/input' USING PigStorage() AS (id:chararray,data:chararray);

dataset_GROUP = GROUP dataset ALL;
dataset_COUNT = FOREACH dataset_GROUP GENERATE COUNT(dataset);

DUMP "record_count = ";                 <-- this does not work
DUMP dataset_COUNT;                     <-- this works 
DUMP "record_count = ", dataset_COUNT;  <-- this does not work

Answer 1

您可以使用 Apache Pig 的 CONCAT() 函数将字符串连接到结果，如下所示：

dataset = LOAD '/Users/me/input' USING PigStorage() AS (id:chararray,data:chararray);

dataset_GROUP = GROUP dataset ALL;
dataset_COUNT = FOREACH dataset_GROUP GENERATE CONCAT('record_count = ', COUNT(dataset));

DUMP dataset_COUNT;

有关 Apache Pig 0.13.0 的 Concat() 的更多详细信息，您可以查看 here

如果您使用的是较旧的 Pig 版本，那么您可以编写 用户定义函数 (UDF)，它将执行连接操作并 return 结果。有关详细信息，请参阅 Pig Documentation on UDF

在猪中转储一个字符串或一个（字符串，整数）元组

Dump a string or a (string, integer) tuple in pig

apache-pig

hadoop2