PIG中的拼接功能
Stitch function in PIG
以下 PIG 代码无效:
grunt> Register /usr/lib/pig/lib/piggybank.jar ;
grunt> define Stitch org.apache.pig.piggybank.evaluation.Stitch();
grunt> data = load 'a' using PigStorage('|') ;
grunt> B = Stitch(data,data);
错误:-
2015-01-06 12:03:57,730 [main] ERROR org.apache.pig.tools.grunt.Grunt -
ERROR 1200: <line 12> Cannot expand macro 'Stitch'.
Reason: Macro must be defined before expansion.
Details at logfile: /home/hduser/nikhil/pig_1420524859398.log
谁能解释一下这里出了什么问题。
您的代码中有两个问题
1. 你不能直接将stitch
命令的输出赋值给任何关系。它应该被投影为 FOREACH
stmt.
的一部分
2. Stitch
命令会将 only bags
作为输入参数,但您传递的是整个关系。
你能解决以上两个问题并重试你的脚本吗?
示例:
输入:
{(a,b),(e,f)} {(c,d),(g,h)}
PigScript:
grunt> REGISTER /tmp/piggybank.jar;
grunt> DEFINE MyStitch org.apache.pig.piggybank.evaluation.Stitch;
grunt> A = LOAD 'input' USING PigStorage() AS (B1:{T:(t1:chararray,t2:chararray)},B2:{T1:(t3:chararray,t4:chararray)});
grunt> B = FOREACH A GENERATE MyStitch(B1,B2);
grunt> DUMP B;
输出:
({(a,b,c,d),(e,f,g,h)})
参考:
http://pig.apache.org/docs/r0.13.0/api/org/apache/pig/piggybank/evaluation/Stitch.html
以下 PIG 代码无效:
grunt> Register /usr/lib/pig/lib/piggybank.jar ;
grunt> define Stitch org.apache.pig.piggybank.evaluation.Stitch();
grunt> data = load 'a' using PigStorage('|') ;
grunt> B = Stitch(data,data);
错误:-
2015-01-06 12:03:57,730 [main] ERROR org.apache.pig.tools.grunt.Grunt -
ERROR 1200: <line 12> Cannot expand macro 'Stitch'.
Reason: Macro must be defined before expansion.
Details at logfile: /home/hduser/nikhil/pig_1420524859398.log
谁能解释一下这里出了什么问题。
您的代码中有两个问题
1. 你不能直接将stitch
命令的输出赋值给任何关系。它应该被投影为 FOREACH
stmt.
的一部分
2. Stitch
命令会将 only bags
作为输入参数,但您传递的是整个关系。
你能解决以上两个问题并重试你的脚本吗?
示例:
输入:
{(a,b),(e,f)} {(c,d),(g,h)}
PigScript:
grunt> REGISTER /tmp/piggybank.jar;
grunt> DEFINE MyStitch org.apache.pig.piggybank.evaluation.Stitch;
grunt> A = LOAD 'input' USING PigStorage() AS (B1:{T:(t1:chararray,t2:chararray)},B2:{T1:(t3:chararray,t4:chararray)});
grunt> B = FOREACH A GENERATE MyStitch(B1,B2);
grunt> DUMP B;
输出:
({(a,b,c,d),(e,f,g,h)})
参考:
http://pig.apache.org/docs/r0.13.0/api/org/apache/pig/piggybank/evaluation/Stitch.html