foreach 中的标量投影无效

Question

嗨，我有一个像这样的猪脚本。在执行 foreach 语句时，它会抛出无效的标量投影 error.Here 是我的代码。

a = load 'file' using PigStorage(':');
b = group a by (, , );
c = foreach b generate flatten(group), COUNT(a) as (cnt: int);
d = filter c by cnt>1;
e = foreach d generate flatten(a) ;

错误如下图

<line 6, column 31> Invalid scalar projection: a : A column needs to be projected from a relation for it to be used as a scalar

任何帮助将不胜感激。

Answer 1

问题是因为 'a' 不存在于 'd' 关系模式中。

描述 'd' 模式，你会得到： d: {bytearray,bytearray,bytearray, cnt: int} 其中 'a' 不存在。

在脚本中，通过展平组域的投影和a的元素个数形成C关系，a不包含在关系C中

foreach 中的标量投影无效

Invalid scalar projection in foreach

hadoop

apache-pig

bigdata