Apache Pig 只加载第一个嵌套元组

Question

我使用 official document 中的确切示例：

我有 data.txt:

(3,8,9) (mary,19)
(1,4,7) (john,18)
(2,5,8) (joe,18)

我运行:

A = LOAD 'data.txt' AS (F:tuple(f1:int,f2:int,f3:int),T:tuple(t1:chararray,t2:int));
dump A

我总是得到：

((3,8,9),)
((1,4,7),)
((2,5,8),)

第二个嵌套元组从未加载。我尝试了 0.16.0 和 0.17.0 两个版本。

Answer 1

应该是你创建的数据文件有问题应该有tab在两个元组之间作为数据文件中的分隔符，同时创建它。如果有 space 那么我们需要相应地更改加载查询。

a)以制表符(\t)作为定界符或分隔符。

grunt> A = LOAD '/home/ec2-user/data' AS (F:tuple(f1:int,f2:int,f3:int),T:tuple(t1:chararray,t2:int));
grunt> DESCRIBE A;
A: {F: (f1: int,f2: int,f3: int),T: (t1: chararray,t2: int)}
grunt> dump A;
((3,8,9),(mary,19))
((1,4,7),(john,18))
((2,5,8),(joe,18))

b)使用单个 space( ) 作为定界符或分隔符。

grunt> A = LOAD '/home/ec2-user/data' AS (F:tuple(f1:int,f2:int,f3:int),T:tuple(t1:chararray,t2:int));
grunt> DESCRIBE A;
A: {F: (f1: int,f2: int,f3: int),T: (t1: chararray,t2: int)}
grunt> dump A;
((3,8,9),)
((1,4,7),)
((2,5,8),)

#如果您仍然想使用 space 作为文件的分隔符，请使用 PigStorage(' ')。

grunt> A = LOAD '/home/ec2-user/data' USING PigStorage(' ') AS (F:tuple(f1:int,f2:int,f3:int),T:tuple(t1:chararray,t2:int));
grunt> DESCRIBE A;
A: {F: (f1: int,f2: int,f3: int),T: (t1: chararray,t2: int)}
grunt> dump A;
((3,8,9),(mary,19))
((1,4,7),(john,18))
((2,5,8),(joe,18))

Apache Pig 只加载第一个嵌套元组

Apache Pig only load first nested tuple

apache-pig