有什么方法可以只从 Pig 中的 CSV 中读取所需的列吗?
Is there any way toread only required columns from CSV in Pig?
我有一个包含大约 50 列的 CSV 文件。我只想从中读取特定的列。有什么办法可以做到吗?
示例:
CSV has, col1, col2, col3, col4, col5, col6,......,col50
我要加载
load 'path to file' as (col1, col18, col47);
我想做那样的事情。
加载它而不是投影它:
REGISTER 'piggybank.jar'
DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
A = LOAD 'data.csv' USING CSVLoader();
B = FOREACH A GENERATE
[=10=] AS col1,
AS col18,
AS col47;
...
我有一个包含大约 50 列的 CSV 文件。我只想从中读取特定的列。有什么办法可以做到吗?
示例:
CSV has, col1, col2, col3, col4, col5, col6,......,col50
我要加载
load 'path to file' as (col1, col18, col47);
我想做那样的事情。
加载它而不是投影它:
REGISTER 'piggybank.jar'
DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
A = LOAD 'data.csv' USING CSVLoader();
B = FOREACH A GENERATE
[=10=] AS col1,
AS col18,
AS col47;
...