我可以在猪中同时（或关闭）使用 multistorage 和 CSVExcelStorage 吗？

Question

我正在寻找一种以 CSV 格式将关系存储到拆分文件夹中的方法。我从 shell.

发射猪

我查看了堆栈，但没有发现任何关于此案例的内容。

我正在使用 piggybank 0.14 和最后一个 multistorage 的 java 来使用多字段选择。

如果我使用 CSVExcelStorage 存储关系，我可以在 shell 中剪切输出文件，但我认为此操作会使我丢失 CSV 格式。

如果我使用 multiStorage 存储关系，我无法将输出文件格式化为 CSV。

那么，是否可以将 CSVExcelStorage 从关系应用到关系？

您还有什么建议吗？

谢谢，

Answer 1

很好，我使用 shell 通过一些过滤器和 CSVExcelStorage 来模拟多存储。

sklt="file.pig.skeleton"
pig="file.pig"
cp ${sklt} ${pig}

for waza in $anOtherVar
do
    echo "R2 = R1 FILTER JEANNO IN ('${waza}')" >> ${pig}
    echo -e "STORE R2 INTO '$myPath/${waza}' USING org.apache.pig.piggybank.storage.CSVExcelStorage(';');\n" >> ${pig}
done
pig -f ${pig} -p table=$anOtherVar -p myPath=/past/a/box/

如果这个很棒的解决方案可以帮助其他一些养猪瘾君子...

我可以在猪中同时（或关闭）使用 multistorage 和 CSVExcelStorage 吗？

Can i use multistorage and CSVExcelStorage at the same time (or close) in pig?

apache-pig