如何用Python做Hive的多文件输出？

Question

给定一个查询

select category, value from someHiveTable;

我希望将上述每个类别的结果输出到一个以相应类别命名的单独文件中。

编辑：

hive -e "select category, value from someHiveTable" >./output.csv

只能输出到一个文件。

关于如何将每个类别的结果输出到多个文件的任何提示？

Answer 1

不确定它是否有帮助，但如果您找不到其他任何东西，您肯定可以尝试..

select TRANSFORM(category, value) USING 'yourCustomScript' from someHiveTable

这将为您的自定义脚本提供单行制表符分隔的输入，在那里您可以尝试根据您的输入将输出右移到不同的文件。您可以对 TRANSFORM 和 USING 做更多的研究。