PHOENIX SPARK - 用于 BulkLoad 的 DataFrame

Question

作为 Spark 作业的结果，我有 1 亿条记录要插入 HBase table (PHOENIX)。我想知道如果我将它转换为 Dataframe 并保存它，它会执行批量加载（或者）它不是将数据写入 Phoenix HBase 的有效方法 table

Answer 1

发件人：乔什·马霍宁

日期：2016 年 5 月 18 日星期三 10:29 下午

主题：回复：PHOENIX SPARK - BulkLoad 的 DataFrame

收件人：用户@phoenix.apache.org

嗨，

Spark 集成使用 Phoenix MapReduce 框架，在后台将这些框架转换为分布在多个工作人员中的 UPSERT。

您应该尝试这两种方法，看看哪种方法最适合您的用例。对于它的价值，我们通常使用 Spark 集成对这些数据大小执行加载/保存操作。