如何在 spark newAPIHadoopRDD 中获取 hbase 单元的所有版本？

Question

我知道当您使用 Get API 时，您可以设置 MAX_VERSION_COUNT 来获取一个单元格的所有版本。但是我没有找到任何关于如何使用spark newAPIHadoopRDD 的映射操作获取所有版本的cell 的文档。我尝试了一个天真的 result.getColumnCells() 并且 returns 只有 1 个结果。如何在 spark 中设置 MAX_VERSION_COUNT？

Answer 1

查看 TableInputFormat 的源代码后，我发现它从 hbase.mapreduce.scan.maxversions 读取配置。所以像这样设置它有效：

val conf = HBaseConfiguration.create()    
conf.set("hbase.mapreduce.scan.maxversions", "VERSION_YOU_WANT")
val hBaseRDD = sparkContext.newAPIHadoopRDD(conf, classOf[TableInputFormat],
  classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
  classOf[org.apache.hadoop.hbase.client.Result])

如何在 spark newAPIHadoopRDD 中获取 hbase 单元的所有版本？

How to get all versions of an hbase cell in a spark newAPIHadoopRDD?

hadoop

hbase

apache-spark