使用 saveAsNewAPIHadoopDataSet 在从 Spark 存储到 HBase 时设置 NameSpace

Question

我正在尝试使用 saveHadoopDataSet API 将数据从 Spark 保存到 HBase 中。请参考下面的代码。代码工作正常。但是 table 存储在默认的 namespace.How 中，我可以在下面的代码中设置命名空间，以便 table 存储在所需的命名空间中而不是默认的.

wordCounts.foreachRDD ( rdd => {
val conf = HBaseConfiguration.create()
conf.set(TableOutputFormat.OUTPUT_TABLE, "stream_count")
conf.set("hbase.zookeeper.quorum", "localhost:2181")
conf.set("hbase.master", "localhost:60000");
conf.set("hbase.rootdir", "file:///tmp/hbase")

val jobConf = new Configuration(conf)
jobConf.set("mapreduce.job.output.key.class", classOf[Text].getName)
jobConf.set("mapreduce.job.output.value.class", classOf[LongWritable].getName)
jobConf.set("mapreduce.outputformat.class", classOf[TableOutputFormat[Text]].getName)

rdd.saveAsNewAPIHadoopDataset(jobConf)   })

Answer 1

从邮件列表中得到答案。

Replace <output_table_name> with "<namespace>:<output_table_name>"

使用 saveAsNewAPIHadoopDataSet 在从 Spark 存储到 HBase 时设置 NameSpace

Setting NameSpace while storing from Spark to HBase using saveAsNewAPIHadoopDataSet

hbase

cloudera

apache-spark