如何在安全的 Hbase Table 上创建 Spark Dataframe(v1.6)？
How to create a Spark Dataframe(v1.6) on a secured Hbase Table?
我正在尝试在现有的 HBase 上创建一个 spark 数据帧 Table（HBase 通过 Kerberos 得到保护）。我需要对此 table.
执行一些 spark Sql 操作
我尝试在 Hbase 上创建 RDD table 但无法将其转换为数据帧。
您可以使用 HBase 存储处理程序创建外部配置单元 table，然后使用该 table 来 运行 您的 spark-sql 查询。
正在创建外部配置单元 table:
CREATE TABLE foo(rowkey STRING, a STRING, b STRING)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (‘hbase.columns.mapping’ = ‘:key,f:c1,f:c2’)
TBLPROPERTIES (‘hbase.table.name’ = ‘bar’);
Spark-sql:
val df=spark.sql("SELECT * FROM foo WHERE …")
注意：这里的spark是一个SparkSession
我正在尝试在现有的 HBase 上创建一个 spark 数据帧 Table（HBase 通过 Kerberos 得到保护）。我需要对此 table.
执行一些 spark Sql 操作我尝试在 Hbase 上创建 RDD table 但无法将其转换为数据帧。
您可以使用 HBase 存储处理程序创建外部配置单元 table，然后使用该 table 来 运行 您的 spark-sql 查询。
正在创建外部配置单元 table:
CREATE TABLE foo(rowkey STRING, a STRING, b STRING)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (‘hbase.columns.mapping’ = ‘:key,f:c1,f:c2’)
TBLPROPERTIES (‘hbase.table.name’ = ‘bar’);
Spark-sql: val df=spark.sql("SELECT * FROM foo WHERE …")
注意：这里的spark是一个SparkSession