如何在数据块中创建具有 HIVE 格式的 EXTERNAL table

Question

我在配置单元中有一个格式如下的外部 table。

CREATE EXTERNAL TABLE cs_mbr_prov(
  key struct<inid:string,......>, 
  memkey string, 
  ob_id string, 
  .....
)
  
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.hbase.HBaseSerDe' 
STORED BY 
  'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES ( 
  'hbase.columns.mapping'=' :key,ci:MEMKEY, .....', 
  'serialization.format'='1')

我想在 Azure Databricks 中创建相同类型的 table，其中我的输入和输出采用镶木地板格式。

Answer 1

根据 official Doc 我创建并复制了 table 输入和输出在parquet格式.

示例代码：

CREATE EXTERNAL TABLE `vams`(
  `country` string,
  `count` int)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
  
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'dbfs:/FileStore/'
TBLPROPERTIES (
  'totalSize'='2335',
  'numRows'='240',
  'rawDataSize'='2095',
  'COLUMN_STATS_ACCURATE'='true',
  'numFiles'='1',
  'transient_lastDdlTime'='1418173653')

参考：

https://docs.microsoft.com/en-us/azure/databricks/spark/latest/spark-sql/language-manual/sql-ref-syntax-ddl-create-table-hiveformat

如何在数据块中创建具有 HIVE 格式的 EXTERNAL table

How can I create an EXTERNAL table with HIVE format in databricks

sql

hive

bigdata

azure-databricks