通过 JDBC 驱动程序的 Databricks table 元数据

Question

Spark JDBC 驱动程序 (SparkJDBC42.jar) 无法从下面的 table 结构中捕获某些信息：

table级评论
TBLPROPERTIES 键值对信息
按信息分区

但是，它会捕获列级评论（例如针对 employee_number 列的评论）、员工的所有列 table、他们的技术数据类型。

请告知我是否需要配置任何额外的属性，以便 read/extract 驱动程序目前无法提取的信息。

create table default.employee( 
  employee_number INT COMMENT ‘Unique identifier for an employee’, 
  employee_name VARCHAR(50), 
  employee_age INT)
PARTITIONED BY (employee_age) 
COMMENT ‘this is a table level comment’ 
TBLPROPERTIES (‘created.by.user’ = ‘Noor’, ‘created.date’ = ‘10-08-2021’);

Answer 1

您应该能够执行：

describe table extended default.employee

也通过 JDBC 界面。在第一种情况下，它将 return 具有 3 列的 table，您可以将其解析为列级和 table 级属性 - 它不应该很复杂，因为它们之间有明确的分隔符行级和 table 级数据：

您还可以执行：

show create table default.employee

这将为您提供一个 table 一列，其中包含您可以解析的 SQL 语句：

通过 JDBC 驱动程序的 Databricks table 元数据

Databricks table metadata through JDBC driver

jdbc

apache-spark

databricks

azure-databricks