SQL 三角洲湖景 table
SQL View on Delta Lake table
我需要在 Databricks 中现有的 Delta Lake Table 之上创建一个抽象。
是否可以在 Spark 中基于 Delta Lake Table 创建 SQL 服务器类型的 SQL 视图?
可以像在关系数据库中一样使用以下 DDL 语句在 Delta Lake 中创建视图:
CREATE OR REPLACE VIEW SampleDB.Sample_View
AS
SELECT
ColA
,COlB
FROM SampleDB.Sample_Table
SQL现在可以通过多种方式在三角洲湖上创建视图。
- 通过 Spark:
CREATE OR REPLACE VIEW sqlView
AS SELECT col1, .., coln FROM delta_table
- 可以在增量 table(路径)上创建 Hive table。只需在配置单元环境中添加 jar,设置以下属性并创建外部 table(支持配置单元 2.x)
`
ADD JAR /path/to/delta-core-shaded-assembly_2.11-0.1.0.jar;
ADD JAR /path/to/hive-delta_2.11-0.1.0.jar;
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
CREATE EXTERNAL TABLE deltaTable(col1 INT, col2 STRING)
STORED BY 'io.delta.hive.DeltaStorageHandler'
LOCATION '/delta/table/path'
`
更多详情:https://github.com/delta-io/connectors
- Presto & Athena 可以与 Delta 集成。
https://docs.delta.io/latest/presto-integration.html
我需要在 Databricks 中现有的 Delta Lake Table 之上创建一个抽象。 是否可以在 Spark 中基于 Delta Lake Table 创建 SQL 服务器类型的 SQL 视图?
可以像在关系数据库中一样使用以下 DDL 语句在 Delta Lake 中创建视图:
CREATE OR REPLACE VIEW SampleDB.Sample_View
AS
SELECT
ColA
,COlB
FROM SampleDB.Sample_Table
SQL现在可以通过多种方式在三角洲湖上创建视图。
- 通过 Spark:
CREATE OR REPLACE VIEW sqlView
AS SELECT col1, .., coln FROM delta_table
- 可以在增量 table(路径)上创建 Hive table。只需在配置单元环境中添加 jar,设置以下属性并创建外部 table(支持配置单元 2.x)
`
ADD JAR /path/to/delta-core-shaded-assembly_2.11-0.1.0.jar;
ADD JAR /path/to/hive-delta_2.11-0.1.0.jar;
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
CREATE EXTERNAL TABLE deltaTable(col1 INT, col2 STRING)
STORED BY 'io.delta.hive.DeltaStorageHandler'
LOCATION '/delta/table/path'
`
更多详情:https://github.com/delta-io/connectors
- Presto & Athena 可以与 Delta 集成。 https://docs.delta.io/latest/presto-integration.html