模块 'dlt' 没有属性 'table' - 数据块和增量实时表

Question

我是 databricks 和 delta live tables 的新手。我在 python.

中创建 delta live table 时遇到问题

如何从文件存储中的 json 个文件创建 delta live table？

Answer 1

您可以尝试在导入之前安装 dlt 吗？

%pip install dlt

Answer 2

它是一个装饰器，所以我认为你还需要一个函数。含义

@dlt.table(comment="your comment")
def get_bronze():
    df=spark.sql("""select * from myDb.MyRegisterdTable""")
    #If you wanna check logs:
    #print("bronze",df.take(5),"end")
    return df

在 silver 函数中你可以读作：

@dlt.table
def get_silver():
    df = dlt.read("get_bronze")
    [..do_stuff...]
    return df

另外，根据您的屏幕截图，我不确定，您是 运行 将所有这些作为管道还是尝试 运行 笔记本？后者不行。

Answer 3

Sandro 的回答应该可以解决您的问题。要使用实时表摄取 json 个文件，您可以查看这篇文章了解一些用例 https://medium.com/@chaobioz/create-delta-live-tables-dlt-dynamically-with-pyspark-e06a718199c8

此外，如果用于生产，最好也使用自动加载器。