在 Azure 上暂存或登陆
Staging or landing on Azure
我正在 Azure 数据工厂中执行 ETL,我只是想在继续之前确认我对它的理解。请找到下面附上的图片。
我正在从多个来源收集数据并存储在 Azure Blob 存储中,然后执行转换和加载。我感到困惑的是,在我的案例中,Azure Blob 存储是这里的着陆区还是暂存区。有些人互换使用这些术语,无法理解这两个术语之间的细微差别。
另外,谁能解释一下Extract、Transform和Load是哪一部分。在我的理解中,从多个源收集数据并存储到 Azure Blob 存储中是提取,Azure 数据工厂是转换,将转换后的数据复制到 Azure 数据库中是加载。我是对的还是我在这里误解了什么?
What I am confused about is that whether Azure Blob Storage is a
landing or staging area here in my case.
在您的例子中,Azure Blob 存储既是着陆区又是暂存区。着陆区是指从不同地方收集数据的区域。暂存区是指只保存一小段时间的数据,在ETL过程中应该删除暂存数据。
Also, can anyone explain me which part is Extract, Transform and Load
is.
复制Activity是典型的基于ETL的技术。如果只说Azure Data Factory的CopyActivity,当你指定复制源后,ADF会以此为基础进行复制活动,这就是'extract'。 ADF根据你的设置将数据传输到指定Sink的部分,这个是'Load',复制行为的细节是'Transform'。如果你看你的整个过程,你收集数据到blob存储也是'Extract'.
我正在 Azure 数据工厂中执行 ETL,我只是想在继续之前确认我对它的理解。请找到下面附上的图片。
我正在从多个来源收集数据并存储在 Azure Blob 存储中,然后执行转换和加载。我感到困惑的是,在我的案例中,Azure Blob 存储是这里的着陆区还是暂存区。有些人互换使用这些术语,无法理解这两个术语之间的细微差别。
另外,谁能解释一下Extract、Transform和Load是哪一部分。在我的理解中,从多个源收集数据并存储到 Azure Blob 存储中是提取,Azure 数据工厂是转换,将转换后的数据复制到 Azure 数据库中是加载。我是对的还是我在这里误解了什么?
What I am confused about is that whether Azure Blob Storage is a landing or staging area here in my case.
在您的例子中,Azure Blob 存储既是着陆区又是暂存区。着陆区是指从不同地方收集数据的区域。暂存区是指只保存一小段时间的数据,在ETL过程中应该删除暂存数据。
Also, can anyone explain me which part is Extract, Transform and Load is.
复制Activity是典型的基于ETL的技术。如果只说Azure Data Factory的CopyActivity,当你指定复制源后,ADF会以此为基础进行复制活动,这就是'extract'。 ADF根据你的设置将数据传输到指定Sink的部分,这个是'Load',复制行为的细节是'Transform'。如果你看你的整个过程,你收集数据到blob存储也是'Extract'.