将 azure databricks delta table 迁移到 Azure Synapse SQL 池
Migrate azure databricks delta table to Azure Synapse SQL pool
我在 scala databricks notebook 中编写了计算逻辑，此笔记本由 ADF 执行以通过从 ADLS Gen2 容器读取原始增量文件来创建增量文件。
现在我需要将所有数据块增量表从 Azure 数据块工作区迁移到 Azure Synapse 分析。
你能列出我完成这项任务需要采取的逐步方法吗？
以下是使用 Azure 数据工厂
将数据从 Azure 数据块增量 table 复制到 Azure Synapse 的步骤
- 第 1 步：使用“Azure data bricks delta lake”连接器创建数据集以指向您的增量 table
- 第 2 步：使用“Azure Synapse Analytics”连接器创建数据集以指向您的 Synapse Analytics
- 第三步：使用复制activity。在copyactivity中使用step1数据集作为source，step2数据集作为sink
Azure Databricks 中的 Delta 文件是源数据集，您必须创建管道以在数据集上执行复制 activity 以反映将成为您的 Azure 的接收器数据集突触 SQL 池。
参考这个link：Basic scenario how Copy Activity works in Azure Data Factory
我在 scala databricks notebook 中编写了计算逻辑，此笔记本由 ADF 执行以通过从 ADLS Gen2 容器读取原始增量文件来创建增量文件。
现在我需要将所有数据块增量表从 Azure 数据块工作区迁移到 Azure Synapse 分析。
你能列出我完成这项任务需要采取的逐步方法吗？
以下是使用 Azure 数据工厂
将数据从 Azure 数据块增量 table 复制到 Azure Synapse 的步骤- 第 1 步：使用“Azure data bricks delta lake”连接器创建数据集以指向您的增量 table
- 第 2 步：使用“Azure Synapse Analytics”连接器创建数据集以指向您的 Synapse Analytics
- 第三步：使用复制activity。在copyactivity中使用step1数据集作为source，step2数据集作为sink
Azure Databricks 中的 Delta 文件是源数据集，您必须创建管道以在数据集上执行复制 activity 以反映将成为您的 Azure 的接收器数据集突触 SQL 池。
参考这个link：Basic scenario how Copy Activity works in Azure Data Factory