Polybase 中的增量加载
Incremental Loads in Polybase
我为 PolyBase 创建了一个外部 TABLE 以将数据从 BLOB 存储加载到 Azure SQL 数据仓库。我有以下关于文件加载的问题。
1) 如果数据增量增长，那么 PolyBase 将如何工作。如果有像
这样的每日示例文件
test_2019_02_01.incr
test_2019_02_02.incr
那么我们是否需要每次都创建 drop 并重新创建外部 table。如果不是，我该如何完成这项工作
CREATE EXTERNAL TABLE [dbo].[sample]
(
[social] varchar(30) NOT NULL,
[address] varchar(30) NOT NULL
)
with (
LOCATION='/TEST/',
DATA_SOURCE=POLYTEST,
FILE_FORMAT=POLY_TEST_HEADER,
REJECT_TYPE=VALUE,
REJECT_VALUE=0
)
2) 我可以在 PolyBase Azure BLOB 存储中编写 UNIX 脚本吗？
请分享您对此问题的看法。
您可以在您的 Azure SQL 数据仓库上创建一个 table 来自文件的数据将驻留在其中，然后创建位于 Azure 存储上的文件列表并遍历该列表并为列表中的每个项目创建和删除外部 table。您可以标记每个已处理的项目。每次创建外部 table 时，都会将数据加载到 Azure 数据仓库 table，然后删除外部 table。 Here 你会找到一个完整的例子。
我为 PolyBase 创建了一个外部 TABLE 以将数据从 BLOB 存储加载到 Azure SQL 数据仓库。我有以下关于文件加载的问题。
1) 如果数据增量增长，那么 PolyBase 将如何工作。如果有像
这样的每日示例文件test_2019_02_01.incr
test_2019_02_02.incr
那么我们是否需要每次都创建 drop 并重新创建外部 table。如果不是，我该如何完成这项工作
CREATE EXTERNAL TABLE [dbo].[sample]
(
[social] varchar(30) NOT NULL,
[address] varchar(30) NOT NULL
)
with (
LOCATION='/TEST/',
DATA_SOURCE=POLYTEST,
FILE_FORMAT=POLY_TEST_HEADER,
REJECT_TYPE=VALUE,
REJECT_VALUE=0
)
2) 我可以在 PolyBase Azure BLOB 存储中编写 UNIX 脚本吗？
请分享您对此问题的看法。
您可以在您的 Azure SQL 数据仓库上创建一个 table 来自文件的数据将驻留在其中，然后创建位于 Azure 存储上的文件列表并遍历该列表并为列表中的每个项目创建和删除外部 table。您可以标记每个已处理的项目。每次创建外部 table 时，都会将数据加载到 Azure 数据仓库 table，然后删除外部 table。 Here 你会找到一个完整的例子。