使用 Blob 存储作为数据源按需对 SQL 中的数据进行分区

Question

在 Amazon Redshift 中，有一种方法可以在将 S3 存储桶用作数据源时创建分区键。 Link.

我正在尝试使用 SQL 按需服务在 Azure Synapse 中做类似的事情。

目前我有一个分区的存储帐户，它遵循以下方案：

-Sales (folder)
  - 2020-10-01 (folder)
    - File 1
    - File 2
  - 2020-10-02 (folder)
    - File 3
    - File 4

要创建视图并拉入所有 4 个文件，我运行命令：

CREATE VIEW testview3 AS SELECT * FROM OPENROWSET ( BULK 'Sales/*/*.csv', FORMAT = 'CSV', PARSER_VERSION = '2.0', DATA_SOURCE = 'AzureBlob', FIELDTERMINATOR = ',', FIRSTROW = 2 ) AS tv1;

如果我运行查询 SELECT * FROM [myview] 我会收到来自所有 4 个文件的数据。

我怎样才能创建分区键，以便我可以运行查询，例如

SELECT * FROM [myview] WHERE folderdate > 2020-10-01

以便我只能分析文件 3 和 4 中的数据？

我知道我可以编辑我的 OPENROWSET BULK 语句，但我希望能够首先从我的容器中获取所有数据，然后根据需要限制搜索。

Answer 1

Serverless SQL 可以使用文件名（您希望在其中加载一个或多个特定文件）和文件路径（您希望在该路径中加载所有文件）来解析分区文件夹结构。有关语法和用法的更多信息，请参阅在线文档。

在您的情况下，您可以使用文件路径语法（例如 filepath(1) > '2020-10-01'）解析“2020-10-01”及以后的所有文件

Answer 2

为了扩展 Raunak 的回答，我最终使用以下语法查询。

DROP VIEW IF EXISTS testview6
GO

CREATE VIEW testview6 AS
SELECT *,
    r.filepath(1) AS [date]
FROM OPENROWSET (
        BULK 'Sales/*/*.csv',
        FORMAT = 'CSV', PARSER_VERSION = '2.0',
        DATA_SOURCE = 'AzureBlob',
        FIELDTERMINATOR = ',',
        FIRSTROW = 2
        ) AS [r]
WHERE r.filepath(1) IN ('2020-10-02');

您可以通过添加额外的通配符 (*) 和 r.filepath(x) 语句来调整分区的粒度。

例如，您可以创建如下查询：

DROP VIEW IF EXISTS testview6
GO

CREATE VIEW testview6 AS
SELECT *,
    r.filepath(1) AS [year],
    r.filepath(2) as [month]
FROM OPENROWSET (
        BULK 'Sales/*-*-01/*.csv',
        FORMAT = 'CSV', PARSER_VERSION = '2.0',
        DATA_SOURCE = 'AzureBlob',
        FIELDTERMINATOR = ',',
        FIRSTROW = 2
        ) AS [r]
WHERE r.filepath(1) IN ('2020')
AND r.filepath(2) IN ('10');

使用 Blob 存储作为数据源按需对 SQL 中的数据进行分区

Partitioning Data in SQL On-Demand with Blob Storage as Data Source

sql

sql-server

amazon-redshift

amazon-redshift-spectrum

azure-synapse