Azure Table 存储到 Azure Table 存储使用 Azure 数据工厂使用 DateTime 参数化查询
Azure Table storage to Azure Table storage using Azure Data Factory using DateTime Parameterized query
我有一个 Azure Table 存储,每天都会添加几条记录(通常是 3-5 条)。有几天没有记录可以添加,所以音量很低。下面是 table 的结构,其中包含预定义的 PartitionKey、RowKey 和 Timestamp 列:
我需要从 Azure 数据工厂查询 table 前一天的记录。因此,对于下面显示的示例数据,我可以在 2019-04-26 查询 2019-04-25 数据。原因是,一天的陈旧并没有什么不同,这样一来,我就不必担心 'Watermarks' 等。我只需查询前一天的数据并将其复制到相同的 Azure Table 在 Azure Data Lake Storage Gen 2 中。
我知道我需要根据前一天的 'Timestamp' 列指定参数化查询,但不知道如何指定。
请指教
你可以在副本activitytable存储source.For中设置查询sql你的需要,它应该是这样的:
time gt datetime'2019-04-25T00:00:00' and time le datetime'2019-04-2T00:00:00'
我的示例数据如下:
预览数据如下:
请查看此文档中的一些示例:https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-table-storage#azuretablesourcequery-examples。
我有一个 Azure Table 存储,每天都会添加几条记录(通常是 3-5 条)。有几天没有记录可以添加,所以音量很低。下面是 table 的结构,其中包含预定义的 PartitionKey、RowKey 和 Timestamp 列:
我需要从 Azure 数据工厂查询 table 前一天的记录。因此,对于下面显示的示例数据,我可以在 2019-04-26 查询 2019-04-25 数据。原因是,一天的陈旧并没有什么不同,这样一来,我就不必担心 'Watermarks' 等。我只需查询前一天的数据并将其复制到相同的 Azure Table 在 Azure Data Lake Storage Gen 2 中。
我知道我需要根据前一天的 'Timestamp' 列指定参数化查询,但不知道如何指定。
请指教
你可以在副本activitytable存储source.For中设置查询sql你的需要,它应该是这样的:
time gt datetime'2019-04-25T00:00:00' and time le datetime'2019-04-2T00:00:00'
我的示例数据如下:
预览数据如下:
请查看此文档中的一些示例:https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-table-storage#azuretablesourcequery-examples。