何时使用 AzureQueueSink

Question

我正在将现有的 Azure 数据工厂项目集成到我的解决方案中。在观察数据工厂管道时，我看到所有管道都使用 SqlSource，目的地是 AzureQueueSink。

输入数据集是 1. 本地 table 2.存储过程的输出

输出是天蓝色的 sql table。

现在我对何时使用这个感到困惑AzureQueueSink我检查了google但我没有找到关于这个用例的任何信息。

下面是示例管道 activity。

{
  "$schema": "http://datafactories.schema.management.azure.com/schemas/2015-09-01/Microsoft.DataFactory.Pipeline.json",
  "name": "OnPremToAzureList",
  "properties": {
    "activities": [
      {
        "type": "SqlServerStoredProcedure",
        "typeProperties": {
          "storedProcedureName": "dbo.TruncateStgTable",
          "storedProcedureParameters": { "TableName": "[dbo].[List]" }
        },
        "inputs": [
          {
            "name": "AzureSqlTableStart"
          }
        ],      
        "outputs": [
          {
            "name": "AzureSqlTableTruncate"
          }
        ],
        "scheduler": {
          "frequency": "Day",
          "interval": 1
        },
        "name": "SPTruncateStgTable"
      },    
      {
        "name": "CopyActivityList",
        "type": "Copy",
        "inputs": [
          {
            "name": "OnPremList"
          },
          {
            "name": "AzureSqlTableTruncate"
          }
        ],
        "outputs": [
          {
            "name": "AzureSqlTableList"
          }
        ],
        "typeProperties": {
          "source": {
            "type": "SqlSource",
            "sqlReaderQuery": "select * from dbo.List"
          },
          "sink": {
            "type": "AzureQueueSink",
            "writeBatchSize": 1000,
            "writeBatchTimeout": "00:30:00"
          }
        },
        "policy": {
          "concurrency": 1,
          "executionPriorityOrder": "OldestFirst",
          "retry": 1,
          "timeout": "01:00:00"
        },
        "scheduler": {
          "frequency": "Day",
          "interval": 1
        }
      }
    ]
  }
}

非常感谢任何帮助。

Answer 1

请不要使用 AzureQueueSink，因为尚未运送到 Azure Queue 的副本，我们也没有任何计划将其恢复。它被错误地泄漏到我们的 Sdk/Schema :)

这种接收器类型现在为您提供了不确定的行为，这种行为恰好有效，但这种行为不会持续太久。

何时使用 AzureQueueSink

When to use AzureQueueSink

azure

azure-data-factory