Azure Data Lake Store 和 Azure SQL with WebJob/Azure Function
Azure Data Lake Store and Azure SQL with WebJob/Azure Function
我需要将 WEB API 响应文件上传到 Azure Data Lake。
然后我必须将这些文件转储到 Azure SQL 表中。
以上两个进程必须安排为每小时执行一次。
我应该使用 Azure Web 作业还是 Azure 函数。
如果你是 运行 Azure Functions on Consumption 计划，函数调用必须在 5 分钟内完成，这对于大数据集来说可能不够。
其余的功能和 Web 作业与您的场景相似。函数实际上 运行 在 Web 作业之上。如果您不需要 Functions 的任何高级功能（例如绑定），我会去找一份工作。
Azure 数据工厂可能是驱动这种按小时循环的管道的更好机制。更多细节在这里。
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution
我需要将 WEB API 响应文件上传到 Azure Data Lake。 然后我必须将这些文件转储到 Azure SQL 表中。
以上两个进程必须安排为每小时执行一次。 我应该使用 Azure Web 作业还是 Azure 函数。
如果你是 运行 Azure Functions on Consumption 计划，函数调用必须在 5 分钟内完成，这对于大数据集来说可能不够。
其余的功能和 Web 作业与您的场景相似。函数实际上 运行 在 Web 作业之上。如果您不需要 Functions 的任何高级功能（例如绑定），我会去找一份工作。
Azure 数据工厂可能是驱动这种按小时循环的管道的更好机制。更多细节在这里。
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution