在 Azure 上执行长 运行 和高内存使用任务的最佳方法是什么?
What is the best way to execute long-running and high memory usage tasks on Azure?
我需要找到在 Azure 上执行长 运行 任务的最佳方法。
场景:
- 用户在 Web 应用(Azure 应用服务)上选择数据集和过滤器
- 根据需求我们创建SQL查询
- 针对一个或多个 Azure SQL 数据库执行查询
- 正在以 .csv 格式导出数据并上传到 Azure Blob 存储
主要问题是某些 SQL 查询的执行可能会持续 2 小时以上,结果集可能有
超过 1 亿行。
我认为 Azure Functions(以及随后的 Durable Functions)由于超时和内存使用问题而不是一个选项。
I believe that Azure Functions (and subsequently Durable Functions)
are not a option because of the timeout and memory usage.
超时限制仅在消费计划中。如果您想摆脱超时限制并想要更多内存,您可以使用高级计划或应用程序服务计划。而且由于azure function可以横向扩展,所以可以将结果拆分成多个再输入azure function
此外,您还可以使用网络作业。
我需要找到在 Azure 上执行长 运行 任务的最佳方法。 场景:
- 用户在 Web 应用(Azure 应用服务)上选择数据集和过滤器
- 根据需求我们创建SQL查询
- 针对一个或多个 Azure SQL 数据库执行查询
- 正在以 .csv 格式导出数据并上传到 Azure Blob 存储
主要问题是某些 SQL 查询的执行可能会持续 2 小时以上,结果集可能有 超过 1 亿行。
我认为 Azure Functions(以及随后的 Durable Functions)由于超时和内存使用问题而不是一个选项。
I believe that Azure Functions (and subsequently Durable Functions) are not a option because of the timeout and memory usage.
超时限制仅在消费计划中。如果您想摆脱超时限制并想要更多内存,您可以使用高级计划或应用程序服务计划。而且由于azure function可以横向扩展,所以可以将结果拆分成多个再输入azure function
此外,您还可以使用网络作业。