Azure:处理 1000k blob。我应该选择哪种 Azure 服务?

Azure: Handle 1000k blobs. Which Azure Service should I choose?

我有 1000k 个 blob。我需要删除其内容中的空行并覆盖。 为了实现目标,我打算使用:

  1. Azure 网络作业
  2. 数据工厂
  3. Azure 批处理

你能给我一些建议,哪种服务最适合这种情况?

使用Azure Functions.

Easily build the apps you need using simple, serverless functions that scale to meet demand. Use the programming language of your choice, and don’t worry about servers or infrastructure.

Data Factory 是一项数据集成服务,旨在创建、安排和管理您的数据集成。这是不是删除文件中空行的工具。

Azure Batch 是一种高性能计算解决方案,可以启动大量虚拟机。这对于从文件中删除空行来说太过分了。

已经有人推荐了 Azure Functions。我会添加更多。专门使用 Azure Durable 函数并将名为 fan in/fan 的任务并行化。

您只需要跟踪您拥有的 Blob 物品 processed.It 肯定会更便宜、更快捷。你可以在这里找到更多关于并行化 blob 任务的例子。

https://docs.microsoft.com/en-us/azure/azure-functions/durable/durable-functions-cloud-backup