ffmpeg azure 函数消耗计划低 CPU 高容量请求的可用性

Question

我正在运行消费计划中使用 azure 队列函数；我的函数启动了一个 FFMpeg 进程，因此非常 CPU 密集。当我运行队列中少于 100 个项目的函数一次完美运行时，azure 扩展并为我提供了大量服务器，所有任务都很快完成。我的问题是，一旦我开始一次处理超过 300 或 400 个项目，它开始时很好，但过了一会儿 CPU 慢慢地从 80% 的利用率下降到只有 10% 左右的利用率 - 我的功能无法及时完成10% CPU。这可以在下图中看到。有谁知道为什么我的函数创建的实例越多，CPU 的使用率就会降低？在此先感谢 Cuan

编辑：函数设置为每个实例一次仅运行一个，但在host.json[=14=中设置为每个实例2或3个并发进程时存在问题]

编辑：CPU 下降在 15-20 台服务器时变得明显，并在 60 台左右开始导致故障。之后 CPU 个人平均下降 8-10%达到 0-3%，服务器数量似乎无限制地增加（如果我有一些 CPU 的服务器会更有帮助）

再次感谢，爨。

我还将功能代码添加到此 post 的底部，以防有帮助。

using System.Net;
using System;
using System.Diagnostics;
using System.ComponentModel;

public static void Run(string myQueueItem, TraceWriter log)
{
    log.Info($"C# Queue trigger function processed a request: {myQueueItem}");
    //Basic Parameters
        string ffmpegFile = @"D:\home\site\wwwroot\CommonResources\ffmpeg.exe";
        string outputpath = @"D:\home\site\wwwroot\queue-ffmpeg-test\output\";
        string reloutputpath = "output/";
        string relinputpath = "input/";
        string outputfile = "video2.mp4";
        string dir =  @"D:\home\site\wwwroot\queue-ffmpeg-test\";

    //Special Parameters

        string videoFile = "1 minute basic.mp4";
        string sub = "1 minute sub.ass";
    //guid tmp files

        // Guid g1=Guid.NewGuid();
        // Guid g2=Guid.NewGuid();
        // string f1 = g1 + ".mp4";
        // string f2 = g2 + ".ass";
        string f1 = videoFile;
        string f2 = sub;
    //guid output - we will now do this at the caller level
        string g3 = myQueueItem;
        string outputGuid = g3+".mp4";
    //get input files
    //argument
        string tmp = subArg(f1, f2, outputGuid );
    //String.Format("-i \"" + @"input/tmp.mp4" + "\" -vf \"ass = '" + sub + "'\" \"" + reloutputpath +outputfile + "\" -y");
    log.Info("ffmpeg argument is: "+tmp);


    //startprocess parameters
    Process process = new Process();
    process.StartInfo.FileName = ffmpegFile;
    process.StartInfo.Arguments =  tmp;
    process.StartInfo.UseShellExecute = false;
    process.StartInfo.RedirectStandardOutput = true;
    process.StartInfo.RedirectStandardError = true;
    process.StartInfo.WorkingDirectory = dir;
    //output handler

    process.OutputDataReceived += new DataReceivedEventHandler(
        (s, e) => 
        { 
            log.Info("O: "+e.Data);
        }
    );
    process.ErrorDataReceived += new DataReceivedEventHandler(
        (s, e) => 
        { 
            log.Info("E: "+e.Data);
        }
    );
    //start process
    process.Start();
    log.Info("process started");
    process.BeginOutputReadLine();
    process.BeginErrorReadLine();
    process.WaitForExit();
}
public static void getFile(string link, string fileName, string dir, string relInputPath){
    using (var client = new WebClient()){
        client.DownloadFile(link, dir + relInputPath+ fileName);
        }

}
public static string subArg(string input1, string input2, string output1){
    return String.Format("-i \"" + @"input/" +input1+ "\" -vf \"ass = '" + @"input/"+input2 + "'\" \"" + @"output/" +output1 + "\" -y");

}

Answer 1

当您使用 D:\home 目录时，您正在写入虚拟函数，这意味着每个实例都必须不断尝试写入与函数运行相同的位置，这会导致大量 I/O 块。而是写入 D:\local 然后将完成的文件发送到其他地方解决了这个问题，这样而不是每个实例不断地写入一个位置，它们只在完成时写入，并写入一个旨在处理高吞吐量的位置。

我能找到的在写入 D:\local 后管理输入和输出的最简单方法就是将函数连接到 azure 存储容器并以这种方式处理来龙去脉。这样做使得超过 70 个并发实例的平均 CPU 保持在 90-100%。

ffmpeg azure 函数消耗计划低 CPU 高容量请求的可用性

ffmpeg azure function consumption plan low CPU availability for high volume requests

ffmpeg

function

cpu-usage

azure

serverless