在工作线程之间共享负载的最佳方式

Question

在工作线程之间共享线性任务以提高性能的最佳方式是什么？

以下面的基本 Deno 网络服务器为例：

主线程

// Create an array of four worker threads
const workers = new Array<Worker>(4).fill(
    new Worker(new URL("./worker.ts", import.meta.url).href, {
        type: "module",
    })
);

for await (const req of server) {
    // Pass this request to worker a worker thread
}

worker.ts

self.onmessage = async (req) => {
  //Peform some linear task on the request and make a response
};

分配任务的最佳方式是否与此类似？

function* generator(): Generator<number> {
    let i = 0;
    while (true) {
        i == 3 ? (i = 0) : i++;
        yield i;
    }
}

const gen = generator();

const workers = new Array<Worker>(4).fill(
    new Worker(new URL("./worker.ts", import.meta.url).href, {
        type: "module",
    })
);

for await (const req of server) {
    // Pass this request to a worker thread
    workers[gen.next().value].postMessage(req);
}

或者有更好的方法吗？比方说，使用 Attomics 来确定哪些线程可以自由接受另一个任务。

Answer 1

当使用这样的 WorkerThread 代码时，我发现分配作业的最佳方式是让 WorkerThread 在知道它已完成先前的作业时向主线程请求作业。然后主线程可以向它发送一个新作业以响应该消息。

在主线程中，我维护了一个作业队列和一个等待作业的 WorkerThreads 队列。如果作业队列为空，则 WorkerThread 队列中可能会有一些 workerThreads 在等待作业。然后，每当将作业添加到作业队列时，代码都会检查是否有 workerThread 正在等待，如果有，则将其从队列中移除并发送给下一个作业。

每当 workerThread 发送一条消息表明它已准备好进行下一个作业时，我们就会检查作业队列。如果那里有工作，它将被删除并发送给那个工人。如果没有，则将工作线程添加到 WorkerThread 队列中。

这一整段逻辑非常干净，不需要原子或共享内存（因为一切都通过主进程的事件循环进行控制）并且代码不多。

我在尝试了其他几种各有问题的方法后得出了这个机制。在一种情况下，我遇到了并发问题，在另一种情况下，我正在耗尽事件循环，在另一种情况下，我没有对 WorkerThreads 进行适当的流量控制并且使它们不堪重负并且没有平均分配负载。

在工作线程之间共享负载的最佳方式

Optimal way of sharing load between worker threads

javascript

multithreading

node.js

typescript

deno