使用多线程迭代向量(无数据共享或向量修改)
iterate over a vector using multiple threads (no data sharing, or vector modification)
我有大量对象向量,我只需要使用多个线程遍历向量并读取对象(不修改数据或向量)。最有效的方法是什么?它可以以无锁方式完成,也许使用原子变量吗?这种多线程进程的实现最容易阅读的是什么?
编辑:
我不希望有多个线程读取 vector 的相同元素(在这种情况下读取很耗时)。当一个线程正在读取一个元素时,我希望下一个线程读取第一个尚未读取的元素。例如,当线程 1 正在读取对象 1 时,我希望线程 2 读取对象 2。只要其中一个完成,它就可以读取对象 3,依此类推。
将输入分成等份真的很容易,它不使用锁,也不会导致内存共享。所以试试看,测量每个线程需要完成多少时间并检查是否存在相关差异。
如果差异是相关的,请考虑使用每个元素一个 atomic<bool>
的数组,在读取元素之前,线程会在与该元素相关的标志上执行 compare_exchange_strong
(我认为你可以甚至使用memory_order_relaxed
,但首先使用memory_order_acq_rel
,只有在性能不满意时才尝试放松)并且只有在交换成功时才真正处理元素。否则它会尝试下一个元素,因为有人正在处理或已经处理了当前元素。
如果不能,则可以使用单个 atomic<int>
来存储下一个要处理的元素的索引。线程仅使用 fetch_add
或 postfix++ 以原子方式获取下一个要处理的元素并递增计数器(内存排序的注意事项与上述相同)。如果读取时间的差异很大(由步骤 1 确定),您对原子变量的争用较少,因此它会表现良好。
如果竞争仍然太高,并且速度明显变慢,请尝试提前估计读取一个元素需要多少时间。如果可以的话,然后按照估计的读取时间对你的vector进行排序,让第n个线程读取每个第n个元素,这样负载会更均匀地分配。
我有大量对象向量,我只需要使用多个线程遍历向量并读取对象(不修改数据或向量)。最有效的方法是什么?它可以以无锁方式完成,也许使用原子变量吗?这种多线程进程的实现最容易阅读的是什么?
编辑: 我不希望有多个线程读取 vector 的相同元素(在这种情况下读取很耗时)。当一个线程正在读取一个元素时,我希望下一个线程读取第一个尚未读取的元素。例如,当线程 1 正在读取对象 1 时,我希望线程 2 读取对象 2。只要其中一个完成,它就可以读取对象 3,依此类推。
将输入分成等份真的很容易,它不使用锁,也不会导致内存共享。所以试试看,测量每个线程需要完成多少时间并检查是否存在相关差异。
如果差异是相关的,请考虑使用每个元素一个 atomic<bool>
的数组,在读取元素之前,线程会在与该元素相关的标志上执行 compare_exchange_strong
(我认为你可以甚至使用memory_order_relaxed
,但首先使用memory_order_acq_rel
,只有在性能不满意时才尝试放松)并且只有在交换成功时才真正处理元素。否则它会尝试下一个元素,因为有人正在处理或已经处理了当前元素。
如果不能,则可以使用单个 atomic<int>
来存储下一个要处理的元素的索引。线程仅使用 fetch_add
或 postfix++ 以原子方式获取下一个要处理的元素并递增计数器(内存排序的注意事项与上述相同)。如果读取时间的差异很大(由步骤 1 确定),您对原子变量的争用较少,因此它会表现良好。
如果竞争仍然太高,并且速度明显变慢,请尝试提前估计读取一个元素需要多少时间。如果可以的话,然后按照估计的读取时间对你的vector进行排序,让第n个线程读取每个第n个元素,这样负载会更均匀地分配。