多处理和 Selenium Python

Question

我有 3 个 drivers（Firefox 浏览器），我希望它们 do something 在网站列表中。

我有一个工人定义为：

def worker(browser, queue):
    while True:
        id_ = queue.get(True)
        obj = ReviewID(id_)
        obj.search(browser)
        if obj.exists(browser):
            print(obj.get_url(browser))
        else:
            print("Nothing")

因此工作人员将只访问包含 ID 的队列并使用浏览器执行某些操作。

我想要一个工作人员池，这样一旦工作人员使用浏览器在 id_ 定义的网站上完成某项操作，它就会立即开始使用同一浏览器在 id_ 定义的网站上执行某项操作在队列中找到下一个 id_。我有这个：

pool = Pool(processes=3)  # I want to have 3 drivers
manager = Manager()
queue = manager.Queue()
# Define here my workers in the pool
for id_ in ids:
    queue.put(id_)
for i in range(3):
    queue.put(None)

这里我有一个问题，我不知道如何定义我的工人以便他们在池中。我需要为每个 driver 分配一个工人，所有工人共享相同的 ID 队列。这可能吗？我该怎么做？

我的另一个想法是创建一个浏览器队列，这样如果一个 driver 什么都不做，它就会被一个 worker 连同队列中的一个 id_ 一起用来执行一个新的过程。但我对多处理完全陌生，实际上不知道如何写这个。

感谢您的帮助。

Answer 1

您可以尝试在 worker 中实例化浏览器：

def worker(queue):
    browser = webdriver.Chrome()
    try:
        while True:
            id_ = queue.get(True)
            obj = ReviewID(id_)
            obj.search(browser)
            if obj.exists(browser):
                print(obj.get_url(browser))
            else:
                print("Nothing")
    finally:
        brower.quit()

多处理和 Selenium Python

Multiprocessing and Selenium Python

python

selenium

python-multiprocessing