来自具有队列的生产者消费者中另一个 class 的线程

Question

我想为消费者生产者实现一个。我还没有实施消费者，因为生产者有问题。目的是在互联网上下载一些文件。线程在自定义对象的方法内启动。线程是 threading.Thread 的子类对象。这是代码

downloader_thread.py

from threading import Thread

import time


class Downloader(Thread):
    def __init__(self, queue, out_queue):
        super(Downloader, self).__init__()
        self.queue = queue
        self.out_queue = out_queue

    def run(self):
        while True:
            page = self.queue.get()
            if page:
                print "Simulating download"
                print "Downloading page ", page
                time.sleep(3)
                self.out_queue.put(page)

            self.queue.task_done()

main_class.py

from Queue import Queue

from downloader_thread import Downloader


class Main(object):
    def __init__(self):
        self.queue = Queue(0)
        self.out_queue = Queue(0)
        self.threads = []
        self.max_threads = 5

    def download(self):
        page = 1
        for i in range(self.max_threads):
            download_thread = Downloader(self.queue, self.out_queue)
            download_thread.setDaemon(True)
            download_thread.start()
            self.threads.append(download_thread)

        while page < 100:
            self.queue.put(page)
            page += 1

        self.queue.join()

        for thread in self.threads:
            thread.join()


if __name__ == "__main__":

    main = Main()
    main.download()
    while not main.out_queue.empty():
        print main.out_queue.get()

问题是这五个线程都正常启动，它们执行运行方法中的内容，但不会停止，所以 while 永远不会执行。我对线程和并发编程有点陌生，所以请保持温和:)

重点是让消费者线程处理代码的 while 部分，而不是在“main”: 部分代码中处理 while 部分代码

Answer 1

您的线程永远不会终止，因为它们有一个带有无限循环的 run() 方法。在您的 download() 方法中，您 join() 到这些线程：

        for thread in self.threads:
            thread.join()

所以程序被阻止了。只需删除连接，因为您的意思似乎是让这些线程在程序的生命周期内持续存在。

来自具有队列的生产者消费者中另一个 class 的线程

Thread from another class in a Producer Consumer with Queue

python

multithreading

queue

producer-consumer