在Python中使用队列进行线程处理

我想在 python 中使用线程来下载大量网页，并浏览了以下在其中一个网站中使用队列的代码。

它放置了一个无限的 while 循环。每个线程是否连续运行，直到所有线程都完成为止？我是不是错过了什么。

#!/usr/bin/env python
import Queue
import threading
import urllib2
import time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

queue = Queue.Queue()

class ThreadUrl(threading.Thread):
  """Threaded Url Grab"""
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self.queue = queue

  def run(self):
    while True:
      #grabs host from queue
      host = self.queue.get()

      #grabs urls of hosts and prints first 1024 bytes of page
      url = urllib2.urlopen(host)
      print url.read(1024)

      #signals to queue job is done
      self.queue.task_done()

start = time.time()
def main():

  #spawn a pool of threads, and pass them queue instance 
  for i in range(5):
    t = ThreadUrl(queue)
    t.setDaemon(True)
    t.start()

  #populate queue with data   
  for host in hosts:
    queue.put(host)

  #wait on the queue until everything has been processed     
  queue.join()

main()
print "Elapsed Time: %s" % (time.time() - start)

将线程设置为daemon当 main 完成时，线程会导致它们退出。但是，是的，你是正确的，只要线程中有东西，你的线程就会连续运行queue否则它会阻塞。

文档解释了这个细节队列文档 http://docs.python.org/2/library/queue.html

python 线程文档解释了daemon部分也是如此。

当没有剩余活动的非守护线程时，整个 Python 程序将退出。

因此，当队列被清空并且queue.join当解释器退出时恢复，线程将死亡。

编辑：更正默认行为Queue