使用 urllib2 或任何其他 http 库读取超时

我有用于读取这样的网址的代码：

from urllib2 import Request, urlopen
req = Request(url)
for key, val in headers.items():
    req.add_header(key, val)
res = urlopen(req, timeout = timeout)
# This line blocks
content = res.read()

超时适用于 urlopen() 调用。但随后代码进入 res.read() 调用，我想在其中读取响应数据，并且此处未应用超时。因此，读取调用可能几乎永远挂起，等待来自服务器的数据。我发现的唯一解决方案是使用信号来中断 read() ，这不适合我，因为我正在使用线程。

还有什么其他选择？ Python 是否有处理读取超时的 HTTP 库？我查看了 httplib2 和 requests，它们似乎遇到了与上面相同的问题。我不想使用套接字模块编写自己的非阻塞网络代码，因为我认为应该已经有一个用于此目的的库。

Update:以下解决方案都不适合我。您可以亲自看到，在下载大文件时，设置套接字或 urlopen 超时没有任何效果：

from urllib2 import urlopen
url = 'http://iso.linuxquestions.org/download/388/7163/http/se.releases.ubuntu.com/ubuntu-12.04.3-desktop-i386.iso'
c = urlopen(url)
c.read()

至少在使用 Python 2.7.3 的 Windows 上，超时被完全忽略。

如果不通过线程或其他方式使用某种异步计时器，任何库都不可能做到这一点。原因是，timeout参数使用于httplib, urllib2和其他库设置timeout在底层的socket。这实际上做了什么解释在文档 http://pubs.opengroup.org/onlinepubs/009695399/functions/setsockopt.html.

SO_RCVTIMEO

设置超时值，该值指定输入函数完成之前等待的最长时间。它接受一个 timeval 结构，其中包含秒数和微秒数，指定等待输入操作完成的时间限制。如果接收操作已阻塞这么长时间不接收额外数据，如果没有收到数据，它应返回部分计数或设置为 [EAGAIN] 或 [EWOULDBLOCK] 的 errno。

加粗部分是关键。 Asocket.timeout仅当在持续时间内未收到单个字节时才会引发timeout窗户。换句话说，这是一个timeout接收到的字节之间。

一个简单的函数使用threading.Timer可以如下。

import httplib
import socket
import threading

def download(host, path, timeout = 10):
    content = None
    
    http = httplib.HTTPConnection(host)
    http.request('GET', path)
    response = http.getresponse()
    
    timer = threading.Timer(timeout, http.sock.shutdown, [socket.SHUT_RD])
    timer.start()
    
    try:
        content = response.read()
    except httplib.IncompleteRead:
        pass
        
    timer.cancel() # cancel on triggered Timer is safe
    http.close()
    
    return content

>>> host = 'releases.ubuntu.com'
>>> content = download(host, '/15.04/ubuntu-15.04-desktop-amd64.iso', 1)
>>> print content is None
True
>>> content = download(host, '/15.04/MD5SUMS', 1)
>>> print content is None
False

除了检查之外None，也可以捕获httplib.IncompleteRead异常不在函数内部，而是在函数外部。如果 HTTP 请求没有Content-Length header.