Python 3 urllib 与请求性能

我正在使用 python 3.5，并且正在检查 urllib 模块与 requests 模块的性能。 我用 python 编写了两个客户端，第一个使用 urllib 模块，第二个使用 request 模块。 它们都生成二进制数据，我将其发送到基于 Flask 的服务器，并且我还从 Flask 服务器将二进制数据返回给客户端。 我发现两个模块（urllib、requests）将数据从客户端发送到服务器所花费的时间相同，但是与请求相比，urllib 将数据从服务器返回到客户端所花费的时间要快两倍以上。 我正在本地主机上工作。
我的问题是为什么？
我对请求模块做错了什么，导致速度变慢？

这是服务器代码：

from flask import Flask, request
app = Flask(__name__)
from timeit import default_timer as timer
import os

@app.route('/onStringSend', methods=['GET', 'POST'])
def onStringSend():
    return data

if __name__ == '__main__':
    data_size = int(1e7)
    data = os.urandom(data_size)    
    app.run(host="0.0.0.0", port=8080)

这是基于 urllib 的客户端代码：

import urllib.request as urllib2
import urllib.parse
from timeit import default_timer as timer
import os

data_size = int(1e7)
num_of_runs = 20
url = 'http://127.0.0.1:8080/onStringSend'

def send_binary_data():
    data = os.urandom(data_size)
    headers = {'User-Agent': 'Mozilla/5.0 (compatible; Chrome/22.0.1229.94;  Windows NT)', 'Content-Length': '%d' % len(data), 'Content-Type':  'application/octet-stream'}
    req = urllib2.Request(url, data, headers)
    round_trip_time_msec = [0] * num_of_runs
    for i in range(0,num_of_runs):
        t1 = timer()
        resp = urllib.request.urlopen(req)
        response_data = resp.read()
        t2 = timer()
        round_trip_time_msec[i] = (t2 - t1) * 1000

    t_max = max(round_trip_time_msec)
    t_min = min(round_trip_time_msec)
    t_average = sum(round_trip_time_msec)/len(round_trip_time_msec)

    print('max round trip time [msec]: ', t_max)
    print('min round trip time [msec]: ', t_min)
    print('average round trip time [msec]: ', t_average)


send_binary_data()

这是基于请求的客户端代码：

import requests
import os
from timeit import default_timer as timer


url = 'http://127.0.0.1:8080/onStringSend'
data_size = int(1e7)
num_of_runs = 20


def send_binary_data():
    data = os.urandom(data_size)
    s = requests.Session()
    s.headers['User-Agent'] = 'Mozilla/5.0 (compatible; Chrome/22.0.1229.94;Windows NT)'
    s.headers['Content-Type'] = 'application/octet-stream'
    s.headers['Content-Length'] = '%d' % len(data)

    round_trip_time_msec = [0] * num_of_runs
    for i in range(0,num_of_runs):
        t1 = timer()
        response_data = s.post(url=url, data=data, stream=False, verify=False)
        t2 = timer()
        round_trip_time_msec[i] = (t2 - t1) * 1000

    t_max = max(round_trip_time_msec)
    t_min = min(round_trip_time_msec)
    t_average = sum(round_trip_time_msec)/len(round_trip_time_msec)

    print('max round trip time [msec]: ', t_max)
    print('min round trip time [msec]: ', t_min)
    print('average round trip time [msec]: ', t_average)

send_binary_data()

非常感谢

首先，要重现该问题，我必须将以下行添加到您的onStringSend功能：

request.get_data()

否则，我会收到“连接由对等方重置”错误，因为服务器的接收缓冲区不断填满。

现在，这个问题的直接原因是Response.content（当stream=False) 以 10240 字节为单位迭代响应数据 https://github.com/kennethreitz/requests/blob/87704105af65b382b86f168f6a54192eab91faf2/requests/models.py#L741:

self._content = bytes().join(self.iter_content(CONTENT_CHUNK_SIZE)) or bytes()

因此，解决该问题最简单的方法是使用stream=True，从而告诉 Requests 您将按照自己的节奏读取数据：

response_data = s.post(url=url, data=data, stream=True, verify=False).raw.read()

通过此更改，Requests 版本的性能与 urllib 版本的性能大致相同。

另请参阅“原始响应内容 http://requests.readthedocs.io/en/master/user/quickstart/#raw-response-content” 请求文档中的部分以获取有用的建议。

现在，有趣的问题仍然存在：为什么Response.content迭代这么小的块？后Requests的核心开发者，看起来可能没有什么特别的原因。我提交了问题#3186 https://github.com/kennethreitz/requests/issues/3186在请求进一步调查这一点。