Python3爬虫学习——requests库笔记
前言
本笔记用于记录整理requests库的一些基本知识，内容会根据博主自己的认知作增添或压缩。
其实自己看了下之前写的urllib库笔记，觉得那么写万字长文并不妥当，没有起到快速查阅的笔记作用，所以这次做了点改变。
另外就是requests库的官方文档的中文味儿太冲了，比如
Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。
警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。
看吧，这就是 Requests 的威力：…………
Requests 允许你发送纯天然，植物饲养的 HTTP/1.1 请求，无需手工劳动。你不需要手动为 URL 添加查询字串，也不需要对 POST 数据进行表单编码。Keep-alive 和 HTTP 连接池的功能是 100% 自动化的，一切动力都来自于根植在 Requests 内部的 urllib。
所以我参考的是英文版，如有不妥请不吝赐教。
requests安装
requests不是python内置库，安装指令：pip3 install requests
requests对象
需要在python调用requests库内容，首先需要导入：import requests
requests可以非常方便地用一些请求方式：
r = requests.head(url, **kwargs)
r = requests.get(url, params=None, **kwargs)
r = requests.post(url, data=None, json=None, **kwargs)
r = requests.put(url, data=None, **kwargs)
r = requests.patch(url, data=None, **kwargs)
r = requests.delete(url, **kwargs)
创建的对象r是requests.models.Response对象，即Response（响应）对象。
url参数是需要请求的连接。
*args参数是一些附加的参数，不是必须的参数。下面是一些常见的参数的简介：
**kwargs |
作用及传入方法 |
可以接受的传入 |
params |
常用于GET请求中URL附带的[?query]参数 |
字典或字节 |
headers |
用于添加请求头的参数 |
字典 |
data |
常用于POST请求中需要上传的表单数据 |
字典或元组列表、字节以及文件 |
json |
上传json格式的数据 |
字典 |
files |
用于上传文件的POST请求 |
字典 |
cookies |
用于上传Cookie |
CookieJar对象 |
timeout |
超时设置 |
单个数字（浮点）或两个值的元组 |
auth |
用于身份认证登录 |
两个字符串构成元组 |
verify |
控制是否启用SSL证书验证 |
布尔值，默认为True，即允许 |
proxies |
用于设定代理 |
字典，键为协议，值为地址 |
allow_redirects |
是否允许重定向 |
布尔值，默认为True，即允许 |
cert |
指定本地证书用作客户端证书 |
字符串元组(‘.crt’,‘.key’) |
补充说明
字节类型(byte类型)
字节类型数据要用bytes()方法将字符串转化为字节。语法如下：
class bytes([source[, encoding[, errors]]])
- 如果 source 为整数，则返回一个长度为 source 的初始化数组；
- 如果 source 为字符串，则按照指定的 encoding 将字符串转换为字节序列；
- 如果 source 为可迭代类型，则元素必须为[0 ,255] 中的整数；
- 如果 source 为与 buffer 接口一致的对象，则此对象也可以被用于初始化 bytearray。
- 如果没有输入任何参数，默认就是初始化数组为0个元素。
打印的时候遇见b''的内容，即字符串前面有一个b标记，意思是这是个字节类型对象。
文件上传
files参数是一个字典，其中键是名称，值是一个文件对象，也可以是一个2元组、3元组或4元组。
字典表示的方法：
.'name': file-like-objects #('名称','文件对象')
{'name': file-tuple} #('名称','元组')
file-tuple(元组)的内容:
('filename', fileobj)
('filename', fileobj, 'content_type')
('filename', fileobj, 'content_type', custom_headers)
'filename'是文件名，fileobj是文件类型，'content-type定义文件类型，是字符串，custom_headers是要为文件添加的其他标头的类似字典的对象。
一般直接用一个{'name',fileobject}来打开文件并上传。
cookies设置
Cookie设置除了可以给cookies参数，也可以直接写入headers的字典内。如果直接写入headers，直接从浏览器把对应的内容复制过来即可；但是如果给cookies参数，则需要额外处理成CookieJar对象。
参考方法：使用字符串方法split()对cookie字符串处理
超时设置
timeout参数如果传入一个浮点数，则代表的是发出请求到服务器返回响应的时间，单位为s(秒)对象。
如果传入一个2元组，则将timeout分为两个阶段：connect(链接)和read(读取)，这样可以分别设定链接和读取的超时时间。
上面传入一个浮点数，timeout计算的就是这两个阶段的时间总和。
SSL证书验证
如果目标URL的SSL证书是无效的（如SSL证书设置错误或没有CA机构认证），则直接用requests库请求会发生SSLError错误。
解决方法有多种：
-
将verify参数设置为False，虽然可以正常得到响应，但是这样仍然会出现警告。可以通过requests.packages.urllib3.disable_warnings()方法来设置忽略警告，也可以通过捕获日志来忽略警告：logging.captureWarnings(True)（需要提前import logging）
-
利用cert参数将本地证书用作客户端证书。
Session对象
进行两次请求，但是保持同一个session会话，需要用上session对象。
创建session对象：sessionname = requests.session()
然后就可以对这个对象调用请求方法，即可在保持session的基础上进行多次请求。
如进行一次get请求：Responsename = sessionname.get(url, params ,**kwargs)
使用这个对象请求时，可以像浏览器打开新的选项卡一样保存登录信息，而不是每次请求都打开一个新浏览器。
Response对象属性
查看响应对象的属性，可以看到响应对象的内容和信息：
| 属性 |
说明 |
属性类型 |
status_code |
响应状态码 |
int |
headers |
响应头 |
requests.structures.CaseInsensitiveDict |
cookies |
Cookie |
requests.cookies.RequestsCookiejar |
url |
URL地址 |
str |
history |
请求历史 |
list |
content |
响应内容 |
bytes |
encoding |
编码格式 |
str |
text |
响应内容 |
str |
响应状态码
响应状态码指的是网站的响应状态，详细的状态码表不一一列举，仅列举博主认为比较重要的部分：HTTP 应答状态码
| HTTP状态码 |
描述 |
查询条件（部分） |
| 200 |
请求成功 |
'ok','okay',\\o/
|
| 301 |
永久重定向 |
'moved','\\o-'
|
| 403 |
拒绝请求 |
'forbidden' |
| 404 |
请求资源不存在 |
'not_found',-o-
|
| 500 |
服务器错误 |
'server_error',/o\\
|
状态码查询对象
状态码查询对象：requests.codes
常见的状态码查询对象属性见上表的查询条件，使用方法：
用“正常”的状态码requests.codes.ok将得到200
需要更详细的使用方法，可以在IDLE内输入
rco = requests.codes，然后查看rco的内容即可。
PreparedRequest对象
requests通过构建PrepareRequest对象，再将其发送出去，从而实现请求。当然也可以直接构造PrepareRequest对象。
具体的实现方式如下：先构建一个Request实例，然后使用prepare方法转成PrepareRequest对象，然后创建一个session对象，调用其send方法实现发送请求。
>>> import requests
>>> req = requests.Request('GET', 'http://httpbin.org/get')
<Request [GET]>
>>> r = req.prepare()
<PreparedRequest [GET]>
>>> s = requests.Session()
>>> s.send(r)
<Response [200]>
使用这种方法可以灵活地实现各种请求的调度和各种操作。
小结
requests库用法比较简单，但是深究内部还有很多方法没有展示。需要注意的地方也没有urllib库那么多，以下简单罗列：
-
timeout参数包含两个部分，connect(链接)和read(读取)。
-
想要维持session，需要先创建session对象再请求。
-
可以直接利用属性status_code判断网站是否请求成功，也可以通过requests.codes对象的指定属性和status_code属性的比较判断是否
