逆向爬虫07 requests进阶（反爬）
1. 有些网站会在被访问时，检查客户端是否为浏览器，如果不是浏览器则拒绝访问。该问题可以通过在requests请求中，添加浏览器header参数，装成浏览器。
import requests
url = "http://www.baidu.com"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
}
resp = requests.get(url, headers=headers)
resp.encoding = "utf-8"
print(resp.text)
2. 有些网站需要用户保持登录状态才能使用网站提供的服务，浏览器中登录状态是通过cookie来保存的，此时需要使用requests中的session来保存cookie信息。
import requests
# 这个url是通过17k小说网登陆时抓包获取的
url = "https://passport.17k.com/ck/user/login"
data = {
"loginName": "xxxxxxxxxx",
"password": "xxxxxxxxxx"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
}
session = requests.session() # 使用session可以保存cookie信息
resp = session.post(url, data=data, headers=headers)
resp.encoding = "utf-8"
# print(resp.text)
print(resp.cookies)
# 这个url是通过17k小说网登陆后点击书架抓包获取的
url = "https://user.17k.com/ck/user/mine/readList?page=1&appKey=2406394919"
resp = session.get(url, headers=headers)
resp.encoding = "utf-8"
print(resp.json())
3. 有些网站的一些页面会进行溯源，它们会要求用户必须先访问页面A，再访问页面B，此时如果直接访问页面B的url，服务器会进行反爬，需要在requests中加入referer参数，来解决该问题。
"""
梨视频爬取完全是通过浏览器抓包，观察规律实现的。
1. 先通过查看浏览器F12页面元素，找到视频的url链接。
2. 在页面源代码中并没有发现视频url链接，因此确定url是动态二次加载获得的。
3. 通过抓包发现梨视频对视频url进行了简单的字符串替换处理。
4. 当所有的url都正确处理后，发现仍然访问不了页面，原因是增加了防盗链反爬措施，在requests中增加referer参数即可。
"""
import requests
url = "https://www.pearvideo.com/video_1749125"
contId = url.split("_")[1]
videoStatusUrl = f"https://www.pearvideo.com/videoStatus.jsp?contId={contId}&mrd=0.4386572049063646"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
# 防盗链：溯源，当前本次请求的上一级是谁，通过浏览器F12看请求头找到的
"Referer": f"https://www.pearvideo.com/video_{contId}"
}
# 简单的字符串替换，得到最终的视频url链接
resp = requests.get(videoStatusUrl, headers=headers)
dic = resp.json()
srcUrl = dic["videoInfo"]["videos"]["srcUrl"]
systemTime = dic["systemTime"]
srcUrl = srcUrl.replace(systemTime, f"cont-{contId}")
with open(f"{contId}.mp4", mode="wb") as f:
f.write(requests.get(srcUrl).content)
4. 有些网站还会根据IP访问的频率来鉴别是否是爬虫，如果短时间内同一个IP访问的次数过多，会将该IP加入黑名单一段时间，禁止其访问。该反爬可以通过代理IP来解决，在requests中添加proxies参数。
import requests
url = "https://www.baidu.com"
# 从快代理上找来的，"https://www.kuaidaili.com/free/intr/"
proxy = {
"http": "http://211.136.128.154:53281",
"https": "https://211.136.128.154:53281"
}
resp = requests.get(url, proxies=proxy)
resp.encoding = "utf-8"
print(resp.text)
