零基础学Python 爬虫 --Tony老师 - 普门教育
python -- 兼容 -- 3.8.5
pycharm -- 付费/免费(写项目有区别) - (破解版2019)
代码提示
爬虫 概念
科技 - 智能化 - 互联网 - 数据时代 - 智能家居
爬虫 - 批量的采集数据 - 网络 - cpoy
爬虫怎么抓取网页数据？
浏览器快捷键进入开发者工具：F12
爬虫流程
截胡 - F12 - 快捷键 - 抓包 - 自带
案例 讲解 - 小试牛刀
安装模块 - 第三方模块(可自行安装)
pip3 install requests # 安装方式有5种
pip install requests
店铺-3w人在浏览店铺，却一笔都没有成交-爬虫程序在采集数据
1、反爬
2、解析方式
伪装成浏览器
身份标识 - python
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4595.0 Safari/537.36
import requests # 网站请求模块，网站的规则
import requests
import re # 解析模块，提取网页中的数据
# 1、网站目标 - 发起网络请求(联网) - 得到网站数据 -
# 字符串
# url = 'https://www.jd.com/'
# a = 1
# print(url) # 打印机
# http状态码：404 503 200
# text = requests.get(url) # <Response [200]>
# text = requests.get(url).text # 网页内容，html
# print(text)
# url = 'https://www.xiachufang.com/category/227/'
url = 'https://www.xiachufang.com/recipe/104711978/'
# get(url,params=None,**kwargs)
# text = requests.get(url).text # 返回404，反爬虫机制
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4595.0 Safari/537.36"}
text = requests.get(url,headers=headers).text
#print(text)
# 2、分析 - 网站 - 提取需要的数据
'''
通配符
(.*?) - 小括号中的所有数据，都是需要提取的
.*? - 文字太长， 想省略(不是消失)
<title>(.*?)</title>
<link href="(.*?)" rel="stylesheet" type="text/css">
<link href="(.*?)".*?type="text/css">
<script type=".*?">.*?"image":"(.*?)".*?</script>
<img src="(.*?)" alt=".*?" width="300">
'''
# 多个数据 - find(查找) all(所有的)
imgs = re.findall('<img src="(.*?)" alt=".*?" width="300">',text)
# print(imgs)
# 3、保存 - excel、txt、数据库等
# 循环 - []
for img_url in imgs:
# print(img_url)
img = requests.get(img_url,headers=headers)
# print(img)
# 图片如何保存
img_file = open('1.png','wb')
img_file.write(img.content) # 写入
break课后作业：
import requests
import re
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4595.0 Safari/537.36"}
url = 'https://www.xiachufang.com/recipe/104711978/'
text = requests.get(url,headers=headers).text # 伪装成浏览器
imgs = re.findall('<img src="(.*?)" alt=".*?" width="300">',text)
for i,img_url in enumerate(imgs):
img = requests.get(img_url,headers=headers).content
img_file = open(str(i+1) + ".png", "wb")
img_file.write(img)