目录
一、使用beautiful soup库爬取网页图片
二、使用pytesseract库识别图片中数据，并将数据存入txt文件
三、用pandas库实现txt文件到csv文件的转换
该网站中有需要的数据，但是是以图片形式存在。
这样就给我们爬取数据造成了一些困扰，没有办法之间从网站上获取数据，只能先把这些图片爬取下来，之后再进行处理。
按F12，进入开发者模式，在html源码上找到图片所在的位置：
可以看出图片位于“article”类下的第7个p块下，并且观察对应的每张图片的src，可以看出每张图片仅最后的数字不同，所以我们可以进行网址的拼接，进而调用get方法下载这些图片
通过beautiful soup库中findall()方法进行定位图片，并下载和重命名所有图片
注意：p中存储的是所有html中p块信息，而我们需要的图片位于第7个p块下，所以p[6]中是我们需要的信息
将下载的图片保存在当前目录新创建的文件夹下
爬取过程的源代码如下：
import os
import re
import time
import requests
from bs4 import BeautifulSoup
# 手动写入目标套图的首页地址
download_url = "https://www.dxsbb.com/news/85155.html"
# 手动写入网站中图片的个数
num = 23
# 创建一个文件夹用来保存图片
file_name = "2020年四川高考理科一分一段表"
# 目标图片下载地址的前半部分(固定不变那部分，后半段是变化的，需要解析网页得到)
imgae_down_url_1 = "https://www.dxsbb.com"
# 创建文件夹
def CreateFolder(file):
"""创建存储数据文件夹"""
flag = 1
while flag == 1: # 若文件已存在，则不继续往下走以免覆盖了原文件
if not os.path.exists(file):
os.mkdir(file)
flag = 0
else:
print('该文件已存在，请重新输入')
flag = 1
time.sleep(1)
# 返回文件夹的路径，这里直接放这工程的根目录下
path = os.path.abspath(file) + "\\"
return path
# 下载图片
def DownloadPicture(download_url, list, path):
# 访问目标网址
r = requests.get(url=download_url, timeout=20)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, "html.parser")
# 解析网址，提取目标图片相关信息，注：这里的解析方法是不固定的，可以根据实际的情况灵活使用
p = soup.find_all("p") #p中是所有p块的信息
tag = p[6].find_all("img") # 得到该页面目标图片的信息
# 下载图片
j = 0
for i in range(num):
if (j < len(tag) and tag[j].attrs['src'] != None):
img_name = str(i) + ".png" # 以数字命名图片，图片格式为jpg
# 获取目标图片下载地址的后半部分
imgae_down_url_2 = tag[j].attrs['src']
j = j + 1
# 把目标图片地址的前后两部分拼接起来，得到完整的下载地址
imgae_down_url = imgae_down_url_1 + imgae_down_url_2
print("imgae_down_url: ", imgae_down_url)
# 下载图片
try:
img_data = requests.get(imgae_down_url)
except:
continue
# 保存图片
img_path = path + img_name
with open(img_path, 'wb') as fp:
fp.write(img_data.content)
print(img_name, " ******下载完成！")
# 主函数
if __name__ == "__main__":
# 创建保存数据的文件夹
path = CreateFolder(file_name)
print("创建文件夹成功: ", path)
page_url = download_url # 要爬取的网页地址
# 下载图片
DownloadPicture(page_url, num, path) # 注:这个网站每一页最多是22张图片，每张图片我都用数字命名
print("全部下载完成！", "共" + str(len(os.listdir(path))) + "张图片")
有了图片之后就要对图片上的数据进行识别，pytesseract库是一个封装性较好的库，安装之后就可以调用该库进行字符识别。
调用pytesseract库进行图片中的数据识别（一开始识别精度并不高，查了一下原因发现默认的识别方法是识别文字的，而本次任务是识别数据，其实并不是很适用。所以我搜索了一下pytesseract库使用方法，发现确实可以使用“只识别数字”模式，这种模式识别的精确度果然提高了很多）
但是识别出的结果中不仅有数字，由于图片上有水印，所以结果中还有很多标点符号和乱码，需要过滤掉这些东西。所以我建立了一个停用词列表，过滤掉这些乱码和标点符号，并将过滤后的数据写入txt文件
识别后并写入txt文件效果：
图片识别代码如下：
from PIL import Image
import pytesseract
import os
def read_image(name):
text=pytesseract.image_to_string(Image.open(name), lang='chi_sim',config=r'-c tessedit_char_whitelist=0123456789 --psm 6')
exclude_char_list='.:\\|\'?!"[]()@#$%^&*<>/'
text=''.join([x for x in text if x not in exclude_char_list])
fp2 = open('2020li.txt', 'a')
fp2.write(text)
fp2.close()
def main():
path = "./"
for path, dir, file in os.walk(path):
break
pic = []
for i in file:
if (".png" in i):
pic.append(i)
for j in pic:
read_image(j)
if __name__ == '__main__':
main()
最后一步，将txt文件转换成csv文件，前提是数据和数据之间有空格，并且格式正确
（对于识别出的这些数据，我还是进行人工复查了一遍，发现识别的准确率在90%左右，出现的一些小错误要手动修改一下）
txt数据写入csv文件代码如下：
import numpy as np
import pandas as pd
txt = np.loadtxt('2020li.txt')
txtDF = pd.DataFrame(txt)
txtDF.to_csv('2020li.csv', index=False)