什么是Ajax？
Ajax 即“Asynchronous Javascript And XML”（异步 JavaScript 和 XML），是指一种创建交互式网页应用的网页开发技术。
通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
传统的网页（不使用 Ajax）如果需要更新内容，必须重载整个网页页面。
我们在浏览很多网页，比如微博，我们点击进去某条微博，底下可以加载出网友的评论，但是我们可以看到网址是没有改变的，这就是使用了ajax技术。这次以爬取今日头条的图片为例来进行Ajax数据爬取的实战演示。本文也是学习自崔庆才博主的书籍。
首先打开今日头条的网站：https://www.toutiao.com/，在搜索框内可以输入任意的内容，比如我爬取的是关于风景的图片。这里我使用的是谷歌浏览器，右键检查，选择NetWork，查看所有的网络请求。可以看到第一条网络请求就是当前的链接。点击这条请求，查看Response。如果我们这个网页是由这个请求的结果渲染出来的，那么这个请求的源代码中肯定会包含网页结果中的文字。这边可以使用搜索验证，比如搜索一下标题结果中的“破万”两个字，可以发现在这个请求中没有匹配的的结果。说明这些内容是由Ajax所加载的。
下面就可以分析Ajax请求了，Ajax的数据类型为xhr，这边可以在上面选择XHR，这样显示出来的就都是ajax请求，将网页从上拉到最下，可以看见请求逐渐变多。点击第一个请求，可以在右边看到显示出了不同的信息。
复制一下右边的Request URL，可以看到返回了json数据，所以我们的第一步就是分析请求url，获取返回的json数据。
点击每个Ajax请求，可以看到他们的Request URL参数基本相同，唯一有变化的是offset，变化规律为每次+20，所以我们在实现方法是，传入offset作为参数。然后请求的方式为GET。
以第一个请求的url为例子：
可以看到所有的参数，由次可以构造URL，然后请求这个链接，如果返回的状态码为200，那么就使用respnse.json()方法来将结果转化为json模式并返回。
# 唯一的变化就是offset
def get_page(offset):
params = {
'aid': '24',
'offset': offset,
'format': 'json',
'autoload': 'true',
'count': '20',
'cur_tab': '1',
'from': 'search_tab',
'pd': 'synthesis'
}
base_url = 'https://www.toutiao.com/api/search/content/?keyword=%E9%A3%8E%E6%99%AF' #这一部分都是相同的参数
url = base_url + urlencode(params) # 构造请求的GET参数
print(url) # 可以打印出url看自己构建的是否有效
try:
resp = requests.get(url)
if 200 == resp.status_code:
print(resp.json()) # 看下返回结果是否正确
return resp.json()
except requests.ConnectionError:
return None我们在获取json结果后，就要从中解析提取出我们所要爬取的数据。点击data可以看见很多条数据，每条数据里都有一个image_list字段，包含了我们所要爬取的图片url，所以我们要在刚才返回的结果内将图片url提取出来，通过构造一个生成器，将图片链接和标题返回。
# 提取图片链接和图片标题
def get_images(json): # 将刚才的json传入
if json.get('data'): # 找到data
data = json.get('data')
for item in data: # 找到data中标题和图片链接列表
title = item.get('title')
images = item.get('image_list')
for image in images: # 构造生成器
yield {
'image': image.get('url'),
'title': title
}将所有图片的url返回后，我们就需要一个方法来下载图片并保存。首先我们要根据返回的title值创建文件夹，然后请求这个图片链接，获取数据，以二进制形式写入文件。图片名称可以根据其内容的MD5值来命名。
# 保存图片方法
# 根据title创建文件夹，然后根据图片链接获取图片二进制文件，写入文件，图片名称为其内容的MD5值
def save_image(item):
img_path = 'img' + os.path.sep + item.get('title') # os.path.sep这是路径分割符
print(img_path)
if not os.path.exists(img_path): # 如果不存在文件夹就创一个
os.makedirs(img_path)
try:
resp = requests.get(item.get('image'))
if codes.ok == resp.status_code:
# 使用format方法格式化，生成文件路径
file_path = img_path + os.path.sep + '{file_name}.{file_suffix}'.format(
file_name=md5(resp.content).hexdigest(), # 将文件保存时，通过哈希函数对每个文件进行文件名的自动生成
file_suffix='jpg')
if not os.path.exists(file_path):
with open(file_path, 'wb') as f: # 还未下载则写入文件内容
f.write(resp.content)
print('Downloaded image path is %s' % file_path)
else:
print('Already Downloaded', file_path)
except requests.ConnectionError:
print('Failed to Save Image，item %s' % item)def main(offset):
json = get_page(offset) # 获得json的返回结果
for item in get_images(json): # 解析json获得包括标题以及图片链接的词典item
print(item) # 打印处词典信息
save_image(item) # 保存图片
GROUP_START = 0 #offset最多到120
GROUP_END = 6
if __name__ == '__main__':
pool = Pool() # python多进程，创建进程池
groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)]) # 传入1到20的参数
pool.map(main, groups) # main表示要执行的方法， 后面表示被操作的数据列表
pool.close() # 关闭进程池，不再接受新的进程
pool.join() # 主进程阻塞等待子进程的退出
在当前路径下会发现生成了一个img文件夹，点击进去就可以看见以title命名的各个文件夹，文件内就是以MD5值命名的图片。
这是一个简单的爬虫，也是我学习爬虫后第一次爬取ajax请求，大家也可以尝试爬取其他网站的图片。
