XPath提取网页数据（附实例）

（一）XPath语法

借助Chrome浏览器的XPath插件来学习XPath语法，网页测试无误再把规则拿下来写代码。视频学习链接：
网络爬虫与XPath（一）
网络爬虫与XPath（二）

不完全笔记：

（1）xpath是根据元素【HTML标签】和 属性【HTML标签的属性】来定位的！原理是：基于标签的层级规则。

（2）// 标签/ 标签[＠属性][n（符合的第n个）]，注意：前面全部一模一样，再用【n】取；否则None

（3）不一定要把属性＝。。。写完整，有时只写属性自己单词也够了

（4）如何让结果有间隙！

原理：

（5）一般测试顺序：（多种取法，不唯一！）

目标标签、
目标标签、目标属性、
目标标签、父标签、
父标签+父属性
父标签+父属性+目标标签
目标标签、父标签、爷爷标签...

（6） //。。。/。。/。。注意层级关系

》爷爷
    》儿子
        》孙子

如果//爷爷/孙子是没有的，因为爷爷下 / 只能找到儿子，意思是“你家的儿子里有没有叫什么的”
而//爷爷//孙子是可以的，因为 // 意思是“你家有没有叫什么的”

（7）

（8）

（9）不在标签之内的数据如何提取

（10）

（二）用Python实践

Python爬虫的两个思路：

（1）request——response——HTML字符串——lxml库解析（etree函数）——HTML网页——XPATH提取——获取数据

注意：我们response获得网页的反馈内容实质不是html网页了，是html字符串！！！

抓取的网页放在content中，这是html字符串，而 xpath语法无法作用字符串。

想用xpath语法在python爬虫中应用：把content字符串->HTML网页->XPATH语法

（lxml库——将html字符串进行解析，实现还原为HTML页面，供XPATH语法进行数据提取）

（有时某个库出了啥问题，可能需要定时conda update all 更新一样）

使用lxml中的etree对html进行解析：

html = etree.HTML（html字符串）#此时，无法用print（html）直接打印HTML网页，有别的办法

如何打印HTML网页？

result = etree.tostring（html，encoding=’ utf8’）.decode（）#直接打印HTML会乱码，所以HTML转码为utf8，再用decode解码
print(result)

（2）把网页直接另存为到本地（不用request和response）——直接etree作用HTML网页 可以吗？

不可以，
1、有些网页页面标签缺失，不规整，会报错。
2、默认解析器不完善，需要自定义解析器。

（三）三个案例【完整代码】

（1）自写：爬取单页标题

import urllib
import requests
from lxml import etree

url = 'https://ics.cnvd.org.cn/'
headers = {
   'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request, timeout = 10) #返回一个HTTPResposne 类型的对象
content = response.read().decode('utf-8')# response.read()得到网页内容,类型为Byte，转码为str：HTML字符串，可以print
html = etree.HTML(content)#得到HTML型网页，无法print
result = html.xpath('//tbody//a/text()')#返回list类型
for re in result:
    print(re)

（2）自写

import urllib
import requests
from lxml import etree

base_url = 'https://ics.cnvd.org.cn/'

def return_html(url):
    headers = {
   'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
    request = urllib.request.Request(url=url, headers=headers)
    response = urllib.request.urlopen(request, timeout = 10) #返回一个HTTPResposne 类型的对象
    content = response.read().decode('utf-8')# response.read()得到网页内容,类型为Byte，转码为str：HTML字符串，可以print
    html = etree.HTML(content)#得到HTML型网页，无法print
    result = html.xpath('//tbody//a/text()')#返回list类型
    for re in result:
        print("漏洞名称",re)