BeautifulSoup4是一个高效的网页解析库，可以从HTML或XML文件中提取数据
支持不同的解析器，比如，对HTML解析，对XML解析，对HTML5解析
就是一个非常强大的工具，爬虫利器
一个灵感又方便的网页解析库，处理高效，支持多种解析器
利用它就不用编写正则表达式也能方便的实现网页信息的抓取
由于BS4解析页面时需要依赖文档解析器，所以还需要安装lxml作为解析库。
安装
pip install BeautifulSoup4
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库
pip install lxml
lxml 是一种使用 Python 编写的解析库，可以迅速、灵活地处理 XML 和 HTML
1 常见对象
BeautifulSoup4将HTML文档转换成一个树形结构，每个节点都是Python对象。
h = """
<html>
<head>
<title>The Dormouse's story</title>
</head>
<body>
<p class="title" name="dromouse"><b><span>The Dormouse's story</span></b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
# 1，导包
from bs4 import BeautifulSoup
#,2，实例化对象
soup = BeautifulSoup(h, 'lxml') # 参数1：要解析的内容 参数2：解析器
# 通过标签选取，会返回包含标签本身及其里面的所有内容
print(soup.head) # 包含head标签在内的所有内容
print(soup.p) # 返回匹配的第一个结果
# .string是属性,作用是获取字符串文本
print(soup.title.string)
2 find与find_all
- find：找到第一个满足条件的标签就返回。
- find_all：将所有满足条件的标签都返回。
- 在提取标签的时候，第一个参数是标签的名字。然后如果在提取标签的时候想要使用标签属性进行过滤，那么可以在这个方法中通过关键字参数的形式，将属性的名字以及对应的值传进去。或者是使用
attrs属性，将所有的属性以及对应的值放在一个字典中传给attrs属性。
- 有些时候，在提取标签的时候，不想提取那么多，那么可以使用
limit参数。限制提取多少个。
使用find_all()根据标签名查找
html='''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo-2</li>
<li class="element">Bar-2</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# print(soup.find_all('ul')) # 拿到所有ul标签及其里面内容
print(soup.find_all('ul')[0])
print(soup.find_all('div'))
get_text() 获取内容
for ul in soup.find_all('ul'):
# print(ul)
print(ul.get_text())
使用find_all()根据属性查找
html='''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# 特殊属性查找
# print(soup.find_all(class='element')) # 注意：错误案例
# a = soup.find_all(class_='element') # class属于Python关键字，做特殊处理 _
# print(a)
# 推荐的查找方法！！！ --- 指定标签和属性
# print(soup.find_all('li',{'class':'element'}))
print('----'*10)
print(soup.find_all('ul',{'id':'list-1'}))
text=() 根据文本值选择
html='''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# 语法格式：text='要查找的文本内容'
print(soup.find_all(text='Foo')) # 可以做内容统计用
print(len(soup.find_all(text='Foo'))) # 统计数量
3 select方法
详情了解：https://baike.baidu.com/item/css%E9%80%89%E6%8B%A9%E5%99%A8/2819686?fr=aladdin
使用css选择器的语法找出元素。
如果对HTML里的CSS选择器很熟悉可以考虑用此方法
注意：
1，用CSS选择器时，标签名不加任何修饰，class类名前加. , id名前加#
2，用到的方法是soup.select()，返回类型是list
3，多个过滤条件需要用空格隔开,严格遵守从前往后逐层筛选
html='''
<div class="pan">q321312321</div>
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# 根据标签去找 标签不加任何修饰 多个条件用空格隔开
print(soup.select('ul li'))
print("----"*10)
# class类名前加.
print(soup.select('.panel-heading'))
print("----"*10)
# 多个条件用空格隔开
print(soup.select('ul.list'))
print(soup.select('ul .element'))
# print("----"*10)
# 注意：可以混合使用！！
# 比如：根据id和class去找
a = soup.select('#list-1 .element')#从这个例子可以看出.select方法会获取满足条件的所有内容
print(a)
for i in a:
print(i.string)
