我正在使用 python 3.5.1 和 requests 模块制作一个小型网络爬虫,该模块从特定网站下载所有漫画。我正在尝试一个页面。我使用 BeautifulSoup4 解析页面,如下所示:
import webbrowser
import sys
import requests
import re
import bs4
res = requests.get('http://mangapark.me/manga/berserk/s5/c342')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, 'html.parser')
for link in soup.find_all("a", class_ = "img-link"):
if(link):
print(link)
else:
print('ERROR')
当我做print(link)
有我感兴趣的正确 HTML 部分,但是当我尝试仅获取链接时src using link.get('src')
它只打印None
.
我尝试使用以下方式获取链接:
img = soup.find("img")["src"]
没关系,但我想要所有的 src 链接,而不是第一个链接。
我对 beautifulSoup 的经验很少。请指出这是怎么回事。谢谢。
我感兴趣的网站的示例 HTML 部分是:
<a class="img-link" href="#img2">
<img id="img-1" class="img"
rel="1" i="1" e="0" z="1"
title="Berserk ch.342 page 1" src="http://2.p.mpcdn.net/352582/687224/1.jpg"
width="960" _width="818" _heighth="1189"/>
</a>
我会用一个一次性完成CSS 选择器 http://www.crummy.com/software/BeautifulSoup/bs4/doc/#css-selectors:
for img in soup.select("a.img-link img[src]"):
print(img["src"])
在这里,我们得到了所有的img
元素具有src
属性位于a
元素与一个img-link
班级。它打印:
http://2.p.mpcdn.net/352582/687224/1.jpg
http://2.p.mpcdn.net/352582/687224/2.jpg
http://2.p.mpcdn.net/352582/687224/3.jpg
http://2.p.mpcdn.net/352582/687224/4.jpg
...
http://2.p.mpcdn.net/352582/687224/20.jpg
如果您仍想使用find_all()
,你必须嵌套它:
for link in soup.find_all("a", class_ = "img-link"):
for img in link.find_all("a", src=True): # searching for img with src attribute
print(img["src"])
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)