美丽汤无法“获取”完整网页

2024-04-21

我正在使用 BeautifulSoup 来解析来自的一堆链接但它并没有提取我想要的所有链接。为了尝试找出原因,我将 html 下载到“web_page.html”并运行

soup = BeautifulSoup(open("web_page.html"))
print soup.get_text()

我注意到它不会打印整个网页。故事在布莱克利结束。我查看了 html 代码,看看“Brackley”是否发生了奇怪的事情,但我找不到任何东西。另外,如果我将另一个链接移至布莱克利的位置,它将打印该链接,而不是布莱克利。好像只能读取一定大小的html文件?


不知道你是如何获得页面和链接的,这是我所做的,并获得了从“加拿大”开始到“Taloyoak,HAM”结束的所有链接:

from bs4 import BeautifulSoup
import requests

url = 'http://www12.statcan.gc.ca/census-recensement/2006/dp-pd/tbt/Geo-index-eng.cfm?TABID=5&LANG=E&APATH=3&DETAIL=0&DIM=0&FL=A&FREE=0&GC=0&GID=0&GK=0&GRP=1&PID=99015&PRID=0&PTYPE=88971,97154&S=0&SHOWALL=0&SUB=0&Temporal=2006&THEME=70&VID=0&VNAMEE=&VNAMEF=&D1=0&D2=0&D3=0&D4=0&D5=0&D6=0'
response = requests.get(url)

soup = BeautifulSoup(response.content)
print [a.text for a in soup.select('div.span-8 ol li a')]

Prints:

[
    u'Canada', 
    u'Newfoundland and Labrador / Terre-Neuve-et-Labrador',
    ...
    u'Gjoa Haven, HAM', 
    u'Taloyoak, HAM'
]

FYI, div.span-8 ol li a is a CSS Selector http://www.crummy.com/software/BeautifulSoup/bs4/doc/#css-selectors.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

美丽汤无法“获取”完整网页 的相关文章

随机推荐