我正在尝试从中删除图像网站。我尝试使用 Scrapy（使用 Docker）和 scrapy/slenium。 Scrapy 似乎不适用于 windows10 home，所以我现在尝试使用 Selenium/Beautifulsoup。我正在将 Python 3.6 与 Spider 一起使用到 Anaconda 环境中。
这就是我需要的 href 元素的样子：
<a class="emblem" href="detail/emblem/av1615001">
我必须解决主要问题：
- 我应该如何使用 Beautifulsoup 选择 href？在我的代码下面，您可以看到我尝试过的内容（但没有成功）
- 由于可以观察到 href 只是 url 的部分路径...我应该如何处理这个问题？
到目前为止我的代码是：
from bs4 import BeautifulSoup
from time import sleep
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
import urllib
import requests
from os.path import basename
def start_requests(self):
self.driver = webdriver.Firefox("C:/Anaconda3/envs/scrapy/selenium/webdriver")
#programPause = input("Press the <ENTER> key to continue...")
self.driver.get("http://emblematica.grainger.illinois.edu/browse/emblems?Filter.Collection=Utrecht&Skip=0&Take=18")
html = self.driver.page_source
#html = requests.get("http://emblematica.grainger.illinois.edu/browse/emblems?Filter.Collection=Utrecht&Skip=0&Take=18")
soup = BeautifulSoup(html, "html.parser")
emblemshref = soup.select("a", {"class" : "emblem", "href" : True})
for href in emblemshref:
link = href["href"]
with open(basename(link)," wb") as f:
f.write(requests.get(link).content)
#click on "next>>"
while True:
try:
next_page = self.driver.find_element_by_xpath("//a[@id='next']")
sleep(3)
self.logger.info('Sleeping for 3 seconds')
next_page.click()
#here again the same emblemshref loop
except NoSuchElementException:
#execute next on the last page
self.logger.info('No more pages to load')
self.driver.quit()
break
您可以通过类名获取 href，如下所示：
que1:
for link in soup.findAll('a', {'class': 'emblem'}):
try:
print link['href']
except KeyError:
pass`
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
