我正在尝试从中文网站上抓取一些由 javascript 生成的内容。我正在使用 Selenium (和 Python),因为我无法直接抓取 javascript 内容。
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.selenium import selenium
import time
import urllib2
import httplib
import urllib
import re
import base64
browser = webdriver.Firefox() # Get local session of firefox
browser.get("http://www...") # Load page (redacted here, but any works)
browser.get_body_text() #Attempt to scrape body text
我收到以下错误:
'WebDriver' object has no attribute 'get_body_text'
事实上,我似乎无法调用 selenium.selenium 类中的任何命令。毫无疑问,我忽略了一些非常明显的事情。提前致谢。
- 你只需要
from selenium import webdriver
.
- Execute
html= browser.find_element_by_xpath(".//html")
获取页面上的html元素,最大的元素。 (您可以通过多种方式执行此操作,并选择任意数量的元素。)
- Execute
html.text
返回页面的文本。
.text
是一种方法element
目的。步骤2是分配element
到名字html
.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)