静态网页与ajax动态加载
ajax动态加载的数据怎么处理
ajax基本介绍
Selenium 介绍
chromedriver
Phantomjs
driver = webdriver.Chrome(路径)
设置无界面模式
# 创建chrome设置对象
options = webdriver.ChromeOptions()
# 设置无界面功能 --headless 浏览器无界面 --xxxx
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.quit()
1.打开网页、多个网页、切换窗口
打开网页
如何打开多个窗口呢？
切换窗口
显示当前窗口
2.关闭当前窗口
driver.close()
3.网页全屏与截屏
全屏
网页截屏
方法
1.通过标签
2.通过属性值
3.通过xpath
1.获取文本text
2.获取属性值get_attribute('属性')
3.获取文本输入框内容get_attribute('value')
1.输入框-----传值send_key()与清空值clear()
send_key()传值
clear()清空值
2.按钮-----click()点击
click()点击
3.下拉框-----select与非select
select
# select标签
selectTag = Select(driver.find_element_by_class_name('nojs'))
# 选择方式
# 1 根据值来选择
selectTag.select_by_value('JP')
# 2 根据索引来选择
selectTag.select_by_index(2)
非select
# 非select标签
# 1.定位选择框并点击
divTag = driver.find_element_by_id('dk_container_country_nofake').click()
# 2.定位到要选择值的位置并点击
driver.find_element_by_xpath('xpath路径').click()
4.翻页
在不知道有多少页数的情况下进行翻页
try:
# 找不到下一页，就是最后一页，就会抛出异常 此时就证明是最后一页了
driver.find_element_by_link_text('下一页').click()
except Exception as e:
driver.quit()
break
while True:
self.pares_html()
# 在最后一页的时候，找到特殊的属性
if self.driver.page_source.find('pn-next disable') == -1:
self.driver.find_element_by_xpath(下一页的标签元素位置xpath路径).click()
time.sleep(1)
else:
self.driver.quit()
break
5.往下拉拖拽
class Spider():
def pares_html(self):
# 进入这个页面的时候，把这个拖动条拖动一下，拖到最下面，把页面全部加载出来
# 0 是从去起始位置开始
# document.body.scrollHeight 整个窗口的高度
self.driver.execute_script(
'window.scrollTo(0,document.body.scrollHeight)'
)
time.sleep(3)
1.有iframe的标签------切换iframe
2.判断是否存在某字段
if self.driver.page_source.find(标签里的字段) == -1: #判断该页面是否存在该标签
3.鼠标行为链
鼠标有啥行为和动作：双击、右键、单击、选中、拖拽…
from selenium.webdriver import ActionChains
实例化对象
提交行为链
传值
点击
更多的鼠标相关的操作
• click_and_hold(element)：点击但不松开鼠标。
• context_click(element)：右键点击。
• double_click(element)：双击。
• 更多方法请参考：http://selenium-python.readthedocs.io/api.html
4.模拟登入
账号密码登入
# 选择账号密码登入方式
driver.find_element_by_class_name('account-tab-account').click()
time.sleep(2)
# 定位账号和密码 并输入内容
driver.find_element_by_id('username').send_keys('xxxxxx')
time.sleep(1)
driver.find_element_by_id('password').send_keys('xxxxxx')
扫描登入
login_url = 'https://kyfw.12306.cn/otn/resources/login.html' # 登录的url
personal_url = 'https://kyfw.12306.cn/otn/view/index.html' # 个人中心的url
driver.get(login_url)
# 检测是否因为扫码成功url跳转到个人中心，登录也是一个耗时的操作
WebDriverWait(driver, 1000).until(
EC.url_contains(personal_url)
)
print('登录成功！')
点击头像自动登入
# 只需要点击头像就可以登陆的url
driver.get('https://xui.ptlogin2.qq.com/cgi-bin/xlogin?proxy_url=https%3A//qzs.qq.com/qzone/v6/portal/proxy.html&daid=5&&hide_title_bar=1&low_login=0&qlogin_auto_login=1&no_verifyimg=1&link_target=blank&appid=549000912&style=22&target=self&s_url=https%3A%2F%2Fqzs.qzone.qq.com%2Fqzone%2Fv5%2Floginsucc.html%3Fpara%3Dizone&pt_qr_app=手机QQ空间&pt_qr_link=http%3A//z.qzone.com/download.html&self_regurl=https%3A//qzs.qq.com/qzone/v6/reg/index.html&pt_qr_help_link=http%3A//z.qzone.com/download.html&pt_no_auth=0')
# 等待加载出后台登陆的信息
time.sleep(1)
# 定位头像位置
button = driver.find_element_by_class_name('face')
# 点击头像即登陆
button.click()
5.get_cookies()获取cookie
# 处理成可以用来爬虫的cookie信息cookie_str来模拟登入
listCookies = driver.get_cookies() 返回列表
cookie = [item['name'] + '=' + item['value'] for item in listCookies ] # cookies藏在name和value信息里
cookie_str = '; '.join(item for item in cookie)
为什么要等?
如何解决?
显示等待模块WebDriverWait与EC
（1） EC.title_is ：网页标题是否显示特定内容(必须完全符合)，如果是返回True，否则返回False
result = EC.title_is('百度一下，你就知道')
print(result(self.driver)) # True
WebDriverWait(driver,2).until(result) # True
（2）EC.title_contains ：网页标题是否包含特定内容，如果是返回True，否则返回False
result = EC.title_contains('百度')
print(result(self.driver)) # True
WebDriverWait(driver,2).until(EC.title_contains('百度') # True
（1）url_contains：url是否包含特定内容，如果是返回True，否则返回False
result = EC.url_contains('baidu')
print(result(self.driver)) # True
WebDriverWait(driver,2).until(EC.title_contains('百度') # True
（2）url_matches：正则匹配url，网页网址是否匹配特定内容，如果是返回True，否则返回False
#url是https://www.baidu.com/
pattern = r'.*?baidu.*?' #使用正则表达式，规定网址格式(格式要求以https开头)
result = EC.url_contains(pattern)
print(result(self.driver)) # True
WebDriverWait(driver,秒数).until(EC.url_matches(pattern)) # True
（3）url_to_be ：网页网址是否显示特定网址(必须完全符合)，如果是返回True，否则返回False
result = EC.url_to_be('https://www.baidu.com')
print(result(self.driver))
WebDriverWait(driver,秒数).until(EC.url_to_be('https://www.baidu.com'))
（1）presence_of_element_located： 特定元素是否存在于页面中，如果是，返回该元素(单个元素)，否则报错
locator = (By.CLASS_NAME, 'lh') #定位class='lh'的元素
result = EC.presence_of_element_located(locator)
print(result(self.driver))
WebDriverWait(driver,2).until(EC.presence_of_element_located(locator))
（2）presence_of_all_elements_located ：定位的元素范围内，是否至少有一个元素存在于页面当中，如果是，返回满足条件的所有元素组成的List，否则返回空List
locator = (By.CLASS_NAME, 'lh') #定位所有class='lh'的元素
result = EC.presence_of_all_elements_located(locator)
print(result(self.driver))
（3）visibility_of_element_located ：特定元素是否存在于网页中并可见，如果是返回该元素(单个元素)，否则报错
locator = (By.CLASS_NAME, 'hl')
result = EC.visibility_of_element_located(locator)
print(result(self.driver))
WebDriverWait(driver,2).until(EC.visibility_of_element_located(locator))
元素可见：元素的高和宽都大于0
（4）invisibility_of_element_located： 特定元素是否不可访问或不存在于DOM树中，如果不存在则返回True，否则返回True
（5）invisibility_of_element： 特定元素是否不可访问或不存在于DOM树中，如果不存在则返回True，否则返回True
（6）visibility_of： 特定元素是否存在于DOM树中并可见，如果是返回该元素(单个元素)，否则报错
element = self.driver.find_element_by_id('kw')
result = EC.visibility_of(element)
print(result(self.driver))
（7）visibility_of_any_elements_located： 定位的元素范围内，是否至少有一个元素存在于DOM树中并可见，如果是，返回满足条件的所有元素组成的List，否则返回空List
（8）visibility_of_all_elements_located： 定位的元素范围内，是否所有元素都存在于DOM树中并且可见，如果是，以List形式返回元素，否则返回False
（9）element_to_be_clickable： 特定元素是否可点击，如果可以则返回该元素，否则返回False
locator = (By.ID, 'su') #是一个可点击的按钮
result= EC.element_to_be_clickable(locator)
print(result(self.driver))
WebDriverWait(driver,2).until(EC.element_to_be_clickable(locator))
（1）text_to_be_present_in_element：特定文本是否出现在特定元素中，如果是则返回True，否则返回False
locator = (By.ID, 'su')
element = EC.text_to_be_present_in_element(locator, 'submit') #查看中是否包含'submit'
print(element(driver))
WebDriverWait(driver,2).until(EC.text_to_be_present_in_element(locator, 'submit'))
（2）text_to_be_present_in_element_value：判断某文本是否是存在于特定元素的value值中，如果是则返回True，否则返回False
locator = (By.ID, 'su')
element = EC.text_to_be_present_in_element_value(locator, '百度一下') #查看的value值中是否包含'百度一下'
print(element(driver))
WebDriverWait(driver,2).until(EC.text_to_be_present_in_element_value(locator, '百度一下') )
（1）frame_to_be_available_and_switch_to_itframe：窗口是否可被切换，如果是返回True，否则返回False
（1）number_of_windows_to_be：特定窗口数和实际窗口数是否一致，如果是返回True，否则返回False
windows = EC.number_of_windows_to_be(2) #期望窗口设置为2个
print(windows(self.driver))
WebDriverWait(driver,10).until(ECnumber_of_windows_to_be(2) )
（2）new_window_is_opened：新窗口是否打开，如果是返回True，否则返回False
current_handles = self.driver.window_handles #获得当前所有句柄数量
new_window = EC.new_window_is_opened(current_handles)
print(new_window(self.driver))
WebDriverWait(driver,10).until(EC.new_window_is_opened(current_handles) )
（1）alert_is_present：弹出框是否存在，如果是，切换到alert，否则返回false
alert = EC.alert_is_present()
WebDriverWait(driver,秒数).until(EC.alert_is_present() )
#操作alert，例如：关闭alert
alert.accpet()
未联网
没有切换iframe
JS加载，hidden
按钮无法点击
元素无法传值
模拟登录豆瓣
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
import time
driver = webdriver.Chrome(r"C:\Users\lenovo\Desktop\chromedriver.exe")
driver.get('https://www.douban.com/')
# 切换iframe
login_frame = driver.find_element_by_xpath('//*[@id="anony-reg-new"]/div/div[1]/iframe')
driver.switch_to.frame(login_frame)
# 切换登录方式 千万不要忘记click() 当属性有空格的时候 account-tab-account on 如何解决呢？1.可以选其中的一部分(通过测试)先选择长一点的尝试 2 xpath来定位
driver.find_element_by_class_name('account-tab-account').click()
time.sleep(2)
# 定位账号和密码 并输入内容
driver.find_element_by_id('username').send_keys('xxxxxx')
time.sleep(1)
driver.find_element_by_id('password').send_keys('xxxxxx')
# 点击登录按钮
driver.find_element_by_class_name('btn').click()
模拟登录12306
from selenium import webdriver
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
# 面向对象来实现
# 类是一个创建对象的对象 希望必须做一些事情 不做这个类就创建不成功
class TrainSpider(object):
login_url = 'https://kyfw.12306.cn/otn/resources/login.html' # 登录的url
personal_url = 'https://kyfw.12306.cn/otn/view/index.html' # 个人中心的url
def __init__(self,from_station,to_station,train_data):
self.from_station = from_station
self.to_station = to_station
self.train_data = train_data
def login(self):
driver.get(self.login_url)
# 登录也是一个耗时的操作
WebDriverWait(driver, 1000).until(
EC.url_contains(self.personal_url)
)
print('登录成功！')
# run一般用来封装了我们基本的功能
def run(self):
# 登录
self.login()
def main():
spider = TrainSpider('北京','长沙','2021-05-19')# 日期格式需要注意2021-05-19
spider.run()
if __name__ == '__main__':
main()
qq登入第三方界面：点击头像就可以登入的方式
from selenium import webdriver
from selenium.webdriver.common.by import By
import requests
import time
# 模拟登录QQ空间
# 携带cookie进行模拟 也就是我们先通过正常的途径进行登录此时此刻就可以获得一个cookie.然后在正常的编写一个 模拟登录的逻辑就可以啦
# 下面的逻辑 1 要通过selenium获取 qq空间的cookie值 2 解析这个cookie值 3 进行测试
driver = webdriver.Chrome(r"C:\Users\lenovo\Desktop\chromedriver.exe")
# 不要删参数 加载第三方的登录方式，需要后台登陆了qq
driver.get('https://xui.ptlogin2.qq.com/cgi-bin/xlogin?proxy_url=https%3A//qzs.qq.com/qzone/v6/portal/proxy.html&daid=5&&hide_title_bar=1&low_login=0&qlogin_auto_login=1&no_verifyimg=1&link_target=blank&appid=549000912&style=22&target=self&s_url=https%3A%2F%2Fqzs.qzone.qq.com%2Fqzone%2Fv5%2Floginsucc.html%3Fpara%3Dizone&pt_qr_app=手机QQ空间&pt_qr_link=http%3A//z.qzone.com/download.html&self_regurl=https%3A//qzs.qq.com/qzone/v6/reg/index.html&pt_qr_help_link=http%3A//z.qzone.com/download.html&pt_no_auth=0')
# 等待加载出登入的头像
time.sleep(2)
#点击登入的地方的标签
button = driver.find_element_by_class_name('face')
# 进行点击
button.click()
#等待登入界面打开
time.sleep(2)
#获取cookies
listCookies = driver.get_cookies()
cookie = [item['name'] + '=' + item['value'] for item in listCookies]
cookie_str = '; '.join(item for item in cookie)
# 目标url，登入界面
url = 'https://user.qzone.qq.com/自己的QQ号'
headers = {
'cookie':cookie_str,
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
}
html = requests.get(url,headers=headers)
time.sleep(2)
# 写入个人界面的源代码
with open('qzong.html','w',encoding='utf-8') as file_obj:
file_obj.write(html.text)
print(html.text)
from selenium import webdriver
import csv
class maoyanSpider(object):
def __init__(self):
# 创建chrome设置对象 程序没有问题在去设置 无界面模式
self.options = webdriver.ChromeOptions()
# 设置无界面功能 --headless 浏览器无界面 --xxxx
self.options.add_argument('--headless')
self.driver = webdriver.Chrome(options=self.options)
self.driver.get('https://maoyan.com/board/4')
def get_one_page(self):
# 找到这一页的dd标签，就是电影的标签,找到dd不止一个用elements
movielist = []
dd_lst = self.driver.find_elements_by_xpath('//*[@id="app"]/div/div/div[1]/dl/dd')
for dd in dd_lst:
# text属性 获取当前dd节点的子节点以及后代节点的文本内容
# 视情况而分析 验证我们打印的内容有什么规律吗？如果有 就进一步操作
# 这里有规律，所以直接对字符串切分，然后通过序号索引就行
# print(dd.text)
# print('*'*80)
one_film_info_lst = dd.text.split('\n')
try:
rank = one_film_info_lst[0].strip()
name = one_film_info_lst[1].strip()
actor = one_film_info_lst[2].strip()
time = one_film_info_lst[3].strip()
score = one_film_info_lst[4].strip()
except:
pass
movielist.append((rank,name,actor,time,score))
return movielist
def saveData(self):
header = ['排名','电影名','演员','年份','评分']
with open('maoyanMovie.csv','w',encoding='utf-8',newline='') as file_obj:
writer = csv.writer(file_obj)
writer.writerow(header)
while True:
writer.writerows(self.get_one_page())
# 如果最后一定会报错的话，用try、except比if更好用
try:
# 找不到最后一页 就会抛出异常 此时就证明是最后一页了
self.driver.find_element_by_link_text('下一页').click()
except Exception as e:
driver.quit()
break
if __name__=='__main__':
main = maoyanSpider()
main.saveData()
输入关键字，观察京东商品页面会发现，往下拉动的时候会动态弹出一部分的商品信息，是不包含在网页源代码里面的，会再次获得另一个响应结果（文件），所以是ajax动态加载出来的文件
页面分析
对于这种动态加载文件：
from selenium import webdriver
import time
import csv
class JdSpider():
def __init__(self,good_name):
self.good_name = good_name
# 设置无界面
self.options = webdriver.ChromeOptions()
# 设置无界面功能 --headless 浏览器无界面 --xxxx
self.options.add_argument('--headless')
self.driver = webdriver.Chrome(options=self.options)
self.driver.get('https://www.jd.com/')
# 定位输入框和按钮
self.driver.find_element_by_xpath('//*[@id="key"]').send_keys(self.good_name)
time.sleep(1)
self.driver.find_element_by_xpath('//*[@id="search"]/div/div[2]/button').click()
time.sleep(1)
def pares_html(self):
# 进入这个页面的时候，把这个拖动条拖动一下，拖到最下面
# 0 是从去起始位置开始
# document.body.scrollHeight 整个窗口的高度
self.driver.execute_script(
'window.scrollTo(0,document.body.scrollHeight)'
)
time.sleep(3)
# 提取数据 千万不要忘记写li
li_lst = self.driver.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li')
item = []
for li in li_lst:
# print(li.text)
# print('*'*50)
try:
price = li.find_element_by_xpath('.//div[@class="p-price"]/strong').text.strip()
name = li.find_element_by_xpath('.//div[@class="p-name"]/a/em').text.strip()
commit = li.find_element_by_xpath('.//div[@class="p-commit"]/strong').text.strip()
shop = li.find_element_by_xpath('.//div[@class="p-shopnum"]/a').text.strip()
except Exception as e:
print(e)
item.append((price,name,commit,shop))
return item
def saveData(self):
header = ['价格','商品名','评价','店铺']
with open('JD'+self.good_name+'.csv','w',encoding='utf-8',newline='') as file_obj:
writer = csv.writer(file_obj)
writer.writerow(header)
while True:
writer.writerows(self.pares_html())
# 如果最后一定会报错的话，用try、except比if更好用
# 这个代码是一直爬取到最后一页，如果不需要那么多可以手动停止，或者改成爬取页面页数限制
if self.driver.page_source.find('pn-next disable') == -1:
self.driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[1]/a[9]').click()
time.sleep(1)
else:
self.driver.quit()
break
if __name__ == '__main__':
good_name = input('请输入你要查询的商品的关键字：')
spider = JdSpider(good_name)
spider.saveData()
from selenium import webdriver
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
# 隐式等待
driver.get('https://kyfw.12306.cn/otn/leftTicket/init?linktypeid=dc')
driver.implicitly_wait(3)
# 关闭提示框
driver.find_element_by_id('gb_closeDefaultWarningWindowDialog_id').click()
# 显示等待，等待出发地加载出来，这个时候你需要自己手动的在页面添加城市信息，当页面检测出来后，就会自动的弹出车次信息
WebDriverWait(driver,1000).until(
EC.text_to_be_present_in_element_value((By.ID,'fromStationText'),'北京')
)
# 等待目的地加载出啦
WebDriverWait(driver,1000).until(
EC.text_to_be_present_in_element_value((By.ID,'toStationText'),'长沙')
)
btn = driver.find_element_by_id('query_ticket')
# 按钮不能够被点击
driver.execute_script('arguments[0].click()',btn)
# btn.click()