需账号密码登陆的网页爬虫

对于普通网页的爬取十分简单，如果网站没有任何反爬机制，只要以下代码就可以实现对于网页的爬取

import requests
html = requests.get(url='网址',headers=headers,verify=False)

from bs4 import BeautifulSoup
soup = BeautifulSoup(html.text,'lxml')

#以下三种方式均可对html进行筛选
link = soup.select('div.houseInfo')
link = soup.find('div',attrs={'class':'houseInfo'})
links = soup.find_all('td', class_='tdc2')

然而有些网页需要账号密码登陆后才可爬取，对于需要登陆的网页爬虫，有以下两种方式：

1.selenium模拟登陆

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。但是此处我们将Selenium用于爬虫的模拟登陆上。

from selenium import webdriver
import time

driver = webdriver.Firefox()
driver.get(登陆界面URL)
inputs = driver.find_elements_by_tag_name("input")
for input_ in inputs:
    if input_.get_attribute("type") == "text":
        input_.send_keys("账号")
    if input_.get_attribute("type") == "password":
        input_.send_keys("密码")
    time.sleep(1)
ele_btn  = driver.find_element_by_name("submit")
ele_btn.click()

driver.get(url_yarn)
time.sleep(2)
html = driver.find_element_by_xpath("//*").get_attribute("outerHTML")

爬取html后可用BeautifulSoup进行解析，但是这种方法需要调用浏览器，在无浏览器的情况下无法工作

2.cookie登陆

使用账号密码登陆网站后，会生成一个cookie，我们知道得到这个cookie，在请求的时候加到header里面，就可以起到等同于账号密码登陆的效果。

获得cookie的方法

• 方法1：使用账号密码登陆网页后，火狐浏览器：点击右键-“查看元素”，谷歌浏览器：点击右键-“检查”，其余浏览器也有类似的功能，从报文中可以找到cookie，复制下来即可
  
• 方法2：使用selenium 获取cookie,同时对得到的cookie进行转换，转换为request的header中所需的格式（若不转换，则为selenium 的格式）

cookie_r = driver.get_cookies()
print(cookie_r)
cookies_list = []
for i in cookie_r:
    cookie = i['name'] + '=' + i['value']
    cookies_list.append(cookie)
cookies_str = ';'.join(cookies_list)

由于我要爬取的网页会延迟加载，即请求网页后立马返回的并不包含我需要的数据，只有经过一定等待后才可得到所需的数据，为了解决延迟加载的问题，这里继续使用selenium 。

需要注意以下几点：

• 为了能在无图形化界面的Linux系统上使用，需要下载PhantomJS，这样就不需要调用浏览器了
• 使用add_cookie添加之前获取的rookie，但之前需get一次url，虽然这里的get没有用，但不执行会报错

from selenium import webdriver
import time

driver = webdriver.PhantomJS(executable_path=PhantomJS文件路径)
driver.get(路径) #虽然这个get没用，但必须要get一下
for dic in cookie_lst: #cookie_lst是之前获取的cookie
    driver.add_cookie(dic)
driver.get(路径)
time.sleep(2)
html = driver.find_element_by_xpath("//*").get_attribute("outerHTML")

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
link2 = soup.find_all(attrs={'class':'name'})
out = []
for i in link2:
    out.append(i.text.strip())
print(out)

仍然存在的问题

有些网站的cookie是动态的，使用上述方式获取了cookie后，过一段时间cookie便失效了，目前还没有找到解决的方法