通过爬虫获取“西拉代理”（http://www.xiladaili.com）上的高匿代理，并储存至一个列表。
首先对网页进行观察，主体内容如下图所示。
不但指明了代理IP、协议类型，还有存活时间、打分这些数据。有需要的朋友，可以根据存活时间、打分来有选择性地挑选一些代理，这样获得的代理更加稳定。我仅展示最朴素的方法，即爬取网页上的所有代理。
网页下方有翻页按钮，点击不同页码，可以看到网页url也是非常有规律地在变动。
一看到这么规整的数据展示，就想到了表格。我们打开浏览器的开发者模式，定位到这一片数据的源代码。可以看到的所有的数据都藏在名为tbody节点中。
整个项目的思路大致有了，大体有以下三个步骤：
①访问相关页面，读取网页源代码；
②在网页源代码中定位到tbody，从中提取每一行的IP等数据；
③保存至列表中。
在代码实现阶段，我们用selenium模拟浏览器的访问，用BeautifulSoup来解析网页源代码。
from selenium import webdriver
import numpy as np
from bs4 import BeautifulSoup
def getFreeProxy(url):
# %%打开Chrome浏览器，模拟访问网站
browser = webdriver.Chrome(executable_path="chromedriver.exe")
pageNumber = np.random.choice(300) + 1 # 改成自己要爬的页面号，我这里就随机挑选一个页面
browser.get(url + str(pageNumber)) # 步骤一代码
# %% 解析代理数据
soup = BeautifulSoup(browser.page_source, "html.parser") # 步骤二代码
proxies = [(r.text.strip().split()[0], r.text.strip().split()[1]) for r in soup.find("tbody").find_all("tr")] # 步骤三代码
return proxies
if __name__=="__main__":
url = "http://www.xiladaili.com/gaoni/"
getFreeProxy(url)
（步骤三代码这么写，是观察到每一行的数据都保存在tbody节点的一个子节点tr中，本项目中我只关心代理IP地址和代理协议类型，只取了前两列的数据）
至此已经完成了我们的基本功能。
改进一：获取的很多代理实际上是不可用的，能不能筛选一下，只保留能用的代理呢？
改进二：虽然在改进一中，我们显示地指定了浏览器通过代理IP访问网页，我能不能确认一下，实际访问网页的IP就是代理IP而不是本机IP呢？
改进三：当我跑这段代码频繁访问西拉代理的时候，有时候好几秒网页都加载不出来，这是怎么回事？