Python爬虫实现获取股票信息并保存到文件(亲测可运行)

主要参考了北京理工大学嵩天老师的视频，因老师所讲的网址已做更改，将获取股票列表信息和股票价格的网站做了更改，用到了beautiful soup库，re库，requests库，traceback库，datetime库。

环境说明：

Python：3.8(32bit)
IDE：Pycharm
OS：win10
访问网页数：996
运行时间：约600s

程序运行截图：

本地文件保存部分效果图：

股票列表网页源码：

<div class="u-postcontent cz" id="ctrlfscont">
<ul>
<li><a href="/gupiao/600010/">包钢股份(600010)</a></li>

网页信息源码：

<ul class="clear" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0"><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.0"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.0.0">昨 收:</span><span class="col-2-1 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.0.1">1145.00</span></li><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.1"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.1.0">今 开:</span><span class="col-2-2 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.1.1">1139.03</span></li><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.2"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.2.0">最 高:</span><span class="col-2-3 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.2.1">1147.96</span></li><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.3"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.3.0">最 低:</span><span class="col-2-4 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.0.3.1">1131.98</span></li></ul><ul class="clear" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1"><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.0"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.0.0">成交量:</span><span class="col-2-1 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.0.1">27618手</span></li><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.1"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.1.0">成交额:</span><span class="col-2-2 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.1.1">31.48亿</span></li><li style="display:block;background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.2"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.2.0">总市值:</span><span class="col-2-3 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.2.1">14千亿</span></li><li style="display:block;background-color:#fff;" title="流通市值：可交易的流通股股数乘以当时股价得出的流通股票总价值" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.3"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.3.0">流通市值:</span><span id="main-11" class="col-2-4 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.3.1">14千亿</span></li><li style="display:none;background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.4"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.4.0">振 幅:</span><span class="col-2-4 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.1.4.1">1.40%</span></li></ul><ul style="display:block;" class="clear" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2"><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.0"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.0.0">换手率:</span><span class="col-2-1 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.0.1">0.22%</span></li><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.1"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.1.0">市净率:</span><span class="col-2-2 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.1.1">11.43</span></li><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.2"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.2.0">振 幅:</span><span class="col-2-3 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.2.1">1.40%</span></li><li style="background-color:#fff;" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.3"><span data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.3.0">市盈率:</span><span class="col-2-4 bl" data-reactid=".evilk4e1gq.0.4.1.0.0.0.0.1.1.2.3.1">34.99</span></li></ul>

源码如下：

import re
import requests as res
from bs4 import BeautifulSoup as bs
import traceback
import datetime as dt

def getHTMLText(url,code="utf-8"):#从url到网页文本，为提高效率，指定默认编码
    try:
        #hd = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"}
        r=res.get(url,timeout=30)
        r.raise_for_status()
        #r.encoding=r.apparent_encoding
        r.encoding=code
        return r.text
    except:
        return ""

def getStockList(lst,stockURL):#将html文本解析并进行数据清洗获得股票名称和代号   
    r = getHTMLText(stockURL)
    soup = bs(r,"html.parser")
    try:
        for a in soup.find_all("div",id="ctrlfscont"):#或者for a in soup.find_all("div",attrs={"class":"u-postcontent cz"})
            for b in a.find_all("a"):
                #print(re.findall(r"[\u4e00-\u9fa5]{3,4}",b.string))#此句用来打印股票名字
                match = re.split(r"\(",b.string)#用(将字符串分开
                if match:
                    info = {match[0]:[match[1].split(")")[0]]}#添加键值对
                    lst.append(info)#以键值对方式存储信息到list
    except:
        traceback.print_exc()

def getStockInfo(lst,stockURL,fpath):#依据股票代号组成新URL，爬取新URL上的股票价格等信息，将信息写入本地文件，并实现实时进度条
    count = 0 #实现动态进度条,百分比
    u1 = stockURL.split(",")[0]#拆分原url
    u2 = stockURL.split(",")[1]#拆分原url
    try:
        for i in range(len(lst)):
            for key, value in lst[i].items(): #获取键和值，对应股票名称和代码
                newURL = u1 + value[0] + u2 #组合得新url地址
                r = getHTMLText(newURL)
                soup = bs(r, "html.parser")#解析
                for a in soup.find_all("ul",attrs={"class":"clear"}):#根据网页源码规律清洗数据
                    for b in a.find_all("span"):
                        lst[i][key].append(b.string) #给键增加值，对应股票价格，换手率等信息
                with open(fpath,"a",encoding="utf-8") as f:#将数据写入本地文件
                    f.write("时间："+str(dt.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))+"\n")#股票时效性较强，写入当前时间
                    f.write(str(key)+"\n"+"股票代码: ")#增强阅读友好型
                    for c in range(len(lst[i][key])):#写入信息
                        f.write(lst[i][key][c]+"  ")
                    f.write("\n\n")#增强阅读友好型
                    count = count + 1 #用于实现进度条
                    print("\r当前速度:{:.2f}%".format(count * 100 / len(lst)), end="")#用于实现进度条
        f.close()
    except:
        count = count + 1
        print("\r当前速度:{:.2f}%".format(count * 100 / len(lst)), end="")
        traceback.print_exc()

def main():#主函数
    stock_list_url = "https://www.banban.cn/gupiao/list_sh.html"#股票列表网址
    stock_info_url = "http://gu.qq.com/sh"+","+"/gp"#股票信息网址
    output_file = "D:/1.txt"#要写入的本地文件地址
    slist = []#存放股票列表信息
    getStockList(slist,stock_list_url)
    getStockInfo(slist,stock_info_url,output_file)

main()

请多指教！