基于LSTM神经网络的通用股票预测源代码+模型+数据集

2023-11-12

基于神经网络的通用股票预测模

下载地址:基于LSTM神经网络的通用股票预测源代码+模型+数据集

0 使用方法 How to use

    1. 使用getdata.py下载数据,或者使用自己的数据源,将数据放在stock_daily目录下
    1. 使用data_preprocess.py预处理数据,生成pkl文件,放在pkl_handle目录下(可选)
    1. 调整train.py和init.py中的参数,先使用predict…py训练模型,生成模型文件,再使用predict.py进行预测,生成预测结果或测试比照图

0.1 predict.py参数介绍 Introduction to predict.py parameters

    1. –model: 模型名称,目前支持lstm和transformer
    1. –mode: 模式,目前支持train,test和predict
    1. –pkl: 是否使用pkl文件,目前支持1和0
    1. –pkl_queue: 是否使用pkl队列模式,以增加训练速度,目前支持1和0
    1. –test_code: 测试代码,目前支持股票代码
    1. –test_gpu: 是否使用gpu测试,目前支持1和0
    1. –predict_days: 预测天数,目前支持数字

0.2 init.py部分参数介绍 Introduction to some parameters in init.py

    1. TRAIN_WEIGHT: 训练权重,目前支持小于等于1的数字
    1. SEQ_LEN: 序列长度,目前支持数字
    1. BATCH_SIZE: 批量大小,目前支持数字
    1. EPOCH: 训练轮数,目前支持数字
    1. LEARNING_RATE: 学习率,目前支持小于等于1的数字
    1. WEIGHT_DECAY: 权重衰减,目前支持小于等于1的数字
    1. SAVE_NUM_ITER: 保存模型间隔,目前支持数字
    1. SAVE_NUM_EPOCH: 保存模型间隔,目前支持数字
    1. SAVE_INTERVAL: 保存模型时间间隔(秒),目前支持数字
    1. OUTPUT_DIMENSION: 输出维度,目前支持数字
    1. INPUT_DIMENSION: 输入维度,目前支持数字
    1. NUM_WORKERS: 线程数,目前支持数字
    1. PKL: 是否使用pkl文件,目前支持True和False
    1. BUFFER_SIZE: 缓冲区大小,目前支持数字
    1. symbol: 股票代码,目前支持股票代码或Generic.Data表示全部已下载的数据
    1. name_list: 需要预测的内容名称
    1. use_list: 需要预测的内容开关,1表示使用,0表示不使用

1 项目介绍 Project Introduction

New

  • 20230402

    1. 修改dataset读取方式,使用data queue以及buffer,减少IO次数,提高训练速度
    1. 将全局变量移动到init.py中,方便修改
  • 20230328

    1. 修改预处理数据文件格式,增加ts_code和date两个字段,方便后续使用
    1. 修改lstm和transformer模型,以支持混合长度输入
    1. 在transformer模型,增加了 decoder层,期望增加预测精度
  • 20230327

    1. 修改了部分运行逻辑,配合load pkl预处理文件,极大的提高了训练速度
    1. 修正了一个影响极大的关于数据流方向的bug
    1. 尝试使用新的模型
    1. 增加了一个新的指标,用于评估模型的好坏
  • 20230325

    1. 增加数据预处理功能,并能将预处理好的queue保存为pkl文件,减少IO损耗
    1. 修改不必要的代码
    1. 简化逻辑,减少时间负责度,方向是以空间换时间
    1. 增加常见的指标,增加预测精度
  • 20230322

    1. 增加输出内容控制,可以自行定义输出的内容和数量
    1. 修改读取数据源为本地csv文件
    1. 修改IO逻辑,使用多线程读取指定文件夹下的csv文件,并存储到内存中,反复训练,减少IO次数
    1. 修改lstm, transformer模型
    1. 增加下载数据功能,请使用自己的api token

获取下载数据的api token: Get the api token to download data:

    1. 在https://tushare.pro/ 网站注册,并按要求获取足够的积分(到2023年3月为止,只需要修改下用户信息,就足够积分了,以后不能确定)
    1. 在https://tushare.pro/user/token 页面可以查看自己的api token
    1. 在本项目根目录建立一个api.txt,并将获得的api token写入这个文件
    1. 使用本项目getdata.py,即可自动下载日数据

股票行情是引导交易市场变化的一大重要因素,若能够掌握股票行情的走势,则对于个人和企业的投资都有巨大的帮助。然而,股票走势会受到多方因素的影响,因此难以从影响因素入手定量地进行衡量。但如今,借助于机器学习,可以通过搭建网络,学习一定规模的股票数据,通过网络训练,获取一个能够较为准确地预测股票行情的模型,很大程度地帮助我们掌握股票的走势。本项目便搭建了**LSTM(长短期记忆网络)**成功地预测了股票的走势。

首先在数据集方面,我们选择上证000001号,中国平安股票(编号SZ_000001)数据集采用2016.01.01-2019.12.31股票数据,数据内容包括当天日期,开盘价,收盘价,最高价,最低价,交易量,换手率。数据集按照0.1比例分割产生测试集。训练过程以第T-99到T天数据作为训练输入,预测第T+1天该股票开盘价。(此处特别感谢Tushare提供的股票日数据集,欢迎大家多多支持)

训练模型及结果方面,我们首先采用了LSTM(长短期记忆网络),它相比传统的神经网络能够保持上下文信息,更有利于股票预测模型基于原先的行情,预测未来的行情。LSTM网络帮助我们得到了很好的拟合结果,loss很快趋于0。之后,我们又采用比LSTM模型更新提出的Transformer Encoder部分进行测试。但发现,结果并没有LSTM优越,曲线拟合的误差较大,并且loss的下降较慢。因此本项目,重点介绍LSTM模型预测股票行情的实现思路。

2 LSTM模型原理 Principles of LSTM model

2.1 时间序列模型 Time Series Model

时间序列模型:时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题,和回归分析模型的预测不同,时间序列模型是依赖于事件发生的先后顺序的,同样大小的值改变顺序后输入模型产生的结果是不同的。

2.1 从RNN到LSTM From RNN to LSTM

RNN:递归神经网络RNN每一次隐含层的计算结果都与当前输入以及上一次的隐含层结果相关。通过这种方法,RNN的计算结果便具备了记忆之前几次结果的特点。其中,为输入层,o为输出层,s为隐含层,而t指第几次的计算,V,W,U为权重,第t次隐含层状态如下公式所示:

S t = f ( U ∗ X t + W ∗ S t − 1 )  (1) St = f(U*Xt + W*St-1) (1) St=f(UXt+WSt1) (1)
RNN

可见,通过RNN模型想要当前隐含层状态与前n次相关,需要增大计算量,复杂度呈指数级增长。然而采用LSTM网络可解决这一问题。

LSTM(长短期记忆网络)LSTM (Long Short-Term Memory Network):

LSTM是一种特殊的RNN,它主要是Eileen解决长序列训练过程中的梯度消失和梯度爆炸问题。相比RNN,LSTM更能够在长的序列中又更好的表现。
请添加图片描述

请添加图片描述

  • LSTM内部有三个阶段:忘记阶段、选择记忆阶段、输出阶段 LSTM has three stages: the forget stage, the select memory stage, and the output stage.

    • **忘记阶段:**通过计算来作为门控,控制上一个状态的 需要遗忘的内容。

    • **选择记忆阶段:**对输入进行选择记忆,门控信号由进行控制,输入内容由[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传进行表示。

    • **输出阶段:**决定当前状态输出的内容,通过 控制,并且还对上一阶段得到的进行放缩。

    请添加图片描述

3LSTM预测股票模型实现 LSTM prediction model implementation for stock forecasting

1、数据集准备

1. Data set preparation

  • 数据集分割:数据集按照0.1比例分割产生测试集。训练过程以第T-99到T天数据作为训练输入,预测第T+1天该股票开盘价。

  • 对数据进行标准化:训练集与测试集都需要按列除以极差。在训练完成后需要进行逆处理来获得结果。

t r a i n ( [ : , i ] ) = ( t r a i n ( [ : , i ] ) ) − m i n ( t r a i n [ : , i ] ) / ( m a x ( t r a i n [ : , i ] ) − m i n ( t r a i n [ : , i ] ) ) ( 2 ) train([:,i])=(train([:,i]))-min(train[:,i])/(max(train[:,i])-min(train[:,i])) (2) train([:,i])=(train([:,i]))min(train[:,i])/(max(train[:,i])min(train[:,i]))2

t e s t ( [ : , i ] ) = ( t e s t ( [ : , i ] ) ) − m i n ( t r a i n [ : , i ] ) / ( m a x ( t r a i n [ : , i ] ) − m i n ( t r a i n [ : , i ] ) ) ( 3 ) test([:,i])=(test([:,i]))-min(train[:,i])/(max(train[:,i])-min(train[:,i])) (3) test([:,i])=(test([:,i]))min(train[:,i])/(max(train[:,i])min(train[:,i]))3

2、模型搭建

2. Model construction

使用pytorch框架搭建LSTM模型,torch.nn.LSTM()当中包含的参数设置

  • 输入特征的维数: input_size=dimension(dimension=8)

  • LSTM中隐层的维度: hidden_size=128

  • 循环神经网络的层数:num_layers=3

  • batch_first: TRUE

  • 偏置:bias默认使用

全连接层参数设置:

  • 第一层:in_features=128, out_featrues=16

  • 第二层:in_features=16, out_features=1 (映射到一个值)

3、模型训练

3. Model training

  • 经过调试,确定学习率lr=0.00001

  • 优化函数:批量梯度下降(SGD)

  • 批大小batch_size=4

  • 训练代数epoch=100

  • 损失函数:MSELoss均方损失函数,最终训练模型得到MSELoss下降为0.8左右。

请添加图片描述

4、模型预测

4. Model prediction

测试集使用已训练的模型进行验证,与真实数据不叫得到平均绝对百分比误差(MAPELoss)为0.04,可以得到测试集的准确率为96%。

请添加图片描述

5、模型成果

5. Model results

下图是对整体数据集最后一百天的K线展示:当日开盘价低于收盘价则为红色,当日开盘价高于收盘价为绿色。图中还现实了当日交易量以及均线等信息。

请添加图片描述

LSTM模型进行预测的测试集结果与真实结果对比图,可见LSTM模型预测的结果和现实股票的走势十分接近,因此具有很大的参考价值。

请添加图片描述

LSTM模型训练过程中MSELoss的变化,可以看到随着训练代数的增加,此模型的MSELoss逐渐趋于0。

请添加图片描述

4结语

4 Conclusion

本项目使用机器学习方法解决了股票市场预测的问题。项目采用开源股票数据中心的上证000001号,中国平安股票(编号SZ_000001),使用更加适合进行长时间序列预测的LSTM(长短期记忆神经网络)进行训练,通过对训练集序列的训练,在测试集上预测开盘价,最终得到准确率为96%的LSTM股票预测模型,较为精准地实现解决了股票市场预测的问题。

在项目开展过程当中,也采用过比LSTM更加新提出的Transformer模型,但对测试集的预测效果并不好,后期分析认为可能是由于在一般Transformer模型中由encoder和对应的decoder层,但在本项目的模型中使用了全连接层代替decoder,所以导致效果不佳。在后序的研究中,可以进一步改进,或许可以得到比LSTM更加优化的结果。

下载地址:基于LSTM神经网络的通用股票预测源代码+模型+数据集

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

基于LSTM神经网络的通用股票预测源代码+模型+数据集 的相关文章

随机推荐

  • 使用linux主义的问题

    第一点 看看是否有服务 没有则apt get install 第二点 更改文件后更新文件 source 文件 第三点 权限 一定要看看权限 否则上传或其他操作则不被允许
  • Python基础知识(第二天)

    链式赋值 系列解包覆值 常量 链式赋值 x y 123 相当于 x 123 y 123 系列解包覆值 a b c 4 5 6 相当于 a 4 b 5 c 6 常量 Python 不支持常量 即没有语法规则限制改变一个常量的值 我们只能约定常
  • 雅虎、领英接连退出中国,开发者:GitHub 也会受到影响吗?

    继半个月前微软宣布关闭领英 即 LinkedIn 在华业务后 本周二 雅虎也宣布了最新消息 自 2021 年 11 月 1 日起 用户将无法从中国大陆使用 Yahoo 的产品与服务 一时之间 许多人将这两起事件结合在一起 也由此引发了开发人
  • Windows使用C++模拟鼠标点击----防止校园网掉线--登录校园网

    Linux模拟鼠标使用shell脚本就可以实现了 可以搜一下就可以解决 Windows模拟鼠标点击使用Python总会出现问题 所以使用C 来实现 1 使用gl c include
  • 电脑商城项目总结-01用户管理模块(注册,登录,修改密码,个人信息,上传头像)

    目录 部分图片展示 application properties 创建数据库并且验证是否静态资源能够正常访问 创建用户表 实体类 持久层 业务层 控制层 拦截器 单元测试 部分图片展示 以下是大体上的代码 application prope
  • Mac平台VMware Fusion虚拟机无网络连接与解决方法

    打开设置Network 点击下方锁子打开权限后点击 新增一个 把所有能打的对勾都打上 打开虚拟机后点击上面的 lt gt 然后把对勾打到新增的那个网络设置上 然后重启 不是挂起 而是重启
  • SpringBoot修改端口号不生效

    springboot中端口失效问题 idea中除了在配置文件中配置端口 还可在Edit Configurations中配置端口号 以往在这里配置端口号都可生效 此次失效是因为 当前模块依赖的模块中resource文件未指定为资源文件 上图中
  • C++并发与异步知识点最全汇总

    c 并发 文章目录 c 并发 1 thread 2 this thread命名空间 3 互斥 1 mutex 2 符合RAII标准的锁 lock guard 3 符合RAII标准并且更自由 unique lock 4 死锁 1 死锁的预防
  • OpenGLES跨平台glReadPixels API问题解决

    1 引言 在原始Windows端上 我们使用glReadPixels 方法实现OpenGL 纹理到内存图像的转换 其中其支持的色彩类型包括GL RGBA GL RGB GL BGRA及GL BGR等色彩空间 便于我们实现纹理到各个色彩空间的
  • VLC搭建RTSP服务器的过程 -测试通过

    第一步 打开VLC 第二步 在媒体下拉菜单下 有一个子菜单 串流 如图所示 点击 串流 子菜单 弹出一个窗口 如下图所示 添加一个你要串流的本地文件 我刚才传给你的那个长一点的文件 第三步 会出现如下的界面 第五 点击下一步 第六步 在下拉
  • android 插入耳机 使用自身mic录音_苹果iPhone 12携最新系统强势登场,10款主流TWS耳机兼容性测试...

    北京时间2020年10月14日凌晨 苹果第二次秋季发布会成功落幕 会上发布了旗下搭载最新 iOS14 系统的 iPhone 12 系列智能手机和最新一代 HomePod mini 智能音箱 为了环保理念 苹果在此次发布会之后 官方商店在售
  • java时间工具类

    参考文档 https blog csdn net java mdzy article details 100099922 java时间工具类 package com td util import java sql Timestamp imp
  • python版本是3.9.3,如何匹配相应的pip或pip3?

    在 Windows 中 可以通过以下步骤来安装匹配 Python 3 9 3 版本的 pip 在浏览器中打开 https bootstrap pypa io get pip py 并下载该文件 打开命令提示符 Command Prompt
  • 多线程处理并有序整合数据方案

    方案设想 多线程异步 并行 处理待处理数据 for 线程池单例创实例和回收 防止处理过程中线程数过大 内存溢出 导致处理失败 例如持续for中new Thread 保证并行的线程处理个数 CountDownLatch 防止线程池未全部结束就
  • JS实现最美的3D宇宙特效

    好久没更新文章了 算下来大概有五个多月了吧 之前本人更新的比较频繁是因为疫情在家 不能出门 所以有充足的时间来更新文章 之后随着疫情越来越好转 本人就出去找工作了 毕竟本人的经济条件不允许本人闲着 哈哈 之后本人会更新很频繁的 很抱歉 这里
  • 计算机毕业设计之 房价数据爬虫及可视化分析

    1 简介 今天向大家介绍一个帮助往届学生完成的毕业设计项目 房价数据爬虫及可视化分析 计算机毕业生设计 课程设计需要帮助的可以找我 2 设计概要 链 abssdf 家房价数据 二手房数据 租房数据等 21世纪是信息化时代 随着信息技术和网络
  • openstack中cinder与swift、glance的区别

    1 cinder与swift的用途是什么 cinder是块存储 用来给虚拟机挂扩展硬盘 就是将cinder创建出来的卷 挂到虚拟机里 cinder是OpenStack到F版 将之前在Nova中的部分持久性块存储功能 Nova Volume
  • vue基础知识七:SPA首屏加载速度慢的怎么解决?

    一 什么是首屏加载 首屏时间 First Contentful Paint 指的是浏览器从响应用户输入网址地址 到首屏内容渲染完成的时间 此时整个网页不一定要全部渲染完成 但需要展示当前视窗需要的内容 首屏加载可以说是用户体验中最重要的环节
  • 前端历史 --- 从HTML静态文件到前后端分离

    前端历史 从HTML静态文件到前后端分离 1 静态HTML 2 动态HTML 服务器端渲染 CGI Common Gateway Interface servlet ASP JSP PHP 服务器端渲染 SSR 3 前后端分离 客户端渲染
  • 基于LSTM神经网络的通用股票预测源代码+模型+数据集

    基于神经网络的通用股票预测模 下载地址 基于LSTM神经网络的通用股票预测源代码 模型 数据集 0 使用方法 How to use 使用getdata py下载数据 或者使用自己的数据源 将数据放在stock daily目录下 使用data