Pytorch 神经网络模型量化分析基本框架

2023-11-08

环境准备:

1、anaconda官网下载

下载地址
https://www.anaconda.com/distribution/
注意选用该电脑相应的系统和64/32位。

已安装Python使用环境的请跳过此步骤。

已安装Python使用环境的请跳过此步骤。

2、pytorch安装

https://pytorch.org/get-started/previous-versions/

基础框架:

1、数据准备

假设我们现在用开盘价、收盘价、最高价和最低价来预测下一天涨幅。其中,开盘价、收盘价、最高价、最低价使用连续5天的数据,那么模型输入数据为4x5的矩阵。矩阵的每一行分别对应开盘价、收盘价、最高价、最低价。模型输出为下一天涨幅。下面采用随机的方法生成10个样本数据,输入为维度为10x4x5,目标涨幅为10x1。

# 构建输入数据集
class Data_set(Dataset):
    def __init__(self, transform=None):
        self.transform = transform
        self.x_data = np.random.randint(0, 10, (10,4,5))
        self.y_data = np.random.randint(0, 10, (10,1))
    
    def __getitem__(self, index):
        x, y = self.pull_item(index)
        return x, y
        
    def __len__(self):
        return self.x_data.shape[0]   
    
    def pull_item(self, index):
        return self.x_data[index, :, :], self.y_data[index, :]

2、定义神经网络模型

这里简单定义一个两层模型,第一层为卷积层,第二层为全连接层。

class MyModel(nn.Module):
    def __init__(self, num_classes=10):
        super(MyModel, self).__init__()
        self.model_name = "test"
        self.conv = nn.Conv1d(4, 1, 3, 1, 1)
        self.fc   = nn.Linear(5, 1)
        
    def forward(self, x):
        x = self.conv(x)
        x = x.view(-1, 5)
        return self.fc(x)

3、损失函数定义

损失函数用于计算模型输出与真实结果之间的误差,可以自己定义,也可以直接使用pytorch中的损失函数。

class MyLoss(nn.Module):
    def __init__(self):
        super().__init__()
        
    def forward(self, x, y):
        return torch.mean(torch.pow((x - y), 2))

4、完整代码

# -*- coding: utf-8 -*-
"""
Created on Fri Mar 13 20:30:41 2020

@author: yehx
"""

import argparse
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
from torch.utils.data import Dataset, DataLoader
from torch.autograd import Variable


# 构建输入数据集
class Data_set(Dataset):
    def __init__(self, transform=None):
        self.transform = transform
        self.x_data = np.random.randint(0, 10, (10,4,5))
        self.y_data = np.random.randint(0, 10, (10,1))
    
    def __getitem__(self, index):
        x, y = self.pull_item(index)
        return x, y
        
    def __len__(self):
        return self.x_data.shape[0]   
    
    def pull_item(self, index):
        return self.x_data[index, :, :], self.y_data[index, :]
   
    
    
class MyModel(nn.Module):
    def __init__(self, num_classes=10):
        super(MyModel, self).__init__()
        self.model_name = "test"
        self.conv = nn.Conv1d(4, 1, 3, 1, 1)
        self.fc   = nn.Linear(5, 1)
        
    def forward(self, x):
        x = self.conv(x)
        x = x.view(-1, 5)
        return self.fc(x)
    
class MyLoss(nn.Module):
    def __init__(self):
        super().__init__()
        
    def forward(self, x, y):
        return torch.mean(torch.pow((x - y), 2))

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description='基础模型参数配置')
    train_set = parser.add_mutually_exclusive_group()
    parser.add_argument('--batch_size', default=2, type=int,
                    help='Batch size for training')
    args = parser.parse_args()
    
    
    dataset = Data_set()
    data_loader = DataLoader(dataset, args.batch_size, shuffle=True)
    Net = MyModel()
    criterion = MyLoss()
    #criterion = nn.MSELoss() #也可使用pytorch自带的损失函数
    optimzer = torch.optim.SGD(Net.parameters(), lr=0.001)
    Net.train()
    loss_list = []
    num_epoches = 20
    for epoch in range(num_epoches):
        for i, data in enumerate(data_loader):
            inputs, labels = data
            inputs, labels = Variable(inputs).float(), Variable(labels).float()
            out = Net(inputs)
            loss = criterion(out, labels)  # 计算误差
            optimzer.zero_grad()  # 清除梯度
            loss.backward()
            optimzer.step()
        loss_list.append(loss.item())
        if (epoch+1) % 10 == 0:
            print('[INFO] {}/{}: Loss: {:.4f}'.format(epoch+1, num_epoches, loss.item()))
  
    #作图:误差loss在迭代过程中的变化情况
    plt.plot(loss_list, label='loss for every epoch')
    plt.legend()
    plt.show()  
  
    #训练的模型参数   
    print('[INFO] 训练后模型的参数:')
    for name,parameters in Net.named_parameters():
        print(name,':',parameters)
 
    
    
    #测试模型结果
    print('[INFO] 计算某个样本模型运算结果:')
    Net.eval()
    x_data = np.random.randint(0, 10, (4,5))
    x_data = torch.tensor(x_data).float()
    x_data = x_data.unsqueeze(0)
    y_data = Net(x_data)
    print(y_data.item())
    
    #模型保存
    torch.save(Net, 'model0.pth')
    
    #模型加载
    print('[INFO] 验证模型加载运算结果:')
    model0 =torch.load('model0.pth')
    y_data = model0 (x_data)
    print(y_data.item())




本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Pytorch 神经网络模型量化分析基本框架 的相关文章

随机推荐

  • 进程调度:时间片轮转调度算法

    一 实验目的 1 加深对进程的理解 2 理解进程控制块的结构 3 理解进程运行的并发性 4 掌握时间片轮转法进程调度算法 二 实验原理 1 建立进程控制块 2 设计两个链队列 分别表示就绪队列和完成队列 3 用户输入进程标识符 进程到达时间
  • 以太坊系列 - 以太坊的测试网

    测试网简介 目前Ethereum存在三个测试网 分别是Ropsten PoW算法 支持Parity和Geth Kovan PoA算法 Parity专用 和Rinkeby Clique PoA共识算法 Geth专用 Ropsten PoW S
  • Python绘制LTspice仿真趋势图

    LTspice集成Python处理信号 首先 使用Python创建一个信号 然后 通过一个 LTspice 滤波器电路运行它 同时我们在 python 中控制一些滤波器的可调参数 最后 使用Python绘制结果 我们打开 LTspice 并
  • js 用正则去掉小数点后面多于的0(正则非捕获)

    const arr 1200 00100 1200 00000 1200 1200 1200 10000 0 120010000 0 000011111 const regexp 0 d 0 arr forEach item gt cons
  • 利用Sql Server代理中的作业实现数据库的自动备份

    1 在Sql server代理中新建作业 2 填写作业名称 3 新建步骤 4 填写步骤名称 选择类型为T Sql脚本 在命令中输入操作脚本 以数据库databaseA 为例 脚本内容如下 DECLARE filename VARCHAR 2
  • C++数组与指针的转换

    double aa 3 0 1 2 double p 获得某个返回值为double类型的指针 返回值这边 gt 3 aa 0 p 0 aa 1 p 1 aa 2 p 2 参考博客 C 数组 及二维数组 与指针 互转 遍历 数组与引用 匆忙拥
  • 文本信息关系抽取的方法

    3 2 关系抽取的方法 由于传统机器学习的关系抽取方法选择的特征向量依赖于人工完成 也需要大量领域专业知识 而深度学习的关系抽取方法通过训练大量数据自动获得模型 不需要人工提取特征 2006年Hinton 等人 Reducing the d
  • 类模板可变参的逐步展开

    类模板可变参的逐步展开 myclasst
  • stable diffusion实践操作-VAE

    系列文章总目录 stable diffusion实践操作 文章目录 系列文章总目录 一 前言 1 定义功能全局介绍 2 模型全局介绍 2 1 后缀以及存放位置 2 2 查看大模型是否有VAE 二 正文 1 原理 1 1 基础原理 2 使用
  • 用python将图片转化为logo

    from PIL import Image def logo 打开图片 二进制打开 fp open 2 jpg rb 转换为Image对象 imagefile Image open fp 调整图片大小
  • 1. 存储器分类

    存储器的分类 存储器有很多的分类依据 按存储介质 读写功能 存取方式 在计算机中的作用等 按存储介质分类 磁性介质 磁盘 磁带 光介质 光盘 半导体介质 内存 固态硬盘 内存是易失性存储器 掉电后无信息保存 固态硬盘是非易失性存储器 掉电信
  • 博士的归宿

    1 高校 2 央企的研究院 3 外企的研发机构
  • FreeRTOS打印任务对CPU的占有率

    1 配置RTOS 1 打开RTOS Config Parameter 找到Run Time And Task States gathering related definitions 使能GENERATE RUN TIME STATS US
  • qt读取U盘文件

    程序平台 ubuntu Qt5 5 1 之前想做的一个功能是读取U盘中的文件到系统磁盘目录下 今天抽空把简版功能实现了 那会儿一直搜索的Qt如何识别U盘 最终得到的结果是Qt检测U盘插拔 发现并不是我想要的 在开始前先看下Qt帮助文档的QS
  • 利用conntrack-tools 工具查看系统追踪连接信息

    1 简介 conntrack tools 是一套Linux用户空间连接跟踪工具 用于系统管理员进行交互连接跟踪系统 它包括了用户空间的守护进程conntrackd和命令行界面conntrack 2 安装 下载连接 https pkgs or
  • MacOS上的Pip和Python升级指南

    在MacOS系统上 保持Pip和Python版本的最新状态对于顺利进行Python开发至关重要 通过升级Pip和Python 你可以享受到最新的功能 修复的bug以及提升的开发效率 本文将为你提供在MacOS上升级Pip和Python的详细
  • VirtualBox网络之仅主机(Host-Only)网络连接互联网络

    第一步 所有的虚拟机关机 先删除 第二步 共享当前笔记本上网的网络 第三步 更改笔记本Adapter对应的IP地址 第四步 重新修改虚拟机地址 第五步 启动虚拟机 ping www baidu com
  • 蓝桥杯带刷,带刷!!!

    A m计划 双指针 滑动窗口 倍增 题目描述 小明是个鹅卵石收藏者 从小到大他一共收藏了 nn 块鹅卵石 编号分别为 1 n 价值分别为 a1 a2 an 这天他乘船准备去往蓝桥王国 然而天有不测风云 小明所在的海域下起了暴雨 很快小明船上
  • (python实现)复杂网络中的关键节点识别测评四指标

    一 SIR传播范围 参考代码 Morty Ma 说明 与Morty Ma代码的传播方式不同 换成了从感染节点向邻居传播而不是遍历整个图 把退出循环的条件改成 无感染节点时退出 Morty Ma代码每次按G nodes 的顺序感染节点 且每次
  • Pytorch 神经网络模型量化分析基本框架

    环境准备 1 anaconda官网下载 下载地址https www anaconda com distribution 注意选用该电脑相应的系统和64 32位 已安装Python使用环境的请跳过此步骤 已安装Python使用环境的请跳过此步