使用LSTM训练分类模型(kreas+tensorflow)

2023-11-16

github链接:https://github.com/fangxiaozhu/Classification-model

需求描述:基于构建简单的多分类模型需求,使用的是keras深度学习库实现的,实现代码简单可用,模型优点是训练速度快,准确率达97%,适合粗粒度分类。

实现步骤:1、预处理数据:包括构建自定义词典、分词、去停用词等,处理成类似这样的训练数据格式

2、预训练word2vec模型:这里使用的是26万相关业务语料训练,保存成query.all.split.pkl模型,然后用pickle反序列化的方式进行加载。

3、得到训练集和验证集:用train_test_split按照0.15的比例将数据集划分为训练集和测试集,将文字通过word2vec字典转为词向量,根据句子最大长度进行padding补零,再转为numpy矩阵;将label转为one_hot向量,转为numpy矩阵。

4、加载sklearn中的model,自定义模型的输入和输出,输入的形状是句子最大长度;定义一个embedding层,lstm层,dropout层,全连接层(50层),激活函数是sigmoid,再过一个dropout层和全连接层(sigmoid),得到模型的输出。

5、训练和验证模型后,将模型保存到本地,这里用的是tensorflow的方式进行模型保存

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用LSTM训练分类模型(kreas+tensorflow) 的相关文章

随机推荐

  • jQuery MiniUI 开发教程 树形控件 树形:懒加载树(五)

    b 懒加载树 b img http www miniui com docs api images lazytree gif img 参考示例 url http www miniui com demo tree lazytree html 懒
  • C++:读写INI文件

    C 读写INI文件 INI文件是一种常见的配置文件格式 用于存储应用程序的配置信息 在C 中 我们可以使用一些库来读取和写入INI文件 在本文中 我将向您展示如何使用C 读取和写入INI文件 读取INI文件 对于INI文件的读取 我们可以使
  • Spring Data JPA 多数据源的使用

    p 项目中使用多个数据源在以往工作中比较常见 微服务架构中不建议一个项目使用多个数据源 在微服务架构下 一个微服务拥有自己独立的一个数据库 如果此微服务要使用其他数据库的数据 需要调用对应库的微服务接口来调用 而不是在一个项目中连接使用多个
  • U盘安装redhat 7.4的最终解决方案

    U盘安装redhat 7 4的最终解决方案 终于将redhat 7 4装上x3650 M5服务器了 过程无比艰辛 因为与CentOS7有一定区别 与redhat6 8完全不同 遇到的问题有 A 刻录镜像的时候只能刻录一个4MB EFI文件夹
  • 详解TCP为什么不能是两次握手

    三次握手的过程 注意不要遗漏全双工下两缓存 读 写缓存 的分配和变量的分配 CLOSED 表示初始状态 LISTEN 该状态表示服务器端的某个SOCKET处于监听状态 可以接受连接 SYN SENT 这个状态与SYN RCVD遥相呼应 当客
  • 【golang】for range中取地址操作的陷阱

    Tips for range创建了每个元素的副本 而不是直接返回每个元素的引用 例子1 package main import fmt func main slice int 0 1 2 3 myMap make map int int f
  • ZooKeeper之Java客户端API使用—创建节点。

    客户端可以通过ZooKeeper的API来创建一个数据节点 有如下两个接口 String create final String path byte data List
  • LeetCode-1604. 警告一小时内使用相同员工卡大于等于三次的人【哈希表,排序,数组】

    LeetCode 1604 警告一小时内使用相同员工卡大于等于三次的人 哈希表 排序 数组 题目描述 解题思路一 时间转换成分钟数 直接解决跨天问题 用哈希表记录每个员工的名字以及对应的时间 然后遍历哈希表 对于每个员工 我们将该员工的所有
  • 跟我学Java设计模式第7天:行为型设计模式

    Java设计模式文章目录 跟我学Java设计模式第一天 设计模式概述和软件设计原则 跟我学Java设计模式第二天 简单工厂模式 工厂方法模式 抽象工厂模式 跟我学Java设计模式第三天 代理模式 适配器 装饰者等其中模式结构 跟我学Java
  • Qt安装(Windows平台)

    Qt 的安装组件分为两部分 一部分是 Qt 5 9 分类下的 该分类包含的是真正的 Qt 开发库组件 另一部分是 Tools 分类下的 该分类包含的是集成开发环境和编译工具 Qt 5 9 分类下的开发组件 组件 说明 MinGW 5 3 0
  • 【elementplus】解决el-table设置固定高度后,横向滚动条消失的问题

    消失的原因 因为我给el scrollbar bar设置了position static 覆盖了它原本的样式position absolute 解决 把position static删掉
  • hbase region 分配方式

    参与 Region 分配的重要对象 在 Region 分配过程当中 起着重要做用有以下一些对象 安全 HMaster 是 HBase 中的 Master server 仅有一个 HRegionServer 负责多个 HRegion 使之能向
  • Java调用ffmpeg进行视频.H264抽帧,并保存为图片

    Java调用ffmpeg进行视频 H264抽帧 并保存为图片 1 需求 2 解决 3 源码 参考 1 需求 对视频 D data 01 test H264进行抽帧并保存为图片 图片命名为1 jpg 2 jpg 图片保存在D data 01
  • 【华为OD机试】找朋友(C++ Python Java)2023 B卷

    时间限制 C C 1秒 其他语言 2秒 空间限制 C C 262144K 其他语言524288K 64bit IO Format lld 题目描述 在学校中 N个小朋友站成一队 第i个小朋友的身高为height i 第i个小朋友可以看到的第
  • 【第六期】人工智能工程师培养计划招生

    前 言 学院第四期课程在2019年10月结课 第一至第四期具有求职意向的同学中 目前已经有80 的同学拿到了国内外名企的AI算法岗位offer 或者国外名校的AI 硕士 全奖博士录取 offer 在大家的认可下 我们开始了第六期的课程 在本
  • (九)kaldi thchs30 三音子模型(line 71-76)

    概览 首先放代码 triphone steps train deltas sh boost silence 1 25 cmd train cmd 2000 10000 data mfcc train data lang exp mono a
  • netty http文件服务器,Netty充当Http服务器简单示例

    Netty的应用场景 RPC 通信框架 长连接服务器 Http服务器 充当Http服务器实例 用户向服务器发送请求 服务器返回给用户Hello World 先介绍几个基础的概念 Channel 通道 相当于一个连接 ChannelHandl
  • Linux TC(Traffic Control) 简介(一)

    众所周知 在互联网诞生之初都是各个高校和科研机构相互通讯 并没有网络流量控制方面的考虑和设计 IP协议的原则是尽可能好地为所有数据流服务 不同的数据流之间是平等的 然而多年的实践表明 这种原则并不是最理想的 有些数据流应该得到特别的照顾 比
  • 关于left join优化not in 导致的长时间查询无数据问题 Using where; Using join buffer (Block Nested Loop)

    一 背景 线上存在业务 需要每天定时整理某个表A未处理的数据 并写入另外一张表B 每天查询出不存在B表中且未处理过的A表数据 A表中的数据主键放入B表中 未设定B表对应索引 数据量初始值大概在几千条 根据网上书籍介绍及多数网友介绍 left
  • 使用LSTM训练分类模型(kreas+tensorflow)

    github链接 https github com fangxiaozhu Classification model 需求描述 基于构建简单的多分类模型需求 使用的是keras深度学习库实现的 实现代码简单可用 模型优点是训练速度快 准确率