程序员经验分享-hwhale

最新RNN相关模型

2023-05-16

最近在看最新RNN相关模型 找到很多论文

Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) network

递归神经网络（RNN）和长短期记忆（LSTM）网络的基础

要点•

递归神经网络（RNN）的定义来自延迟微分方程。
    •RNN展开技术在形式上被证明是近似无限序列。
    •可以从RNN逻辑上合理化长短期内存网络（LSTM）。
    •提供了完全推导LSTM训练方程式的系统图。
    •新的LSTM扩展：外部输入门和卷积输入上下文窗口

Improved Predictive Deep Temporal Neural Networks with Trend Filtering

带有趋势过滤的改进的预测深度时态神经网络

本文提出了一个基于深度神经网络和趋势过滤的新预测框架，该框架将嘈杂的时间序列数据转换为分段线性方式。 我们揭示了当趋势数据在时间上处理训练数据时，深度时空神经网络的预测性能会提高。 为了验证我们框架的效果，我们使用了三个深度时态神经网络，即用于时间序列财务数据预测的最新模型，并将其与包含趋势过滤作为输入特征的模型进行了比较。 在现实世界中多元时间序列数据上的大量实验表明，该方法是有效的，并且明显优于现有的基线方法。

 titleauthors主要内容代码链接
CVPR 2018 Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNNShuai Li • Wanqing Li • Chris Cook • Ce Zhu • Yanbo Gao递归神经网络（RNN）已被广泛用于处理顺序数据。 但是，由于众所周知的梯度消失和爆炸问题，RNN通常很难训练，并且很难学习长期模式。 开发了长短期记忆（LSTM）和门控循环单元（GRU）来解决这些问题，但是使用双曲线正切和S型作用函数会导致层上的梯度衰减。 因此，构建有效可训练的深度网络具有挑战性。 此外，RNN层中的所有神经元都纠缠在一起，其行为难以解释。 为了解决这些问题，本文提出了一种新型的RNN，称为独立递归神经网络（IndRNN），其中同一层中的神经元彼此独立并且跨层连接。 我们已经表明，可以轻松地调节IndRNN，以防止梯度爆炸和消失的问题，同时允许网络学习长期依赖关系。 此外，IndRNN可以与非饱和激活功能（例如relu（整流线性单元））一起使用，并且仍需经过严格培训。 可以堆叠多个IndRNN，以构建比现有RNN更深的网络。 实验结果表明，所提出的IndRNN能够处理非常长的序列（超过5000个时间步长），可用于构建非常深的网络（实验中使用的21层），并且仍然经过严格训练。 与传统的RNN和LSTM相比，使用IndRNN可以在各种任务上实现更好的性能。 该代码位于https://github.com/Sunnydreamrain/IndRNN_Theano_Lasagne。https://github.com/TobiasLee/Text-Classification 
 Review of Deep Learning Algorithms and ArchitecturesAjay Shrestha, Ausif Mahmood 本文回顾了几种优化方法，以提高训练的准确性并减少训练时间。 我们深入研究了最近的深度网络中使用的训练算法背后的数学原理。 我们描述了当前的不足，增强和实现。 该评论还涵盖了不同类型的深度架构，例如深度卷积网络，深度残差网络，递归神经网络，强化学习，变分自动编码器等  
 LSTM: A Search Space OdysseyKlaus Greff, Rupesh Kumar Srivastava, Jan Koutnik, Bas R Steunebrink, Jurgen Schmidhuber在本文中，我们针对三种代表性任务，对八个LSTM变体进行了首次大规模分析：语音识别，手写识别和和弦音乐建模。 使用随机搜索分别优化了每个任务的所有LSTM变体的超参数，并使用功能强大的VAriance VAriance框架评估了它们的重要性。 总的来说，我们总结了5400次实验运行的结果（约15美元的CPU时间），这使我们的研究成为LSTM网络上同类研究中规模最大的一次。 我们的结果表明，这些变体都不能显着改善标准LSTM体系结构，并且证明“遗忘门”和输出激活功能是其最关键的组件。 我们进一步观察到，所研究的超参数实际上是独立的，并为其有效调整导出了指导原则。 
　LSTM Fully Convolutional Networks for Time Series ClassificationFazle Karim, Somshubra Majumdar, Houshang Darabi, Shun Chen完全卷积神经网络（FCN）已显示出在对时间序列进行分类的任务上实现了最新的性能。 我们建议使用长期短期记忆递归神经网络（LSTM RNN）子模块增强全卷积网络，以进行时间序列分类。 我们提出的模型大大提高了全卷积网络的性能，同时名义上增加了模型大小，并且需要对数据集进行最少的预处理。 拟议的长期短期记忆全卷积网络（LSTM-FCN）与其他技术相比，可实现最新的性能。 我们还探索了注意力机制的使用，以通过注意力长期短期记忆完全卷积网络（ALSTM-FCN）改善时间序列分类。 注意机制允许人们可视化LSTM单元的决策过程。 此外，我们提出了改进方法，以增强训练模型的性能。 提供了对模型性能的整体分析，并与其他技术进行了比较。https://www.paperswithcode.com/paper/lstm-fully-convolutional-networks-for-time
Physica D: Nonlinear Phenomena　　　 
IEEE Transactions on Knowledge and Data EngineeringFundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) networkAlex Sherstinsky 本文的目的是在单个文档中解释基本的RNN和LSTM基础。 借鉴信号处理中的概念，我们从微分方程式中正式得出规范的RNN公式。 然后，我们提出并证明了一个精确的陈述，该陈述产生了RNN展开技术。 我们还回顾了训练标准RNN的困难，并通过一系列逻辑论证将RNN转换为“ Vanilla LSTM” 1网络来解决这些问题。 我们提供与LSTM系统有关的所有方程式及其组成实体的详细说明。 尽管非常规，但我们对表示法和表示LSTM系统的方法的选择强调易于理解。 作为分析的一部分，我们确定了丰富LSTM系统的新机会，并将这些扩展合并到Vanilla LSTM网络中，从而产生了迄今为止最通用的LSTM变体。 目标读者已经通过众多可用资源接触到RNN和LSTM网络，并且对另一种教学方法持开放态度。 一位机器学习从业者，寻求有关在实验和研究软件中实施我们新的增强LSTM模型的指南，也将发现本论文中的见解和推导也很有价值。 
ICLR 2019MV-RNN: A Multi-View Recurrent Neural Network for Sequential Recommendation　顺序推荐是网络应用程序的一项基本任务，由于用户反馈不足，通常会​​遭受项目冷启动问题。 当前存在三种流行的方法，它们分别基于协同过滤的矩阵分解（MF），马尔可夫链（MC）和递归神经网络（RNN）。 尽管被广泛使用，但它们有一些局限性。 基于MF的方法无法捕获动态用户的兴趣。 强大的马尔可夫假设极大地限制了基于MC的方法的性能。 基于RNN的方法仍处于整合附加信息的早期阶段。 基于这些基本模型，许多带有附加信息的方法只能验证以一种单独的方式合并一个模态。 在这项工作中，为了提出顺序建议并解决项目的冷启动问题，我们提出了一个多元递归神经网络（MV-RNN）模型。 有了潜在的功能，MV-RNN可以通过合并视觉和文本信息来缓解商品的冷启动问题。 首先，在MV-RNN的输入处，研究了三种不同的多视图特征组合，例如级联，加法融合和重构原始多模态数据融合。  MV-RNN应用循环结构来动态地捕获用户的兴趣。 其次，我们在MV-RNN的隐藏状态下设计了一个单独的结构和一个统一的结构，以探索一种更有效的方法来处理多视图特征。 在两个真实世界的数据集上进行的实验表明，MV-RNN可以有效地生成个性化排名列表，解决缺失的模态问题，并显着缓解物品冷启动问题。 
CVPR 2018 Quaternion Recurrent Neural NetworksTitouan Parcollet•Mirco Ravanelli•Mohamed Morchid•GeorgesLinarès•Chiheb Trabelsi•Renato de Mori•Yoshua Bengio四元数递归神经网络递归神经网络（RNN）是强大的体系结构，可用于建模顺序数据，这是因为它们具有学习短时序列和短时序列的能力。 序列基本元素之间的长期依赖关系。 然而，诸如语音或图像识别之类的流行任务涉及多维输入特征，其特征在于输入矢量的维之间强烈的内部依赖性。 我们提出了一种新颖的四元数递归神经网络（QRNN），以及四元数长期短期记忆神经网络（QLSTM），它考虑了四元数代数的外部关系和这些内部结构依赖性。 与封装类似，四元数允许QRNN通过将多维特征作为单个实体进行组合和处理来编码内部依赖性，而循环操作则揭示了组成序列的元素之间的相关性。 我们显示，在自动语音识别的实际应用中，QRNN和QLSTM均比RNN和LSTM取得更好的性能。 最后，我们证明，与实值RNN和LSTM相比，QRNN和QLSTM最多减少了所需自由参数数量的3.3倍，从而获得了更好的结果，从而使相关信息的表示更加紧凑。  （显示较少）https://github.com/mravanelli/pytorch-kaldi
 Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNNShuai Li • Wanqing Li • Chris Cook • Ce Zhu • Yanbo Gao递归神经网络（RNN）已被广泛用于处理顺序数据。 但是，由于众所周知的梯度消失和爆炸问题，RNN通常很难训练，并且很难学习长期模式。 开发了长短期记忆（LSTM）和门控循环单元（GRU）来解决这些问题，但是使用双曲线正切和S型作用函数会导致层上的梯度衰减。 因此，构建有效可训练的深度网络具有挑战性。 此外，RNN层中的所有神经元都纠缠在一起，其行为难以解释。 为了解决这些问题，本文提出了一种新型的RNN，称为独立递归神经网络（IndRNN），其中同一层中的神经元彼此独立并且跨层连接。 我们已经表明，可以轻松地调节IndRNN，以防止梯度爆炸和消失的问题，同时允许网络学习长期依赖关系。 此外，IndRNN可以与非饱和激活功能（例如relu（整流线性单元））一起使用，并且仍需经过严格培训。 可以堆叠多个IndRNN，以构建比现有RNN更深的网络。 实验结果表明，所提出的IndRNN能够处理非常长的序列（超过5000个时间步长），可用于构建非常深的网络（实验中使用的21层），并且仍然经过严格训练。 与传统的RNN和LSTM相比，使用IndRNN可以在各种任务上实现更好的性能。 该代码位于https://github.com/Sunnydreamrain/IndRNN_Theano_Lasagne。https://github.com/TobiasLee/Text-Classification

 

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

最新RNN相关模型 的相关文章

随机推荐

  • MATLAB入门学习系列之图像

    显示图像 图像数据 您可以将二维数值数组显示为图像 在图像中 xff0c 数组元素决定了图像的亮度或颜色 例如 xff0c 加载一个图像数组及其颜色图 xff1a gt gt load durer gt gt whos Name Size

  • 知识跟踪的深度知识跟踪和动态学生分类 Deep Knowledge Tracing and Dynamic Student Classification for Knowledge Tracing

    Deep Knowledge Tracing and Dynamic Student Classification for Knowledge Tracing xff08 译 xff09 知识跟踪的深度知识跟踪和动态学生分类 摘要 在智能辅

  • 知识追踪常见建模方法之IRT项目反应理论

    目录 A 项目反应理论 xff08 IRT item response theory xff09 概述 历史发展 特点 模型 A 项目反应理论 xff08 IRT item response theory xff09 概述 IRT理论即项目

  • MATLAB图像处理基本操作(1)

    matlib软件巨大 xff0c 没有安装 找了几个在线网址 http www compileonline com execute matlab online php https octave online net 从文件读取图像 a xf

  • Python学习系列之类的定义、构造函数 def __init__

    python def init self name等多参数 def init self 常见的两种类的定义方式如下 第一种 class Student def init self 两者之间的区别 self name 61 None self

  • ChatGPT，爆了！

    这段时间真是太刺激了 xff0c AI领域几乎每天都会爆出一个超震撼的产品 xff0c 有一种科幻马上要成现实的感觉 不知道大家朋友圈是什么样 xff0c 在整个创业的圈子里面 xff0c 几乎全是 AI 相关 就连 N 多年 xff0c

  • 分类回归模型评估常见方法及ROC AUC

    目录 模型评估常见方法 ROC和AUC定义 sklearn计算ROC具体实现 计算ROC需要知道的关键概念 1 分析数据 2 针对score xff0c 将数据排序 3 将截断点依次取为score值 3 1 截断点为0 1 sklearn

  • Coursera 吴恩达《Machine Learning》课堂笔记 + 作业

    记录一下最近学习的资源 xff0c 方便寻找 xff1a Github 上已经有人把作业整理成为 Python 的形式了 有 py 和 ipynb 两种格式 https github com nsoojin coursera ml py h

  • tensflow学习小知识tf.train.exponential_decay

    tf train exponential decay是tensflow1 X版本的2 版本使用以下语句 tf compat v1 train exponential decay 将指数衰减应用于学习率 tf compat v1 train

  • PyTorch学习系列之PyTorch：nn和PyTorch：optim优化

    PyTorch xff1a nn 在构建神经网络时 xff0c 我们经常考虑将计算分为几层 xff0c 其中一些层具有可学习的参数 xff0c 这些参数将在学习过程中进行优化 在TensorFlow xff0c 像包 Keras xff0c

  • tf.gather（）用法详解

    tf gather params indices validate indices 61 None axis 61 None batch dims 61 0 name 61 None 请注意 xff0c 在CPU上 xff0c 如果找到超出

  • 代码学习之Python冒号详解

    最近看代码发现对冒号用法理解不够透彻 xff0c 记录学习一下 xff1a 1 冒号的用法 1 1 一个冒号 a i j 这里的i指起始位置 xff0c 默认为0 xff1b j是终止位置 xff0c 默认为len a xff0c 在取出数

  • Jupyter Notebook导入和删除虚拟环境 超详细

    记录一下Jupyter Notebook导入和删除虚拟环境的步骤 xff0c 网上博客参差不齐 xff0c 每次找好几个才看到简明容易理解的 方法一步骤 为不同的环境配置kernel 有时候使用conda命令创建了新的python环境 xf

  • tf.expand_dims用法详解

    看官方讲解一些博客感觉一直不是很懂 xff0c 下面是我的个人理解结合官方文档 xff0c 有问题欢迎指出 tf expand dims tf expand dims input axis 61 None name 61 None dim

  • argparse 命令行选项、参数和子命令解析器

    最近看到很多论文代码都是用解析器写的 argparse 命令行选项 参数和子命令解析器 argparse 模块可以让人轻松编写用户友好的命令行接口 程序定义它需要的参数 xff0c 然后 argparse 将弄清如何从 sys argv 解

  • torch.unsqueeze和 torch.squeeze() 详解

    1 torch unsqueeze 详解 torch unsqueeze input dim out 61 None 作用 xff1a 扩展维度 返回一个新的张量 xff0c 对输入的既定位置插入维度 1 注意 xff1a 返回张量与输入张

  • Android中获取唯一的id

    文章目录 Android唯一设备ID现状IMEIMAC地址唯一Id实现方案那些硬件适合硬件标识工具类 Android唯一设备ID现状 设备ID xff0c 简单来说就是一串符号 xff08 或者数字 xff09 xff0c 映射现实中硬件设

  • debian虚拟机下如何安装增强功能

    1 安装gcc和kernel headers gcc有可能默认安装的有 xff08 如果没有还需要安装gcc xff09 xff0c 但是还需要安装build essential sudo apt get install build ess

  • PyTorch学习系统之 scatter() 函数详解 one hot 编码

    torch Tensor scatter scatter 和 scatter 的作用是一样的 xff0c 只不过 scatter 不会直接修改原来的 Tensor xff0c 而 scatter 会 torch Tensor scatter

  • 最新RNN相关模型

    最近在看最新RNN相关模型 找到很多论文 Fundamentals of Recurrent Neural Network RNN and Long Short Term Memory LSTM network 递归神经网络 xff08 R

热门标签