.png){kind=icon}
返回
Working Memory Connections for LSTM
.png){kind=icon}
OA
AI
DOI：10.1016/j.neunet.2021.08.030.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
具有长短期记忆 (LSTM) 的递归神经网络在学习长期依赖性时利用门控机制来减轻爆炸和消失的梯度。出于这个原因，lstm和其他门控rnn被广泛采用，成为许多序列建模任务的标准事实。尽管LSTM内部的存储单元包含基本信息，但不允许直接影响选通机制。在这项工作中，我们通过包括来自内部单元状态的信息来提高栅极电势。拟议的修改名为 “工作内存连接”，包括将单元格内容的可学习非线性投影添加到网络门中。这种修改可以适应经典的LSTM门，而无需对底层任务进行任何假设，在处理较长序列时特别有效。以前在这个方向上的研究工作，可以追溯到21世纪00年代初，不能带来与香草LSTM一致的改进。作为本文的一部分，我们确定了一个与以前的连接相关的关键问题，该问题严重限制了它们的有效性，因此阻止了来自内部单元状态的知识的成功集成。我们通过广泛的实验评估表明，工作记忆连接不断提高lstm在各种任务上的性能。数值结果表明，单元状态包含有用的信息，值得包括在栅极结构中。(C) 2021爱塞唯尔有限公司版权所有。
Keyword:
Long Short-Term Memory networks
Cell-to-gate connections
Gated RNNs
Language modeling
Image captioning
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
6.3
论文数:
8.2K
被引数:
3.0W
机构
引用论文
Exploring diverse and fine-grained caption for video by incorporating convolutional architecture into LSTM-based model通过将卷积架构融入基于LSTM的模型来探索视频的多样化和细粒度字幕
PREAI
分享收藏分享收藏Gradient-based learning applied to document recognition基于梯度的学习在文档识别中的应用.png)
PROCEEDINGS OF THE IEEE
PROCEEDINGS OF THE IEEEIF25.9
PREAI
分享收藏Two-dimensional bricklayer arrangements of tolans using halogen bonding interactions使用卤素键相互作用的tolans的二维瓦工层布置
PREAI
分享收藏
查看更多内容