返回
Evaluating ESNs Against Lagged Input Regression Computation
DOI:10.1007/978-3-032-15641-9_18.png)
摘要
En 中文
回声状态网络(ESNs)在文献中被描述为使用随机结构将输入序列投影到更高维空间,使输入线性可分。然而,用于此投影的线性数学无法增加输入的维度,且常用的tanh()激活函数倾向于不产生显著的非线性。因此,任何维度的增加均归因于ESN的回声效应。我们引入滞后输入回归计算,以探究何种类型的ESN可被更简单的非随机结构替代。我们证明,基于tanh()的ESNs表现为简单的线性记忆系统,而LeakyReLU提供了更有效的非线性。我们还证明,在定义非线性记忆容量基准时使用特定正交多项式会误导非线性印象,因为相关高阶多项式仍包含线性项。
Keyword:
Reservoir Computing
Echo State Networks
Memory Systems
期刊
U
IF:
0
论文数:
27
被引数:
0
机构
引用论文
Information processing using a single dynamical node as complex system使用单个动态节点作为复杂系统的信息处理
NATURE COMMUNICATIONS
IF15.7
Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication
Science
IF0

