人工神经网络/循环网络

循环网络

在循环网络中，每一层 l 的权重矩阵包含来自网络中所有其他神经元的输入权重，而不仅仅是来自前一层的权重。这些反馈路径带来的额外复杂性可能会在网络中带来一些优势和劣势。

简单循环网络

与前馈网络不同，循环网络具有反馈元素，这些元素使一层中的信号能够反馈到前一层。图 6 显示了一个基本循环网络。简单循环网络具有三层：输入层、输出层和隐藏层。在输入层中添加了一组额外的上下文单元，这些单元接收来自隐藏层神经元的输入。从隐藏层到上下文单元的反馈路径具有固定的单位权重。

完全循环网络是每个神经元都接收来自系统中所有其他神经元的输入的网络。此类网络不能轻易地排列成层。只有一小部分神经元接收外部输入，而另一小部分神经元产生系统输出。如果循环网络满足以下条件，则称为对称网络

$w_{ij}=w_{ji}\forall i,j$

Elman 网络

Elman 网络是简单循环网络 (SRN) 的特例，具有四层：输入层、输出层、隐藏层和上下文层。上下文层在第 N 次迭代时向隐藏层馈送从第 N-1 次迭代的隐藏层输出计算出的值，从而提供短时记忆效果。例如，Elman 网络用于预测一系列值。

每层有 2 个神经元的 Elman 网络。蓝色连接的权重始终等于 1，红色连接的权重可以训练。