人工神经网络/霍普菲尔德网络

霍普菲尔德网络

霍普菲尔德网络是最古老、最简单的网络之一。霍普菲尔德网络利用网络能量函数。二元霍普菲尔德网络的激活函数由带偏置加权和的符号函数给出

$y_{i}=\operatorname {sgn}(\zeta _{i}-\theta _{i})$

霍普菲尔德网络通常是二值的，尽管也存在连续变体。二元网络可用于分类和聚类目的。

能量函数

网络的能量函数给出为

$E=-{\frac {1}{2}}\sum _{i}\sum _{j}w_{ij}y_{i}y_{j}$

这里，y参数是第i个和第j个单元的输出。在训练过程中，网络能量应该下降，直到达到最小值。该最小值被称为网络的吸引子。随着霍普菲尔德网络的发展，能量会自动最小化。这意味着，如果该问题可以根据网络能量来表述，那么霍普菲尔德网络可以自动解决数学最小化或优化问题。

联想记忆

霍普菲尔德网络可以作为联想记忆网络用于数据存储目的。每个吸引子代表存储在网络中的不同数据值，并且可以使用一系列相关模式来检索数据模式。存储在这样的网络中的不同模式 p 的数量近似为

$p_{max}\approx 0.15n$

其中 n 是网络中的神经元数量。