人工神经网络/玻尔兹曼机

玻尔兹曼学习比较了输入数据分布 P 和机器的输出数据分布 Q [24]。这两个分布之间的距离由 Kullback-Leibler 距离给出

$w_{ij}[n+1]=w_{ij}[n]-{\frac {\partial G}{\partial w_{ij}}}$

其中

${\frac {\partial G}{\partial w_{ij}}}=-{\frac {1}{T}}[p_{ij}-q_{ij}]$

这里，pij 是系统处于训练阶段（正阶段）时元素 i 和 j 都打开的概率，qij 是生产阶段（负阶段）时元素 i 和 j 都打开的概率。元素 j 打开的概率 pi 由下式给出

$p_{i}={\frac {1}{1+e^{\frac {-\Delta E_{i}}{T}}}}$

T 是一个标量常数，称为系统的温度。玻尔兹曼学习非常强大，但随着网络中添加更多神经元，算法的复杂性呈指数级增长。为了减少这种影响，可以使用受限玻尔兹曼机 (RBM)。RBM 中的隐藏节点不像普通玻尔兹曼网络那样相互连接。一旦在特定的特征集上训练，这些 RBM 可以组合在一起形成更大、更多样化的机器。

由于玻尔兹曼机权重更新只需要查看周围神经元的预期分布，因此它是实际生物神经网络如何学习的合理模型。