人工神经网络/前馈网络

前馈系统

前馈神经网络是最简单形式的 ANN。如下图所示，前馈神经网络只包含前向路径。多层感知器 (MLP) 是前馈神经网络的一种示例。下图显示了一个具有两个隐藏层的前馈网络。

图：具有两个隐藏层的前馈网络

连接权重

在前馈系统中，PE 被排列成不同的层，每一层接收来自前一层的输入，并输出到下一层。没有反馈。这意味着来自一层​​的信号不会传输到前一层。这可以用数学表示为

$w_{ij}=0{\mbox{ if }}i=j$

$w_{ij}=0{\mbox{ if }}layer(i)\leq layer(j)$

直接反馈路径的权重（从神经元到自身）为零。从神经元到前一层的权重也为零。请注意，前向路径的权重也可能为零，具体取决于网络架构，但并非必须为零。没有所有可能的正向路径的网络被称为稀疏连接网络或非全连接网络。利用的可用连接百分比称为网络的连接性。

数学关系

来自第l - 1层到第l层中每个神经元的权重被排列成矩阵w_l。每一列对应于第l - 1层中的一个神经元，每一行对应于第l层中的一个神经元。来自第l - 1层到第l层的输入信号是向量x_l。如果ρ_l是作用于每一行输入的激活函数向量 [σ1 σ2 … σn]，并且b_l 是一个任意偏移向量（用于泛化），那么第l层的总输出为

$\mathbf {y} _{l}=\rho _{l}(\mathbf {w} _{l}\mathbf {x} _{l}+\mathbf {b} _{l})$

两层输出可以通过将第一层的输出代入第二层的输入来计算

$\mathbf {y} _{l}=\rho _{l}(\mathbf {w} _{l}\rho _{l-1}(\mathbf {w} _{l-1}\mathbf {x} _{l-1}+\mathbf {b} _{l-1})+\mathbf {b} _{l})$

此方法可以继续用于计算具有任意层数的网络的输出。请注意，随着层数的增加，此计算的复杂度也会增加。足够大的神经网络很快就会变得过于复杂，无法进行直接的数学分析。