人工神经网络/历史
神经网络的历史可以追溯到 19 世纪后期，当时科学家开始尝试研究人脑的工作原理。1890 年，威廉·詹姆斯发表了第一部关于大脑活动模式的著作。1943 年，麦卡洛克和皮茨提出了一个神经元模型，该模型至今仍在人工神经网络中使用。该模型分为两部分：对加权输入的求和以及对该和的输出函数。
1949 年，唐纳德·赫布出版了《行为的组织》，其中概述了一种突触神经元学习定律。这条定律后来被称为 Hebbian 学习，以纪念唐纳德·赫布，它是最简单也是最直接的人工神经网络学习规则之一。
1951 年，马文·明斯基在普林斯顿大学工作时创建了第一个 ANN。
1958 年，《计算机与大脑》出版，这是约翰·冯·诺依曼去世一年后出版的遗作。在这本书中，冯·诺依曼提出了许多对研究人员对大脑建模方式的重大改变。
Mark I 感知机也是在 1958 年由弗兰克·罗森布拉特在康奈尔大学创建的。感知机试图利用神经网络技术进行字符识别。Mark I 感知机是一个线性系统，对于解决输入类别在输入空间中线性可分的那些问题非常有用。1960 年，罗森布拉特出版了《神经动力学原理》一书，其中包含了他关于大脑建模的大部分研究和想法。
感知机是一个线性系统，具有简单的输入输出关系，定义为一个具有阶跃激活函数的麦卡洛克-皮茨神经元。在这个模型中，加权输入与阈值 θ 进行比较。输出 y 定义为一个简单的阶跃函数
尽管感知机和人工神经网络研究在早期取得了成功，但许多人认为这些技术的前景有限。其中包括马文·明斯基和西摩尔·佩珀特，他们在 1969 年出版的《感知机》一书中对 ANN 研究提出了质疑，并将注意力集中在 ANN 研究的明显局限性上。明斯基和佩珀特最明确地指出的局限性之一是，感知机无法对输入空间中线性不可分的模式进行分类。下面，左侧的图显示了一个具有线性可分分类问题的输入空间。相比之下，右侧的图显示了一个分类不是线性可分的输入空间。
 |
 |
尽管 Mark I 感知机无法处理非线性可分数据，但这并不是这项技术的固有缺陷，而是规模问题。Mark I 是一个两层感知机，赫希特-尼尔森在 1990 年证明了一个三层机器（多层感知机，或 MLP）能够解决非线性分离问题。《感知机》开启了一些人称为“寂静年代”的时期，在此期间对 ANN 的研究兴趣降到了最低点。直到 1986 年重新发现反向传播算法，该领域才再次引起广泛关注。
反向传播算法最初由韦尔博斯于 1974 年发现，它在 1986 年由鲁梅尔哈特、希顿和威廉姆斯合著的《通过误差传播学习内部表示》一书中被重新发现。反向传播是梯度下降算法的一种形式，与人工神经网络一起用于最小化和曲线拟合。
1987 年，IEEE 每年一度的国际 ANN 大会开始为 ANN 研究人员举办。1987 年，国际神经网络协会 (INNS) 成立，以及 INNS 神经网络杂志于 1988 年创刊。