感觉系统/非灵长类鸟鸣

鸟类：斑胸草雀鸣叫学习的神经机制

介绍

在过去的四十年里，鸣禽已成为神经科学家研究复杂顺序行为和感觉引导运动学习的广泛使用的模式生物。与人类婴儿一样，幼鸣禽通过模仿成年个体学习它们用于交流的许多声音。斑胸草雀 (Taeniopygia guttata) 是一种特别受关注的鸣禽，因为它在人工饲养中易于鸣叫和繁殖，并且成熟速度快。成年雄性斑胸草雀的鸣叫是一系列刻板的声学信号，其结构和调制跨越了从毫秒到几秒的广泛时间尺度。成年斑胸草雀的鸣叫包含一个重复的音节序列，称为基调，持续大约一秒钟。基调由称为音节的更短的声爆组成，这些声爆通常包含称为音符的更简单的声学元素序列，如图 1 所示。鸣禽的学习系统是研究感觉运动整合的非常好的模型，因为幼鸟主动聆听导师并通过纠正音调和偏移的错误来调节自己的鸣叫。鸣禽大脑中在学习中起关键作用的神经机制和结构类似于人类大脑额叶皮层中的语言处理区域。对参与学习过程的层次化神经网络的详细研究可以为人类语言学习的神经机制提供重要的见解。

鸣禽典型鸣叫结构和学习阶段的示意图。

鸣叫学习经历一系列阶段，从感觉阶段开始，在此阶段，幼鸟只是聆听其导师（通常是其父亲）发声，通常不产生任何类似鸣叫的叫声。鸟类利用这个阶段来记忆导师鸣叫的特定结构，形成鸣叫的神经模板。然后它进入感觉运动阶段，在此阶段，它开始咿呀学语，并利用听觉反馈来纠正错误。最早尝试重现导师鸣叫模板的尝试非常嘈杂、无结构且变化多端，被称为亚鸣叫。图 1 中的声谱图中显示了一个示例。在随后的几天里，鸟类进入“可塑阶段”，在此阶段，负责产生高度结构化音节的神经网络具有很大的可塑性，鸣叫的变化减少。当它们达到性成熟时，变异性基本上被消除——这个过程被称为结晶——幼鸟开始产生正常的成年鸣叫，这可能是导师鸣叫的惊人模仿（图 1）。因此，从早期的亚鸣叫到成年鸣叫的鸣叫变异性逐渐减少，以及模仿质量的逐渐提高，是鸣禽声音学习的不可或缺的方面。在接下来的部分中，我们将探索鸣禽大脑的几个部分，以及负责在这些鸟类中观察到的这种非凡的声音模仿的潜在神经机制。

参与鸣叫序列生成的层次化神经网络

了解鸣禽的神经解剖学至关重要，因为它提供了有关参与各种运动和感觉整合通路学习机制的重要信息。这最终可以阐明人类语言处理和声音学习。人类语音处理系统的确切神经解剖学数据仍然未知，鸣禽的解剖学和生理学将使我们能够提出合理的假设。本章的最后部分 (图 6) 对哺乳动物大脑和鸣禽 (鸟类) 大脑进行了比较。在鸟类大脑中观察到的通路可以大致分为运动控制通路和前脑前通路，如图 2 所示。听觉通路提供误差反馈信号，导致参与运动通路的突触连接增强或抑制，这在声音学习中起着至关重要的作用。运动控制通路包括尾侧腹侧纹状体 (HVC)、顶盖核 (RA)、舌下神经核的喉气管分支 (nXIIts) 和鸣管。这条通路对于产生产生高度结构化鸣叫的必需运动控制信号以及协调呼吸和鸣叫至关重要。前脑前通路包括前背侧大脑的侧巨细胞核 (LMAN)、X 区 (X) 和背侧丘脑内侧核 (DLM)。这条通路在幼鸟的鸣叫学习、成年个体的鸣叫变异性和鸣叫表征中起着至关重要的作用。听觉通路包括黑质 (SNc) 和腹侧被盖区 (VTA)，在处理听觉输入和分析反馈误差中起着至关重要的作用。鸣管的肌肉由来自 nXIIts 的运动神经元的一个子集支配。一个主要的投射到 nXIIts 来自前脑核 RA 中的神经元。RA 核接收来自另一个皮质类似物 HVC 核的运动相关投射，而 HVC 核又接收来自几个脑区的直接输入，包括丘脑葡萄核 (Uva)。

生成高度结构化和时间精确的音节模式的神经机制

HVC 核和 RA 核以层次化的方式参与鸣叫的运动控制 (Yu and Margoliash 1996)。对鸣叫斑胸草雀的记录表明，投射到 RA 的 HVC 神经元传递一个非常稀疏的爆发模式：每个投射到 RA 的 HVC 神经元在鸣叫中的一个特定时间生成一个持续约 6 毫秒的单一高度刻板的爆发 (Hahnloser, Kozhevnikov et al. 2002)。在鸣叫过程中，RA 神经元产生一个复杂的高频尖峰爆发序列，其模式在每次鸟鸣叫其基调时都被精确地复制 (Yu and Margoliash 1996)。在基调期间，每个 RA 神经元产生一个相当独特的模式，大约有 12 个爆发，每个爆发持续约 10 毫秒 (Leonardo and Fee 2005)。基于以下观察结果：投射到 RA 的 HVC 神经元在鸣叫基调期间产生一个单一的尖峰爆发，并且不同的神经元似乎在基调中的许多不同时间爆发，人们假设这些神经元在时间上产生一个连续的活动序列 (Fee, Kozhevnikov et al. 2004, Kozhevnikov and Fee 2007)。换句话说，在鸣叫的每个时刻，都有一小组 HVC (RA) 神经元在那个时候而且只有在那时活动 (图 3)，并且每个小组瞬时激活 (约 10 毫秒) HVC 神经元在 RA 中的突触连接决定的 RA 神经元的一个子集 (Leonardo and Fee 2005)。此外，在这个模型中，肌肉活动的向量，以及因此发声器官的配置，由来自 RA 神经元的短时间尺度 (大约 10 到 20 毫秒) 的会聚输入决定。RA 神经元可能仅仅以某种有效权重瞬时贡献于声音肌肉活动的观点与灵长类动物手臂运动皮质控制的一些模型一致 (Todorov 2000)。许多研究表明，鸣叫的时间由通过 HVC 神经元稀疏传播的波或链在毫秒级控制。这种假设得到了对自然鸣叫期间时间变异性的分析 (Glaze and Troyer 2007) 以及操纵 HVC 中电路动力学以观察对鸣叫时间影响的实验的支持。因此，在这个模型中，鸣叫时间由通过 HVC 中的链传播的活动来控制；此 HVC 链的通用顺序激活由 HVC 在 RA 中的连接转换为特定精确的声音配置序列。

后脑通路中的突触可塑性是鸣禽发声学习的潜在基础

人们已经发现了许多与鸣叫相关的鸟类大脑区域（图 4A）。鸣叫产生区域包括 HVC（背侧纹状体尾部）和 RA（弓状核），它们产生神经活动模式的序列，并通过运动神经元控制鸣叫过程中的发声器官肌肉（Yu and Margoliash 1996, Hahnloser, Kozhevnikov et al. 2002, Suthers and Margoliash 2002）。损伤 HVC 或 RA 会导致鸣叫立即消失（Vicario and Nottebohm 1988）。前脑通路 (AFP) 中的其他区域似乎对鸣叫学习很重要，但至少在成年鸟类中不参与鸣叫的产生。AFP 被认为是哺乳动物基底神经节丘脑皮质环路的鸟类同源体（Farries 2004）。特别是，损伤 LMAN（背侧纹状体外侧大细胞核）对成年鸟类的鸣叫产生几乎没有立即影响，但会阻止幼鸟的鸣叫学习（Doupe 1993, Brainard and Doupe 2000）。这些事实表明，LMAN 在驱动鸣叫学习中发挥作用，但可塑性的位置是在与鸣叫产生相关的脑区，例如 HVC 和 RA。Doya 和 Senjowski 在 1998 年提出了一种三方模式，其中学习基于行动者和批评者之间的互动（图 4B）。批评者评估行动者在预期任务中的表现。行动者利用这种评估来改变自身，以改善其表现。为了通过试错学习，行动者每次以不同的方式执行任务。它会产生好的和坏的变化，而批评者的评估被用来强化好的变化。通常情况下，人们认为行动者自己产生变化。然而，变化的来源是行动者之外的。我们将这个来源称为实验者。行动者被识别为 HVC、RA 和控制发声的运动神经元。行动者通过 HVC 到 RA 的突触可塑性学习（图 4C）。基于在鸣叫学习期间发生在 HVC 到 RA 投射中的结构变化（如轴突生长和回缩）的证据，这种观点被广泛认为是一种合理的机制。对于实验者和批评者，Doya 和 Senjowski 转向了前脑通路，假设批评者是 X 区，实验者是 LMAN。

鸣叫学习机制背后的生物物理上可实现的突触可塑性规则

生物物理上可实现的模型 LMAN 输入到 RA 的作用是在一个鸣叫阶段的持续时间内产生一个静态的波动，直接作用于来自前运动核 HVC 到 RA 的突触强度。从功能的角度来看，Doya 和 Sejnowski 的模型类似于权重扰动（Dembo and Kailath 1990, Seung 2003），并且相对容易实现：一个持续一个鸣叫阶段的暂时但静态的 HVC->RA 权重变化会导致鸣叫表现发生一些变化。如果表现良好，批评者会发送一个强化信号，使这种暂时的静态扰动永久化。从神经生物学的角度来看，这个模型需要一种机制，通过这种机制，来自 LMAN 到 RA 的 N-甲基-D-天冬氨酸 (NMDA) 介导的突触传递可以驱动突触权重变化，这些变化在 1 到 2 秒内保持静态。简而言之，LMAN 似乎驱动在亚音节水平上的快速、瞬态的鸣叫波动，这些波动受普通兴奋性传递的影响，这种传递驱动后突触 RA 神经元中动态的后突触膜电导波动。该模型的目标是将三方模式中的强化学习的高级概念与鸟鸣系统中突触和神经元微观事件的生物学上可实现的低级描述联系起来。它应该在现实的尖峰神经元网络中展示鸣叫学习，并检验强化算法在解释鸟鸣网络中关于学习时间的生物精细运动技能学习的可行性。本模型基于 Doya 和 Sejnowski 所做的许多相同的普遍假设。我们假设一个三方行动者-批评者-实验者模式。批评者很弱，只提供一个标量评估信号。HVC 序列是固定的，只有从 HVC 到运动神经元的映射是通过 HVC->RA 突触的可塑性学习的。LMAN 通过其对鸣叫前运动通路的输入来扰乱鸣叫。然而，LMAN 输入的结构和动力学以及它们对学习的影响是不同的，具有不同的神经生物学意义。为了符合我们的假设，即 LMAN 驱动到 RA 的功能是为试错学习进行实验，从 LMAN 到 RA 的连接将被称为经验突触（图 4C）。从 HVC 中的神经元 j 到 RA 中的神经元 i 的可塑突触的电导由 $W_{ij}S_{ij}HVC(t)$ 给出，其中突触激活 $S_{ij}HVC(t)$ 决定电导变化的时间进程，而可塑参数 $W_{ij}$ 决定它们的幅度。 $W_{ij}$ 的变化受可塑性规则支配，可塑性规则由以下公式给出： ${\frac {\partial {{W}_{ij}}}{\partial t}}=\eta \,R(t)\,{{e}_{ij}}(t)$ 正参数 $\eta$ 称为学习率，控制突触变化的总幅度。资格痕迹 $e_{ij}(t)$ 是一个假设存在的量，存在于每个可塑突触上。它表示突触是否“有资格”通过强化进行修改，并且它基于可塑突触的最近激活以及指向同一 RA 神经元的经验突触的激活。 ${{e}_{ij}}(t)=\int \limits _{0}^{t}{d{t}'}\,G(t-{t}')\left[S_{i}^{LMAN}(t)-\left\langle S_{i}^{LMAN}\right\rangle \right]\,\,S_{ij}^{HVC}(t)$ 这里 $S_{i}^{LMAN}(t)$ 是经验性 (LMAN->RA) 突触到 RA 神经元的传导性。时间滤波器 G(t) 被认为是非负的，它的形状决定了资格追踪可以“记忆”过去的程度。经验性突触的瞬时激活取决于平均活动 $\left\langle \,S_{i}^{LMAN}(t)\right\rangle$ 。学习原则遵循图 5 中显示的两个基本规则。第一条规则：如果同一个 RA 神经元上的可塑性 (HVC->RA) 突触和经验性 (LMAN->RA) 突触的同步激活之后是正强化，那么可塑性突触就会增强。第二条规则：如果可塑性突触的激活没有同一个 RA 神经元上的经验性突触的激活，之后是正强化，那么可塑性突触就会减弱。这些基于执行神经元动态电导扰动的规则对强化信号的期望值执行随机梯度上升。这意味着由评论家评估的歌曲表现平均而言肯定会提高。

哺乳动物和鸣禽大脑结构的比较

鸟类的 X 区与哺乳动物的基底神经节 (BG) 同源，包括纹状体和苍白球细胞类型。BG 构成一个高度保守的解剖学回路，它穿过多个站点，从皮层到 BG (纹状体和苍白球)，然后到丘脑，再回到皮层。类似的回路在鸣禽中也有：与皮层同源的 LMAN 核投射到 X 区，X 区的纹状体成分投射到丘脑 DLM 核，然后 DLM 核投射回 LMAN。纹状体成分负责基于奖励的学习和强化学习。图 6 所示，神经元类型及其功能在鸟类的 X 区与人类的基底神经节完全相同。这种密切的解剖学相似性促使我们更详细地研究鸣禽大脑，因为通过研究鸣禽大脑，我们最终可以对人类的言语学习获得一些重要的理解，并更精确地治疗许多与言语相关的疾病。

参考文献

Brainard, M. S. and A. J. Doupe (2000). “在学习和维持声音行为中的听觉反馈。” Nat Rev Neurosci 1(1): 31-40.

Dembo, A. and T. Kailath (1990). “无模型分布式学习。” IEEE Trans Neural Netw 1(1): 58-70.

Doupe, A. J. (1993). “专门用于声音学习的神经回路。” Curr Opin Neurobiol 3(1): 104-111.

Farries, M. A. (2004). “从比较视角看鸟类鸣唱系统。” Ann N Y Acad Sci 1016: 61-76.

Fee, M. S., A. A. Kozhevnikov and R. H. Hahnloser (2004). “鸣禽声音序列产生的神经机制。” Ann N Y Acad Sci 1016: 153-170. Glaze, C. M. and T. W. Troyer (2007). “对鸣禽声音的精确时间运动码的行为测量。” J Neurosci 27(29): 7631-7639.

Hahnloser, R. H., A. A. Kozhevnikov and M. S. Fee (2002). “超稀疏代码是鸣禽中神经序列产生的基础。” Nature 419(6902): 65-70.

Kozhevnikov, A. A. and M. S. Fee (2007). “斑胸草雀中识别出的 HVC 神经元与鸣唱相关的活动。” J Neurophysiol 97(6): 4271-4283.

Leonardo, A. and M. S. Fee (2005). “鸟类声音控制的整体编码。” J Neurosci 25(3): 652-661.

Seung, H. S. (2003). “通过强化随机突触传递进行尖峰神经网络学习。” Neuron 40(6): 1063-1073.

Suthers, R. A. and D. Margoliash (2002). “鸣禽声音的运动控制。” Curr Opin Neurobiol 12(6): 684-690.

Todorov, E. (2000). “随意手臂运动中肌肉激活的直接皮层控制：模型。” Nat Neurosci 3(4): 391-398.

Vicario, D. S. and F. Nottebohm (1988). “斑胸草雀声音控制系统的组织：I. 舌下神经核中鸣管肌肉的代表。” J Comp Neurol 271(3): 346-354.

Yu, A. C. and D. Margoliash (1996). “鸟类鸣唱的时间层次控制。” Science 273(5283): 1871-1875.