广东省智能院类脑计算理论与器件研究团队提出脉冲神经网络自适应突触缩放算法
2024-04-03
      2024年3月27日,广东省智能科学与技术研究院(简称:广东省智能院)类脑计算理论与器件研究团队在知名国际学术期刊《IEEE Transactions on Neural Networks and Learning Systems》上发表了题为“Adaptive Synaptic Scaling in Spiking Networks for Continual Learning and Enhanced Robustness”的论文

      该研究提出了一种经验依赖的自适应突触缩放机制用于脉冲神经网络的学习过程,在持续学习、抗干扰性实验和基于图表征的学习任务方面呈现显著优势,有望加深对大脑稳态突触可塑性的理解,并促进类脑算法在神经形态硬件上的高效部署。

图片1.png




稳态突触可塑性(Homeostatic Synaptic Plasticity)是一组经验依赖的突触强度特定变化的可塑性机制,对于大脑学习和记忆具有重要作用。其通过动态调节突触强度来稳定神经元或回路活动。在细胞层面,研究表明,若单个神经元能够在特定时间内评估其活动强度,并据此动态向上或向下调整其突触权重,以使活动水平接近预定义的设定值,那么即使面临突触强度和连通性的变化,网络活动也将展现出稳定性。


同时,新皮层神经元发现突触缩放机制,作为稳态突触可塑性的一种表现形式,能够调整与神经元相关的所有突触的强度,通过倍数放缩保持激励间的相对强度差异。稳态突触缩放一般通过调节AMPA受体在突触处的传递或保留来调制连接强度。除了全局乘性调节,突触缩放还可以通过突触特异性过程触发,从而实现对突触强度的局部控制。

脉冲神经网络(SNN)被誉为第三代神经网络,具有丰富的时空动力学特性。在SNN中,神经元通过采用脉冲通信、事件驱动,仅对输入脉冲事件作出响应,具有高效的资源利用率。


尽管SNN侧重模拟生物神经特性,但大部分模型缺乏复杂的动力学特性和突触变化的自适应性,忽视了这种缩放机制的作用,这限制了SNN的学习效率和潜在应用。将稳态突触缩放机制有效整合到SNN的学习范式中,仍是一个具有挑战性的问题。尽管一些研究将该机制融入SNN,通过强约束引导网络活动趋近于设定点,但限制了学习的灵活性。近年来,基于梯度学习的方法在SNN中广泛应用,实现了更高的性能。然而,突触权重在每个训练周期中是静态的,这使得SNN在受到扰动或连续性场景中表现脆弱。因而在抗扰动性和持续学习等任务中表现不佳。



图片2.png



本研究提出了融合经验依赖的自适应突触缩放机制的SNN学习框架,并设计了两阶段的学习过程:在前向路径中,根据突触前神经元历史活动累积的传入刺激强度,为每个突触触发自适应的短期增强或抑制。在反向路径中,通过相应的缩放因子调节的梯度信号执行长期巩固。

该机制塑造了突触的模式选择性以及它们介导的信息传递。实验验证了该模型在持续学习、抗干扰测试和图学习任务方面的显著优势。此外,这种非参数自适应机制不引入额外的可学习参数,并且由于稀疏连接和活动特性,保持了低计算成本。总的来说,该工作为建模突触缩放提供了一个有效的范式,有望挖掘和展示SNN在持续学习和鲁棒学习中的巨大潜力。


      广东省智能院类脑计算理论与器件研究团队徐明坤博士与清华大学类脑计算研究中心的刘发强博士为本文共同第一作者。该工作得到了广东省重点领域研发计划、科技创新2030-新一代人工智能、国家自然科学基金等项目的资助。


文章连接: 

https://ieeexplore.ieee.org/abstract/document/10479209





COPYRIGHT © 2021

广东省智能科学与技术研究院版权所有

粤ICP备2021109615号 全案策划:KCCN

公众号

公众号