【儀表網(wǎng) 儀表研發(fā)】在人工智能領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)中被廣泛使用的反向傳播算法(Backpropagation，BP)采用全局優(yōu)化策略，其性能卓越，但學(xué)習(xí)過程能量消耗大，缺乏靈活性。中國科學(xué)院自動(dòng)化研究所、腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心聯(lián)合研究團(tuán)隊(duì)近期借助生物網(wǎng)絡(luò)中發(fā)現(xiàn)的介觀尺度自組織反向傳播機(jī)制(Self-backpropagation，SBP)，在更具效率和靈活性的類腦局部學(xué)習(xí)方法方面取得了重要進(jìn)展。
SBP的發(fā)現(xiàn)最早可以追溯到1997年。中科院院士、中科院腦智卓越中心研究員蒲慕明團(tuán)隊(duì)發(fā)現(xiàn)海馬體內(nèi)的神經(jīng)元可以將長時(shí)程抑制(Long-term depression，LTD)可塑性自組織地傳播到三個(gè)方向，分別是突觸前側(cè)向傳播(Presynaptic lateral spread)、突觸后側(cè)向傳播(Postsynaptic lateral spread)、反向傳播(Backpropagation)，該發(fā)現(xiàn)即自組織反向傳播神經(jīng)可塑性機(jī)制(SBP)。后續(xù)研究證實(shí)，SBP現(xiàn)象具有普遍性，不僅覆蓋更多的神經(jīng)區(qū)域如視網(wǎng)膜-頂蓋系統(tǒng)，還覆蓋更多的可塑性類型，如長時(shí)程增強(qiáng)(Long-term potentiation，LTP)。該機(jī)制的發(fā)生歸結(jié)于生物神經(jīng)元內(nèi)分子調(diào)制信號(hào)的天然逆向傳遞，被認(rèn)為是可能導(dǎo)致生物神經(jīng)網(wǎng)絡(luò)高效反饋學(xué)習(xí)的關(guān)鍵。
研究團(tuán)隊(duì)受到該機(jī)制的啟發(fā)，對(duì)SBP的反向傳播方向(第三個(gè)方向)單獨(dú)構(gòu)建數(shù)學(xué)模型(圖1A)，重點(diǎn)描述了神經(jīng)元輸出突觸的可塑性可以反向傳播到輸入突觸中(圖1B)，可塑性的發(fā)生可以通過時(shí)序依賴突觸可塑性(Spike timing-dependent plasticity，STDP)，也可以通過人工局部梯度調(diào)節(jié)。在標(biāo)準(zhǔn)三層脈沖神經(jīng)網(wǎng)絡(luò)(Spiking neural network，SNN)的學(xué)習(xí)過程中，SBP機(jī)制可以自組織地完成前一層網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)，并且可以結(jié)合短時(shí)突觸可塑性(Short-term plasticity，STP)、膜電位平衡(Homeo-static membrane potential)等，形成更強(qiáng)大的SNN組合學(xué)習(xí)方法(圖1C)。在一類人工神經(jīng)網(wǎng)絡(luò)(Artificial neural network，ANN)如受限玻爾茲曼機(jī)網(wǎng)絡(luò)(Restricted Boltzmann machine，RBM)的學(xué)習(xí)中(圖2A)，SBP機(jī)制可以替換迭代過程中部分BP機(jī)制，實(shí)現(xiàn)交替的協(xié)作優(yōu)化(圖2B-E)。針對(duì)SNN和RBM的不同，科研人員分別設(shè)置了兩種不同的能量函數(shù)約束，來保證訓(xùn)練過程中網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的平穩(wěn)性。此外，科研人員提出了統(tǒng)計(jì)訓(xùn)練過程中能量消耗的新方法(圖3)。在圖片分類(MNIST)、語音識(shí)別(NETtalk)、動(dòng)態(tài)手勢識(shí)別(DvsGesture)等多類標(biāo)準(zhǔn)數(shù)據(jù)集上，SBP機(jī)制通過組合其它可塑性機(jī)制，實(shí)現(xiàn)了更低能耗和更高精度的SNN局部學(xué)習(xí)(圖4)。在ANN-RBM的學(xué)習(xí)中，SBP機(jī)制也可以大量替換BP機(jī)制實(shí)現(xiàn)全局和局部交叉學(xué)習(xí)，在降低計(jì)算能耗同時(shí)卻不損失精度(圖5)。
科研人員認(rèn)為，SBP是一類介觀尺度的特殊生物可塑性機(jī)制，該機(jī)制同時(shí)在SNN和ANN中獲得了廣泛的組合優(yōu)化優(yōu)勢，對(duì)進(jìn)一步深入探索類腦局部計(jì)算具有啟示性。生物智能計(jì)算的本質(zhì)可能是靈活融合多類微觀、介觀等可塑性機(jī)制的自組織局部學(xué)習(xí)，結(jié)合遺傳演化賦予的遠(yuǎn)程投射網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)高效的全局優(yōu)化學(xué)習(xí)效果。該工作可以進(jìn)一步引導(dǎo)生物和人工網(wǎng)絡(luò)的深度融合，最終實(shí)現(xiàn)能效比高、可解釋性強(qiáng)、靈活度高的新一代人工智能模型。
相關(guān)研究成果以Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks為題，于10月20日在線發(fā)表在Science Advances上。研究工作得到國家自然科學(xué)基金委員會(huì)、中科院戰(zhàn)略性先導(dǎo)科技專項(xiàng)(B類)等的資助。
所有評(píng)論僅代表網(wǎng)友意見，與本站立場無關(guān)。