《Neurocomputing》：Orthogonal space constraint enhances learning scalability and convergence efficiency without gradient backpropagation
編輯推薦：
本文提出LOCO算法，通過引入正交約束和低秩聚類優(yōu)化權(quán)重更新，解決了非BP方法在深度突觸神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的效率和擴(kuò)展性問題。實(shí)驗(yàn)表明，LOCO在多個基準(zhǔn)數(shù)據(jù)集上表現(xiàn)優(yōu)異，支持超過10層網(wǎng)絡(luò)的訓(xùn)練，并具有持續(xù)學(xué)習(xí)能力。
郭慶馬 | 楊晨 | 張宇涵 | 郭良軒 | 吳宇杰 | 余珊
中國科學(xué)院自動化研究所，北京，100190，中國
摘要
鑒于反向傳播（BP）的高計算成本，非BP方法作為新興神經(jīng)形態(tài)系統(tǒng)中高效學(xué)習(xí)的替代方案應(yīng)運(yùn)而生。然而，現(xiàn)有的非BP方法在效率和可擴(kuò)展性方面仍面臨關(guān)鍵挑戰(zhàn)。受大腦神經(jīng)表征和動態(tài)機(jī)制的啟發(fā)，我們提出了一種基于擾動的權(quán)重修改方法，稱為低秩簇正交（LOCO）。我們的分析表明，LOCO在梯度估計中實(shí)現(xiàn)了低方差。通過對多個基準(zhǔn)數(shù)據(jù)集的廣泛評估，LOCO展示了訓(xùn)練最深層脈沖神經(jīng)網(wǎng)絡(luò)（超過10層）的能力，同時表現(xiàn)出強(qiáng)大的持續(xù)學(xué)習(xí)能力、改進(jìn)的收斂效率以及比其他受大腦啟發(fā)的非BP算法更好的任務(wù)性能。這為在神經(jīng)形態(tài)系統(tǒng)中實(shí)現(xiàn)高性能、實(shí)時和終身學(xué)習(xí)提供了潛在的方向。
引言
神經(jīng)形態(tài)計算作為一種節(jié)能的替代方案，通過利用受大腦啟發(fā)的脈沖計算[1]、[2]、[3]和內(nèi)存計算架構(gòu)[4]、[5]而出現(xiàn)。盡管具有有前景的計算優(yōu)勢，但神經(jīng)形態(tài)計算仍缺乏能夠充分利用其架構(gòu)并行性和效率的有效學(xué)習(xí)算法。目前，主流學(xué)習(xí)算法大致可分為兩類：基于反向傳播（BP）和非BP[6]、[7]、[8]。BP需要完全對稱的前向和后向連接，以便梯度能夠反向傳播，這導(dǎo)致了權(quán)重傳輸問題[6]，并阻礙了BP在神經(jīng)形態(tài)系統(tǒng)中的實(shí)現(xiàn)[9]。此外，更新鎖定問題[10]也限制了BP的并行化，使其無法以真正并行的方式執(zhí)行。
相比之下，非BP算法基本上不受權(quán)重傳輸問題的影響，因此天生適合并行計算[11]、[12]、[13]。然而，許多非BP算法（如基于Hebb的算法、標(biāo)量反饋和向量反饋[6]）在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時存在可擴(kuò)展性限制。盡管這些方法在淺層網(wǎng)絡(luò)中表現(xiàn)出令人滿意的收斂性[14]，但在訓(xùn)練更深層架構(gòu)時往往性能較差[15]、[16]�；跀_動的方法由于其嚴(yán)格的數(shù)學(xué)基礎(chǔ)而提供了一個潛在的研究方向。值得注意的是，節(jié)點(diǎn)擾動（NP）[17]和權(quán)重擾動（WP）[18]實(shí)際上是零階梯度優(yōu)化方法，這是許多非BP算法的數(shù)學(xué)本質(zhì)[19]、[20]、[21]。因此，提高NP的訓(xùn)練效率是一個關(guān)鍵目標(biāo)。
然而，隨著網(wǎng)絡(luò)中神經(jīng)元數(shù)量的增加，NP的收斂效率會迅速下降[19]、[21]。在超過五層的神經(jīng)網(wǎng)絡(luò)中，它也會失去可擴(kuò)展性。相比之下，大腦擁有數(shù)百億個神經(jīng)元，同時保持了顯著的效率。因此，理解大腦的顯著學(xué)習(xí)可擴(kuò)展性對于神經(jīng)科學(xué)和設(shè)計避免BP限制的大規(guī)模神經(jīng)形態(tài)計算系統(tǒng)至關(guān)重要。
最近的神經(jīng)科學(xué)研究揭示了關(guān)于學(xué)習(xí)效率的兩個重要現(xiàn)象：（1）需要分離的神經(jīng)表征通常是彼此正交的[22]、[23]，這表明突觸修改可能旨在最小化不同任務(wù)之間的干擾[24]、[25]；（2）大腦動態(tài)通常表現(xiàn)在低維流形中[8]、[22]、[26]，這表明學(xué)習(xí)發(fā)生在低秩參數(shù)空間中。然而，現(xiàn)有的非BP算法尚未研究正交性和低秩約束對可擴(kuò)展性和收斂效率的影響。
在這項(xiàng)工作中，我們提出了低秩簇正交（LOCO）權(quán)重修改算法。與其他非BP算法相比，LOCO具有更好的收斂性和可擴(kuò)展性，為訓(xùn)練神經(jīng)形態(tài)系統(tǒng)開辟了有希望的道路。該研究的一些初步結(jié)果已在會議上的一篇短文中報告[27]。具體來說，我們的貢獻(xiàn)如下：
1.我們證明了低秩是基于擾動算法的固有屬性。在這種條件下，正交性約束顯著降低了NP梯度估計的方差，提高了學(xué)習(xí)率的上限，最終提高了收斂效率。
2.憑借更高的收斂效率，LOCO在多個基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能，并展示了克服災(zāi)難性遺忘的能力。
3.我們的結(jié)果表明，LOCO能夠訓(xùn)練超過10層的脈沖神經(jīng)網(wǎng)絡(luò)，而之前的工作僅限于最多5層，突顯了我們方法的可擴(kuò)展性。
4.LOCO使每一層的權(quán)重能夠并行更新，使其更適合大規(guī)模分布式計算。它還將正交權(quán)重修改的時間復(fù)雜度從
降低到
章節(jié)片段
深度SNN的訓(xùn)練方法
非BP規(guī)則僅對層數(shù)相對較少的網(wǎng)絡(luò)有效，例如不超過5層。例如，Hebb學(xué)習(xí)規(guī)則[27]、[28]、[29]在淺層網(wǎng)絡(luò)中有效，但在更深層網(wǎng)絡(luò)中維持穩(wěn)定性和學(xué)習(xí)效率方面面臨挑戰(zhàn)[15]、[16]。Spiking Backpropagation（SBP）算法將SNN中可優(yōu)化層的深度從2層擴(kuò)展到4層[30]。SoftHebb實(shí)現(xiàn)了對多達(dá)5個隱藏層的訓(xùn)練[14]。
低秩簇正交權(quán)重修改（LOCO）
為了解決非BP算法的可擴(kuò)展性和收斂效率問題，我們提出了LOCO算法，它可以減少學(xué)習(xí)過程中的方差。總之，LOCO引入了對權(quán)重修改空間的正交約束，我們從理論和實(shí)證上解釋了為什么它能夠提高學(xué)習(xí)過程的收斂效率，同時保持了局部計算的強(qiáng)度和可證明的收斂性。為了利用能效優(yōu)勢
實(shí)驗(yàn)設(shè)置
數(shù)據(jù)集 為了驗(yàn)證LOCO算法在訓(xùn)練SNN中的效果，我們使用了四種不同的學(xué)習(xí)任務(wù)：（i）XOR任務(wù)[13]；（ii）使用修改后的國家標(biāo)準(zhǔn)與技術(shù)研究院（MNIST）數(shù)據(jù)集[47]識別手寫數(shù)字；（iii）使用NETtalk數(shù)據(jù)集[48]進(jìn)行語音轉(zhuǎn)錄；（iv）Imagenette[49]，即Imagenet數(shù)據(jù)集的一個子集。具體來說，XOR任務(wù)用于測試算法訓(xùn)練多層非線性神經(jīng)網(wǎng)絡(luò)的能力。
討論
非BP算法為優(yōu)化神經(jīng)形態(tài)系統(tǒng)提供了有希望的方向[62]、[63]。當(dāng)前的非BP算法在訓(xùn)練更大規(guī)模的脈沖神經(jīng)網(wǎng)絡(luò)時存在可擴(kuò)展性限制，因?yàn)樗鼈冊诠烙嬏荻葧r具有高方差。以前的工作無法保證收斂，或者只能保證在淺層網(wǎng)絡(luò)（例如不超過5層[14]、[27]、[28]、[29]）和線性網(wǎng)絡(luò)[33]、[34]中的收斂。在本文中，我們證明了LOCO能夠高效地進(jìn)行訓(xùn)練
CRediT作者貢獻(xiàn)聲明
郭慶馬：撰寫 – 審稿與編輯，撰寫 – 原始草稿，方法論，概念化。楊晨：形式分析，概念化。張宇涵：形式分析。郭良軒：數(shù)據(jù)管理。吳宇杰：撰寫 – 審稿與編輯，撰寫 – 原始草稿。余珊：資金獲取，概念化。
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文所述工作的競爭性財務(wù)利益或個人關(guān)系。
致謝
本工作部分得到了中國科學(xué)院（CAS）的戰(zhàn)略優(yōu)先研究計劃（XDB1010302）、CAS青年科學(xué)家基礎(chǔ)研究項(xiàng)目（Grant No. YSBR-041）以及中國科學(xué)院的國際合作計劃（CAS）（173211KYSB20200021）的支持。
郭慶馬于2022年在中國山東大學(xué)獲得自動化學(xué)士學(xué)位。自2022年起，他一直是中國科學(xué)院自動化研究所（CASIA）的博士候選人。他在《機(jī)器智能研究》等領(lǐng)先期刊和會議上發(fā)表了關(guān)于受大腦啟發(fā)的計算和強(qiáng)化學(xué)習(xí)的論文，以及每年的人工智能會議（AAAI）和國際神經(jīng)網(wǎng)絡(luò)聯(lián)合會議
