持續學習的目標是使人工智能系統能夠從一系列任務中學習和積累知識（Parisi, Kemker, Part, Kanan, Wermter, 2019a, Parisi, Kemker, Part, Kanan, Wermter, 2019b; Roy et al. (2023); Wang et al. (2024)）。持續學習中的一個關鍵挑戰是穩定性與可塑性的平衡問題，即如何在保留先前獲得的知識（穩定性）和學習新任務的能力（可塑性）之間找到平衡（De Lange et al. (2021); Kim et al. (2023); Wang et al. (2024)）。

目前大多數方法（Bhat et al. (2023); Sun et al. (2023); Wang et al. (2022)）優先考慮穩定性以減輕災難性遺忘（French (1999); McCloskey and Cohen (1989)）。這通常會限制可塑性，阻礙模型學習新任務的能力（Peng et al. (2024); Wang et al. (2024)）。受到互補學習系統理論（McCllland et al. (1995)以及大腦中短期記憶與長期記憶之間相互作用的啟發（Kumaran et al. (2016); Parisi et al. (2018)），一些持續學習方法結合了短期記憶和長期記憶組件來解決穩定性與可塑性的問題（Arani et al. (2022); Kamra et al. (2017); Kemker and Kanan (2017); Peng et al. (2024)）。特別是，一些研究探索了輔助記憶組件來存儲和處理任務特定知識（Kim et al. (2023); Peng et al. (2024); Wang, Zhang, Jia, Li, Bao, Ma, Zhu, Zhong, 2021b, Wang, Zhang, Li, Zhang, Su, Zhu, Zhong, 2023），以提高可塑性。在基于權重正則化的方法中，如輔助網絡持續學習（ANCL）（Kim et al. (2023）引入了專門用于新任務的輔助網絡來增強可塑性。同樣，在基于功能正則化并帶有回放的方法中，如帶有經驗回放的互補學習系統（CLS-ER）（Arani et al. (2022）通過模型權重的指數移動平均（EMA）維護兩個互補的網絡：一個能夠快速適應新任務的靈活模型和一個能夠保留長期知識的穩定模型。為了術語的一致性，我們將保留先前任務知識的網絡稱為長期記憶網絡，將快速適應新任務的網絡稱為短期記憶網絡。

盡管取得了進展，但這些方法都有一個根本性的局限性。它們通常依賴于單一的短期記憶組件，這限制了捕捉和利用新任務中多樣化信息的能力。從兩個角度來看待這一局限性：1）從神經科學的角度來看，研究表明海馬體可以通過分布式激活模式形成多樣化的記憶表示（Leutgeb et al. (2007); O’Reilly and Rudy (2001）。這些多樣化的記憶表示能夠高效編碼不同的信息（GoodSmith et al. (2017)，并且分布式激活模式有助于信息處理和學習（Kuchibhotla et al. (2017)）。這一生物學證據表明，在人工智能系統中部署和維護多個記憶網絡的潛在好處。2）從優化的角度來看，當只使用單一記憶網絡時，我們將面臨預先識別最適合整合的網絡的挑戰。

這種情況促使我們考慮使用多個短期記憶網絡，并利用優化過程自動識別最佳組合的短期記憶網絡與長期記憶網絡進行整合。基于這一想法，我們提出了一個名為長期和多個短期記憶網絡（LaMuS）的新框架用于持續學習。如圖1d所示，所提出的框架引入了多個短期記憶網絡以及一個長期記憶網絡。多個網絡的存在使我們的模型能夠從不同角度學習新任務并更靈活地適應它們。同時，長期記憶網絡保留了先前獲得的知識，在穩定性和可塑性之間取得了平衡。

然而，所提出的框架面臨的一個關鍵挑戰是如何有效地將這些多個短期記憶網絡與長期記憶網絡整合在一起。現有的持續學習方法在整合單一短期記憶網絡時通常采用基于歐幾里得距離的約束，無論是通過對網絡權重的參數約束（例如ANCL-EWC中的$L_2$（Kim et al. (2023)）還是特征對齊（例如CLS-ER中的MSE損失（Arani et al. (2022)）。雖然這些方法對單一網絡有效，但直接將這樣的歐幾里得距離正則化應用于多個網絡并通過求和組合時會遇到問題。由于凸函數之和仍然是凸的，將這些約束應用于多個網絡不可避免地會導致優化結果趨向于一個“平均”點。這與我們引入多個短期記憶網絡并利用優化過程自動識別最佳短期網絡集的目標相矛盾。為了解決這個問題，我們進一步設計了一種基于高斯混合模型（GMM）（Bishop and Nasrabadi (2006）的新正則化方案，以同時支持多個模式，每個模式對應于其中一個短期記憶網絡。這種方案有效地避免了上述“平均”效應，并促進了合適短期網絡的自動整合。

為了展示所提出的LaMuS框架的通用性，我們沿著兩條平行路徑對其進行了實現。首先，我們通過用多個短期記憶網絡替換ANCL（Kim et al. (2023)中的單一輔助網絡，并通過基于GMM的正則化方法來增強基于權重正則化的方法。其次，我們通過用多個塑性模型替換CLS-ER（Arani et al. (2022)中的單一塑性模型，并再次使用基于GMM的正則化方法來改進結合回放與功能正則化的方法，以實現有效的知識整合。

我們的主要貢獻可以總結如下：

在本節中，我們介紹了長期和多個短期記憶網絡（LaMuS）框架。首先，我們建立了持續學習中正則化的統一視圖。然后，我們介紹了從單一輔助組件擴展到多個短期記憶網絡的過程，并指出了在整合多樣化知識時結合凸約束的局限性。接著，我們提出了一種基于高斯混合模型（GMM）的非凸正則化方案，以有效利用