類增量學(xué)習(xí)（Class-Incremental Learning, CIL）是由Rebuffi等人（2017年）和Zhang等人（2020年）提出的一種學(xué)習(xí)范式，其中模型通過(guò)多個(gè)階段逐步進(jìn)行訓(xùn)練，每個(gè)階段引入一組新的、不相交的類別。這種設(shè)置因其實(shí)際應(yīng)用價(jià)值而受到越來(lái)越多的關(guān)注，尤其是在模型需要不斷適應(yīng)新類別而無(wú)需從頭開(kāi)始重新訓(xùn)練的情況下。CIL減少了重復(fù)訪問(wèn)整個(gè)數(shù)據(jù)集的需求，使得學(xué)習(xí)更加高效和可持續(xù)。它特別適用于數(shù)據(jù)和標(biāo)簽以時(shí)間或空間分布方式出現(xiàn)的現(xiàn)實(shí)世界環(huán)境。從概念上講，CIL類似于人類的學(xué)習(xí)過(guò)程，即個(gè)體在保留先前所學(xué)知識(shí)的同時(shí)逐步獲取新知識(shí)。
盡管CIL具有許多優(yōu)勢(shì)，但它面臨兩個(gè)根本性挑戰(zhàn)：災(zāi)難性遺忘（Belouadah等人，2021年）和穩(wěn)定性-可塑性困境（Zhuang等人，2024年）。災(zāi)難性遺忘指的是模型在學(xué)習(xí)新任務(wù)后迅速丟失先前獲得的知識(shí)，導(dǎo)致性能顯著下降。穩(wěn)定性-可塑性困境則是指在有效適應(yīng)新信息的同時(shí)保持先前知識(shí)的難度。
現(xiàn)有的類增量學(xué)習(xí)方法可以根據(jù)其主要緩解災(zāi)難性遺忘的機(jī)制進(jìn)行分類。大致上，這些方法可以分為三類：基于偏差校正的方法、基于正則化的方法和基于重放的方法。基于偏差校正的方法主要通過(guò)輸出校準(zhǔn)或分類器重新平衡來(lái)減輕由于增量階段間類別不平衡造成的任務(wù)新鮮度偏差。基于正則化的方法限制了對(duì)過(guò)去任務(wù)中重要參數(shù)或激活值的更新，從而優(yōu)先考慮穩(wěn)定性。然而，這些限制不可避免地限制了學(xué)習(xí)新任務(wù)的靈活性，降低了模型的可塑性。基于重放的方法會(huì)存儲(chǔ)一部分過(guò)去樣本（示例），并在訓(xùn)練過(guò)程中重新使用這些樣本以強(qiáng)化先前知識(shí)。雖然有效，但它們引入了額外的內(nèi)存開(kāi)銷和潛在的數(shù)據(jù)隱私風(fēng)險(xiǎn)。
最近，分析型類增量學(xué)習(xí)（Analytic Class-Incremental Learning, ACIL）作為一種有前景的替代方案被提出。ACIL將CIL重新構(gòu)建為封閉形式的遞歸更新，無(wú)需存儲(chǔ)歷史數(shù)據(jù)即可解決災(zāi)難性遺忘問(wèn)題。具體來(lái)說(shuō)，ACIL首先使用反向傳播（Backpropagation, BP）在基礎(chǔ)階段訓(xùn)練一個(gè)主干網(wǎng)絡(luò)，然后通過(guò)遞歸范式逐階段逐步訓(xùn)練線性分類器。這種遞歸范式利用了Guo等人（2001年）和Zhuang等人（2021年）提出的分析學(xué)習(xí)方法，這些方法使用封閉形式解訓(xùn)練網(wǎng)絡(luò)，并具有權(quán)重不變性。這意味著每個(gè)階段遞歸訓(xùn)練的權(quán)重與同時(shí)使用全部數(shù)據(jù)訓(xùn)練的權(quán)重相同。然而，現(xiàn)有的分析方法仍然存在過(guò)擬合問(wèn)題，并且仍然受到穩(wěn)定性-可塑性困境的制約，主要是因?yàn)樗鼈儍H依賴于靜態(tài)的線性投影和映射。
在這項(xiàng)工作中，我們提出了局部自適應(yīng)補(bǔ)償學(xué)習(xí)（Locally Adaptive Compensation Learning, LACL），它是分析型CIL的擴(kuò)展，增加了鄰域感知的特征細(xì)化作為額外的補(bǔ)償機(jī)制。通過(guò)利用每個(gè)階段內(nèi)的局部特征結(jié)構(gòu)，LACL增強(qiáng)了表示的魯棒性，減輕了過(guò)擬合現(xiàn)象，并通過(guò)同時(shí)提高穩(wěn)定性和可塑性來(lái)解決穩(wěn)定性-可塑性困境。
本工作的主要貢獻(xiàn)如下：
1. 我們提出了LACL，這是一種結(jié)合了局部自適應(yīng)補(bǔ)償?shù)姆治鲂虲IL框架。
2. 引入了基于鄰域的補(bǔ)償機(jī)制來(lái)解決分析學(xué)習(xí)中的穩(wěn)定性-可塑性困境。
3. 通過(guò)結(jié)合局部結(jié)構(gòu)信息，緩解了封閉形式分析方法的過(guò)擬合問(wèn)題。
4. 在CIFAR-100、ImageNet-100和ImageNet-Full數(shù)據(jù)集上的實(shí)驗(yàn)表明，LACL在無(wú)樣本方法中實(shí)現(xiàn)了最先進(jìn)的性能。
