在當前的數字時代，機器學習模型的發展從根本上是由數據驅動的。然而，各種機構、設備和個人擁有大量的數據，導致數據分布高度異質。隨著隱私問題的加劇和數據保護要求的提高，直接共享原始數據面臨著重大挑戰。聯邦學習作為一種新的分布式機器學習范式應運而生，它允許多個參與者協作訓練全局模型，而無需暴露他們的本地數據集，從而確保了隱私保護，并在各個領域表現出強大的性能[1]、[2]、[3]。盡管在隱私保護和分布式優化方面取得了顯著進展，但在客戶端視角不完整且部分數據缺少標簽的情況下訓練穩定的全局模型仍然是聯邦學習中的一個根本性挑戰[4]。此外，有效地整合和對齊來自異構數據視角的信息同樣重要[5]、[6]。幾個挑戰限制了聯邦學習的實際應用性，并阻礙了其在現實世界場景中的性能[7]。

一個主要挑戰是由不同客戶端之間的數據異質性引起的。在聯邦學習框架中，客戶端僅根據自己的數據更新本地模型。這些不同的視角導致本地訓練模型的更新方向與全局目標發散，從而阻礙了有效的對齊。這些發散更新的聚合減緩了收斂速度，并顯著降低了模型的準確性和泛化性能[8]、[9]。另一個同樣重要的挑戰是知識遺忘。由于數據異質性導致不同的更新視角，全局模型逐漸積累了多樣化的局部更新[10]。由于客戶端之間的分布不斷變化，先前學習到的知識逐漸丟失，因為新的局部梯度主導了優化過程，導致災難性的遺忘和整體性能的下降[11]、[12]。

為了解決這些問題，研究人員開發了許多優化策略來減輕數據異質性和知識遺忘的影響。在解決數據異質性方面，一些研究人員引入了正則化項[12]、[13]、[14]。通過限制本地模型的更新，這些項提高了與全局目標的對齊性，從而減少了數據分布差異的影響。對比學習提高了模型捕獲不同數據類型中重要特征的能力，使得模型能夠在多樣化的數據分布中學習更具代表性的特征，并減輕了知識遺忘[15]、[16]。知識蒸餾將不同客戶端模型中的知識傳遞給全局模型，使全局模型能夠學習更好的特征表示，并有效結合新舊知識[17]、[18]、[19]。一些研究探索了二次優化策略，提供了更靈活的優化范式，在高度異構的數據分布下提高了聯邦模型的收斂穩定性和泛化能力[20]、[21]。此外，算法效率對于資源受限的聯邦學習系統也很重要[22]、[23]。盡管這些方法在一定程度上緩解了數據異質性和知識遺忘的問題，但在更復雜和動態的場景中，它們的有效性仍然有限。

本研究提出了FedCD，即用于聯邦學習中異構數據的對比蒸餾正則化方法。在傳統的聯邦學習框架中，如圖1a所示，客戶端使用本地數據通過標準局部優化更新本地模型。在傳統聯邦學習的基礎上，二次優化過程使用對比學習和知識蒸餾來更好地保護和利用全局知識，從而實現不同客戶端視角之間的特征對齊。此外，我們為二次優化過程設計了一個動態觸發機制，以減少計算開銷，使得只有在必要時才激活二次優化。具體來說，通過對比學習和知識蒸餾優化本地模型，局部更新被引導以更好地與全局知識對齊，將更新的參數$W_{t+1}$

為了評估FedCD的性能，我們在知名數據集上進行了廣泛的實驗。實驗部分旨在回答以下四個問題(RQs)：

•

RQ1（準確性）：在不同的異構數據設置下，FedCD與其他基線方法相比是否提高了測試準確性？

•

RQ2（知識保留）：FedCD是否在不同程度的數據異質性下有效減少了知識遺忘？

•

RQ3（客戶端端對齊）：FedCD是否改善了對齊

在聯邦學習中，客戶端之間的數據異質性導致它們的更新視角不對齊，從而導致知識遺忘和模型漂移。為了解決這些挑戰，我們提出了一個名為FedCD的聯邦優化學習框架。與傳統聯邦學習相比，FedCD在訓練過程中使用了二次優化。FedCD首先使用局部數據和交叉熵損失訓練一個基礎模型，然后通過結合

顧東一：項目管理、方法論、概念化。張建旭：寫作——原始草稿、可視化、軟件、方法論。張新宇：軟件、方法論、概念化。任健：寫作——審稿與編輯、軟件、調查、數據整理。梁偉：寫作——審稿與編輯、可視化、形式分析。李曉翠：寫作——審稿與編輯、監督、方法論。

作者聲明他們沒有已知的競爭性財務利益或個人關系可能影響本文報告的工作。

本工作部分得到了湘江實驗室（項目編號24XJJCYJ01005）、中國國家重點研發計劃（項目編號2023YFC3306204）和中國國家自然科學基金（項目編號62502156）的支持。