用于分布式學習的貪婪低秩梯度壓縮方法及其收斂性保證
《IEEE Transactions on Signal Processing》:Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
【字體:
大
中
小
】
時間:2026年02月25日
來源:IEEE Transactions on Signal Processing 5.8
編輯推薦:
低秩梯度壓縮在分布式優化中的應用及收斂性研究。針對隨機與貪心壓縮策略的不足,提出GreedyLore算法,通過誤差反饋修正和半懶散子空間更新實現強收斂保證,理論證明其收斂速度為O(σ√(NT+1)/T),并驗證了實驗結果。
摘要:
分布式優化在大規模信號處理和機器學習中至關重要,然而通信開銷仍然是一個主要瓶頸。低秩梯度壓縮通過使用低秩矩陣來近似傳輸的梯度,從而減少通信量,為這一問題提供了一種有前景的解決方案。現有方法通常采用隨機壓縮策略或貪婪壓縮策略:隨機壓縮方法將梯度投影到隨機選擇的子空間上,這會導致高方差并降低實驗性能;貪婪壓縮方法則選擇最具信息量的子空間,雖然可以獲得良好的實驗結果,但缺乏收斂性保證。為了解決這一難題,我們提出了GreedyLore——首個針對分布式學習的貪婪低秩梯度壓縮算法,并提供了嚴格的收斂性保證。GreedyLore結合了誤差反饋機制來糾正貪婪壓縮引入的偏差,并引入了一種半懶惰的子空間更新機制,確保壓縮算子在所有迭代過程中保持收縮性。通過這些技術,我們證明了在標準優化器(如MSGD和Adam)的框架下,GreedyLore的收斂速率為O(σNT??√+/T,這是低秩梯度壓縮領域首次實現線性加速的收斂速率。我們進行了大量實驗來驗證我們的理論發現。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱:
粵ICP備09063491號