<tt id="vwe5b"></tt>
      1. <tfoot id="vwe5b"><progress id="vwe5b"></progress></tfoot><abbr id="vwe5b"></abbr>

      2. 91人人妻,99偷拍,碰碰免费视频,亚洲中文字幕AV,丝袜a片,91纯肉动漫,中文无码日,伊人福利导航

        用于分布式學習的貪婪低秩梯度壓縮方法及其收斂性保證

        《IEEE Transactions on Signal Processing》:Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees

        【字體: 時間:2026年02月25日 來源:IEEE Transactions on Signal Processing 5.8

        編輯推薦:

          低秩梯度壓縮在分布式優化中的應用及收斂性研究。針對隨機與貪心壓縮策略的不足,提出GreedyLore算法,通過誤差反饋修正和半懶散子空間更新實現強收斂保證,理論證明其收斂速度為O(σ√(NT+1)/T),并驗證了實驗結果。

          

        摘要:

        分布式優化在大規模信號處理和機器學習中至關重要,然而通信開銷仍然是一個主要瓶頸。低秩梯度壓縮通過使用低秩矩陣來近似傳輸的梯度,從而減少通信量,為這一問題提供了一種有前景的解決方案。現有方法通常采用隨機壓縮策略或貪婪壓縮策略:隨機壓縮方法將梯度投影到隨機選擇的子空間上,這會導致高方差并降低實驗性能;貪婪壓縮方法則選擇最具信息量的子空間,雖然可以獲得良好的實驗結果,但缺乏收斂性保證。為了解決這一難題,我們提出了GreedyLore——首個針對分布式學習的貪婪低秩梯度壓縮算法,并提供了嚴格的收斂性保證。GreedyLore結合了誤差反饋機制來糾正貪婪壓縮引入的偏差,并引入了一種半懶惰的子空間更新機制,確保壓縮算子在所有迭代過程中保持收縮性。通過這些技術,我們證明了在標準優化器(如MSGD和Adam)的框架下,GreedyLore的收斂速率為O(σNT??+/T,這是低秩梯度壓縮領域首次實現線性加速的收斂速率。我們進行了大量實驗來驗證我們的理論發現。
        相關新聞
        生物通微信公眾號
        微信
        新浪微博
        • 搜索
        • 國際
        • 國內
        • 人物
        • 產業
        • 熱點
        • 科普

        知名企業招聘

        熱點排行

          今日動態 | 人才市場 | 新技術專欄 | 中國科學人 | 云展臺 | BioHot | 云講堂直播 | 會展中心 | 特價專欄 | 技術快訊 | 免費試用

          版權所有 生物通

          Copyright© eBiotrade.com, All Rights Reserved

          聯系信箱:

          粵ICP備09063491號