<tt id="vwe5b"></tt>
      1. <tfoot id="vwe5b"><progress id="vwe5b"></progress></tfoot><abbr id="vwe5b"></abbr>

      2. 91人人妻,99偷拍,碰碰免费视频,亚洲中文字幕AV,丝袜a片,91纯肉动漫,中文无码日,伊人福利导航

        隨機(jī)自適應(yīng)優(yōu)化方法的末點(diǎn)迭代與幾乎必然收斂統(tǒng)一理論框架

        《Artificial Intelligence》:A unified theoretical framework for the last-iterate convergence of stochastic adaptive optimization

        【字體: 時(shí)間:2026年03月02日 來源:Artificial Intelligence 4.6

        編輯推薦:

          本文提出一種名為“AdaFamily”的通用理論分析框架,為一系列非凸場(chǎng)景下的隨機(jī)自適應(yīng)優(yōu)化算法(如帶有有界自適應(yīng)步長(zhǎng)的隨機(jī)動(dòng)量法和有界梯度的隨機(jī)Adam法)建立了末點(diǎn)迭代與幾乎必然收斂的保證。該框架不依賴于算法更新方向與有效步長(zhǎng)的具體形式,旨在彌合理論分析與實(shí)際應(yīng)用之間的差距,為深度學(xué)習(xí)領(lǐng)域的優(yōu)化算法設(shè)計(jì)提供了新的理論見解。

          
        研究亮點(diǎn)
        • 我們?yōu)橐幌盗性诜峭箞?chǎng)景下的隨機(jī)優(yōu)化方法建立了一個(gè)統(tǒng)一的末點(diǎn)迭代幾乎必然收斂分析框架。如第3節(jié)所示,我們的分析框架不要求算法的搜索方向和有效步長(zhǎng)更新具有特定形式。我們同時(shí)也利用提出的框架分析了兩種自適應(yīng)方法的收斂性:帶有有界自適應(yīng)步長(zhǎng)的隨機(jī)動(dòng)量法和有界梯度的隨機(jī)Adam法,證明了其有效性。主要的收斂結(jié)果在表1中做了簡(jiǎn)要總結(jié)。
        • 對(duì)于非凸目標(biāo),我們重點(diǎn)關(guān)注自適應(yīng)方法梯度序列的收斂表現(xiàn)。如表2、表3最后一列所示,我們的分析表明,末點(diǎn)迭代的梯度范數(shù)在期望意義下收斂,即 limT→∞E[‖?F(xT)‖] = 0,這比現(xiàn)有關(guān)于最小迭代和隨機(jī)迭代的研究更具實(shí)際意義。此外,我們還為最小迭代輸出了一個(gè)幾乎必然收斂速率 o(1/T1/2-ε)。
        • 對(duì)于Polyak-?ojasiewicz (PL) 函數(shù),我們研究了末點(diǎn)迭代處函數(shù)值的幾乎必然收斂行為。特別地,我們提供了確保函數(shù)值幾乎必然收斂于目標(biāo)函數(shù)下界的充分條件,即 limT→∞F(xT) = F*a.s.。此外,本文獲得的幾乎必然收斂速率可以無限接近 o(1/T),與之前的期望結(jié)果相當(dāng)。另外,我們還表明,在更靈活的步長(zhǎng)選擇αt= Θ(1/tp)(p ∈ (0, 1])下,自適應(yīng)算法在期望意義下以 O(1/Tp) 的速率收斂。
        結(jié)論
        本文提出了一個(gè)新穎的理論框架,用于分析在非凸場(chǎng)景下隨機(jī)優(yōu)化方法的收斂性。具體來說,我們的分析框架獨(dú)立于搜索方向和有效步長(zhǎng)的具體迭代形式,因此可應(yīng)用于各種隨機(jī)算法。通過利用所提出的框架,我們?yōu)橐幌盗须S機(jī)自適應(yīng)方法建立了末點(diǎn)迭代幾乎必然收斂的保證。與之前聚焦于最小迭代隨機(jī)迭代輸出的工作相比,我們證明了在更貼近實(shí)際算法實(shí)現(xiàn)的末點(diǎn)迭代輸出下,梯度范數(shù)在期望意義下收斂于零。同時(shí),我們首次獲得了最小迭代梯度范數(shù)的幾乎必然收斂速率。對(duì)于滿足Polyak-?ojasiewicz (PL)條件的函數(shù),我們證明了末點(diǎn)迭代的函數(shù)值幾乎必然收斂于最優(yōu)值,并獲得了函數(shù)值的期望和幾乎必然收斂速率。
        相關(guān)新聞
        生物通微信公眾號(hào)
        微信
        新浪微博

        知名企業(yè)招聘

        熱點(diǎn)排行

          今日動(dòng)態(tài) | 人才市場(chǎng) | 新技術(shù)專欄 | 中國(guó)科學(xué)人 | 云展臺(tái) | BioHot | 云講堂直播 | 會(huì)展中心 | 特價(jià)專欄 | 技術(shù)快訊 | 免費(fèi)試用

          版權(quán)所有 生物通

          Copyright© eBiotrade.com, All Rights Reserved

          聯(lián)系信箱:

          粵ICP備09063491號(hào)