<tt id="vwe5b"></tt>
      1. <tfoot id="vwe5b"><progress id="vwe5b"></progress></tfoot><abbr id="vwe5b"></abbr>

      2. 91人人妻,99偷拍,碰碰免费视频,亚洲中文字幕AV,丝袜a片,91纯肉动漫,中文无码日,伊人福利导航

        關于神經網絡中高度表達性的研究

        《IEEE Transactions on Artificial Intelligence》:On Expressivity of Height in Neural Networks

        【字體: 時間:2026年02月28日 來源:IEEE Transactions on Artificial Intelligence CS6.4

        編輯推薦:

          三維神經網絡架構優化研究。通過引入同層神經元連接(高度維度),構建三維網絡(W×K×H),在保持參數量不變的情況下顯著提升表達能力和近似性能。理論分析表明三維網絡可生成指數級更多分段線性函數,誤差指數級降低,實驗驗證其在合成數據、表格數據及圖像基準測試中表現優異,有效緩解深度學習硬件成本壓力。

          
        影響聲明:
        由于硬件的限制,維持“越深越好”的原則變得越來越困難。我們提出了一種新的網絡設計視角,通過引入……顯示更多

        摘要:

        在這項工作中,我們在傳統神經網絡的寬度與深度基礎上,增加了一個新的維度——高度,通過在同一層的神經元之間建立連接來實現。這些連接被稱為層內連接,它們形成了層次結構,提高了網絡的逼近能力(表達能力),同時不會增加參數數量。我們證明,這種三維架構(寬度 × 深度 × 高度)在理論和實驗上均顯著優于傳統的二維網絡(寬度 × 深度)。首先,在神經元數量相同的情況下,三維ReLU網絡能夠生成比二維網絡多得多的分段線性函數表示形式,具體來說,其復雜度為 O((2^H ? 1)W × K × H)。其次,從逼近能力角度來看,三維網絡在逼近多項式時能夠達到更高的精度,并且誤差呈指數級減少,相比之下,二維網絡的復雜度為 O(2^W × K ? 2W × K)。最后,通過對五個合成數據集、15個表格數據集和3個圖像基準測試的數值實驗驗證,三維網絡在回歸和分類任務上表現出色。

        引言

        20世紀80年代末,由于計算資源有限,流行的網絡架構較為簡單。在過去十年中,深度網絡(如ResNet和Transformer)在許多領域取得了顯著的成功,這強化了“越深越好”的觀念。我們將淺層網絡和深層網絡分別稱為一維(1-D)和二維(2-D)網絡。然而,深度/大型網絡的發展顯著增加了訓練和部署成本,通常需要價值數百萬美元的圖形處理單元集群。因此,只有大型機構才能負擔得起開發這類模型的費用,這扭曲了人工智能生態系統的平衡。此外,硬件技術的進步正接近物理極限,最先進的GPU即將采用1納米制程。因此,“越深越好”的趨勢在未來可能難以持續。那么,未來的網絡架構會是什么樣子呢?

        相關新聞
        生物通微信公眾號
        微信
        新浪微博
        • 搜索
        • 國際
        • 國內
        • 人物
        • 產業
        • 熱點
        • 科普

        知名企業招聘

        熱點排行

          今日動態 | 人才市場 | 新技術專欄 | 中國科學人 | 云展臺 | BioHot | 云講堂直播 | 會展中心 | 特價專欄 | 技術快訊 | 免費試用

          版權所有 生物通

          Copyright© eBiotrade.com, All Rights Reserved

          聯系信箱:

          粵ICP備09063491號