
-
生物通官微
陪你抓住生命科技
跳動的脈搏
關于神經網絡中高度表達性的研究
《IEEE Transactions on Artificial Intelligence》:On Expressivity of Height in Neural Networks
【字體: 大 中 小 】 時間:2026年02月28日 來源:IEEE Transactions on Artificial Intelligence CS6.4
編輯推薦:
三維神經網絡架構優化研究。通過引入同層神經元連接(高度維度),構建三維網絡(W×K×H),在保持參數量不變的情況下顯著提升表達能力和近似性能。理論分析表明三維網絡可生成指數級更多分段線性函數,誤差指數級降低,實驗驗證其在合成數據、表格數據及圖像基準測試中表現優異,有效緩解深度學習硬件成本壓力。
20世紀80年代末,由于計算資源有限,流行的網絡架構較為簡單。在過去十年中,深度網絡(如ResNet和Transformer)在許多領域取得了顯著的成功,這強化了“越深越好”的觀念。我們將淺層網絡和深層網絡分別稱為一維(1-D)和二維(2-D)網絡。然而,深度/大型網絡的發展顯著增加了訓練和部署成本,通常需要價值數百萬美元的圖形處理單元集群。因此,只有大型機構才能負擔得起開發這類模型的費用,這扭曲了人工智能生態系統的平衡。此外,硬件技術的進步正接近物理極限,最先進的GPU即將采用1納米制程。因此,“越深越好”的趨勢在未來可能難以持續。那么,未來的網絡架構會是什么樣子呢?