用于視頻建模的時空光譜保留神經表示方法
《ACM Transactions on Multimedia Computing, Communications, and Applications》:Spatio-Temporal Spectra-Preserving Neural Representation for Video Modeling
【字體:
大
中
小
】
時間:2026年02月27日
來源:ACM Transactions on Multimedia Computing, Communications, and Applications
編輯推薦:
綠色學習框架下提出SNeRV+模型,通過神經切核分析(NTK)和三級小波變換實現時空域自適應的視頻表征,低頻靜態場景采用固定參數解碼,高頻動態細節利用低頻參數引導的時變權重重構,有效緩解光譜偏倚問題,實驗證明在視頻回歸、插值、壓縮等任務中性能優于現有隱式神經表示方法。
摘要 人工智能摘要要查看此由人工智能生成的摘要,您必須具有高級訪問權限。
摘要 摘要 綠色學習(Green Learning, GL)通過強調節能解決方案和輕量級模型來促進深度學習的可持續性。用于視頻的隱式神經表示(Implicit Neural Representations, INRs)為這種范式提供了一種緊湊且高效的視頻表示方法。本研究介紹了SNeRV+,這是一種時空譜保持型神經表示方法,它利用神經切線核(Neural Tangent Kernel, NTK)分析來增強學習效果。為了減輕空間和時間域中的譜偏置,SNeRV+采用了兩級處理方法:不同的編碼器分支分別處理低頻(Low-Frequency, LF)和高頻(High-Frequency, HF)成分。三維離散小波變換將每一幀分解為其時間變化,將LF和HF成分編碼為逐幀嵌入。LF成分用于捕捉靜態場景和穩定運動,其解碼參數在所有幀中保持不變,從而減少時間差異并減輕譜偏置。HF成分用于編碼時變細節,通過利用LF相關參數作為先驗信息來動態重構。這種設計使得時間變化的表示更加高效和緊湊。實驗結果表明,SNeRV+在視頻回歸、插值、外推和壓縮方面優于現有的基于INR的方法,在定量和定性評估指標上都取得了更好的性能。
人工智能摘要人工智能生成的摘要(實驗結果) 該摘要是使用自動化工具生成的,并非由文章作者編寫或審核。它旨在幫助讀者發現研究內容、評估其相關性,并幫助來自相關研究領域的讀者理解本文的工作。它是對作者提供的摘要的補充,作者提供的摘要仍是文章的正式摘要。完整文章才是權威版本。點擊此處了解更多 。
點擊此處 對摘要的準確性、清晰度和實用性進行評論。您的反饋將有助于改進未來的版本。
要查看此由人工智能生成的通俗語言摘要,您必須具有高級訪問權限。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱:
粵ICP備09063491號