數(shù)字時代導致了視頻數(shù)據(jù)量和多樣性的激增，從而增加了對有效視頻理解技術的需求（Huang, Xin, Qian, Dong, 2025; Liu, Liu, Zhang, Chen, Liu, He, 2025; Tao, Wang, Hao, Jian, Xiao, Zhimeng, Jingyuan, Zhou & Zhongfei, Woo, Noh, Kim, 2026; Xi, Shi, Sun, Zhang, Li, Wu, 2025）。當前的視頻理解方法大致可以分為兩類：傳統(tǒng)的基于深度學習的方法，以及包含視頻模態(tài)的多模態(tài)大語言模型（MLLMs）。基于傳統(tǒng)深度學習的視頻理解方法具有快速推理的優(yōu)勢，能夠實現(xiàn)合理的視頻理解性能（Luo, Pan, Cao, Wang, Le, Liu, 2025; Qaroush, Jubran, Olayyan, Qutait, 2025; Yang, Liu, Zhou, Guan, Qin, Song, Zhao, Wang, Gao, 2025; Zeng, Wang, Liao, Li, Xu, Man, Liu, Xu, 2024; Zhao, Yao, Hu, Xie, Zhang, Wang, Li, Zhou, Zhou, Wang, Yu, 2025）。這些方法嚴重依賴于特定任務的訓練數(shù)據(jù)，這使得訓練過程既耗時又在計算上成本高昂，而且產生的模型在跨領域遷移能力方面有限（Wang, Liu, & Zhao, 2024a）。
隨著Flamingo（Alayrac等人，2022年）的發(fā)布，具有視頻模態(tài)的MLLMs逐漸開始取代傳統(tǒng)的視頻理解框架，因為它們具有領域泛化和上下文適應能力。然而，盡管MLLMs在視頻理解任務中表現(xiàn)出了良好的性能，但其訓練和推理成本很高，這限制了它們在所有場景中的應用（Ma, Li, Pei, & Liu, Shu, Liao, Zhang, Zhuo, Xu, Zhang, Shi, Chan, Zhong, Yu, He, Fu, Li, Liu, Li, Jiang, 2025; Wu, Cai, Ji, Li, Huang, Luo, Fei, JIANG, Sun, Ji, 2024b）。
最近，提出了一種高效的替代方案（Han, Guo, Tang, He, Wu, & Wang, Kim, Choi, Lee, Rhee, 2024; Wu, Xu, Gao, Gan, Chen, Lai, Gang, Kang, & Dehghan），該方法僅利用預訓練的視覺語言模型（VLMs）進行無需訓練的視頻理解和問題回答，無需任何微調。這種方法不僅克服了傳統(tǒng)方法在泛化性能和數(shù)據(jù)依賴性方面的限制，還減輕了MLLMs的資源消耗和部署復雜性，使其成為當今最具潛力的視頻理解解決方案之一。無需訓練的視頻LLMs只需要從視頻中采樣一定數(shù)量的幀，并對這些幀進行低成本處理，即可在各種視頻理解任務中實現(xiàn)顯著的零樣本性能。
然而，如圖1所示，當前的無需訓練的視頻理解方法仍然存在兩個主要限制：
•均勻下采樣：它們對視頻進行均勻下采樣以獲得一系列幀（例如，IG-VLM（Kim等人，2024年）均勻采樣6幀）。這種方法無法捕捉所有關鍵事件，特別是在長而復雜的視頻中，從而影響理解的深度和準確性，并導致模型在變化迅速的場景中表現(xiàn)不佳（Tang, Ding, Wu, Ren, Sebe, Rota, 2023; Xu, Gao, Gan, Chen, Lai, Gang, Kang, & Dehghan）。
•融合不足：這種提取的幀忽略了問題、提示和視頻幀之間的復雜交互，從而影響連貫性和理解能力，在處理長而復雜的視頻中的問題時面臨重大挑戰(zhàn)（Ye等人，2023）。
為了解決這些限制，我們提出了FrameGrapher（FG），這是一種基于查詢條件的視頻理解方法，通過提取與給定問題相關的一系列關鍵幀來提升VLMs在視頻問答（VideoQA）中的性能。首先，我們通過根據(jù)相鄰幀之間的顏色和結構差異來選擇關鍵幀，解決了均勻幀選擇導致的缺失關鍵事件的問題，為圖建模和VLM視頻理解選擇了明顯不同的幀。其次，我們提出了一種幀圖，這是一種將圖結構融入基于大型語言模型（LLM）的模型的新視頻理解框架。該方法表示了關鍵幀、幀和問題之間的語義聯(lián)系，增強了模型解釋復雜視頻的能力。評估結果表明，F(xiàn)rameGrapher在四個基準測試中的平均準確率比當前最先進的預訓練MLLMs高出2.0%。
本文的貢獻總結如下：
•FrameGrapher方法的引入表明，精心設計的幀檢索和選擇機制可以顯著提升VLM在視頻理解任務中的性能，為新的優(yōu)化路徑提供了借鑒。
•通過創(chuàng)建創(chuàng)新的幀圖，我們成功克服了現(xiàn)有幀采樣方法的局限性，考慮了問題與幀之間的內在語義聯(lián)系以及幀之間的關系。
•我們進行了徹底的實驗來評估性能并分析每個具體設計細節(jié)的貢獻。
本文的結構如下：第1節(jié)介紹了本文的研究背景。第2節(jié)介紹了與本研究相關的具有視頻模態(tài)的MLLMs和關鍵幀選擇工作。第3節(jié)詳細描述了所提出的模型。第4節(jié)分析了實驗設置和結果。第5節(jié)總結了研究并指出了未來的研究方向。
