摘要

基于頻率的神經網絡因其全局感受野和優越的時間效率而引起了廣泛關注。最近的研究主要利用基于頻率的網絡中的全局頻率濾波器來提取圖像特征。這些全局頻率濾波器是復雜的張量，其大小與特征本身相同，因此在訓練階段需要預先定義大小。訓練后改變濾波器的大小需要重新訓練，因為僅僅對濾波器進行插值無法保持實部-虛部和幅度-相位關系的連續性。這種插值會削弱濾波器在特征提取中的實用性，從而給傳統頻域網絡中的多尺寸圖像特征提取帶來挑戰。為了解決這一挑戰，我們提出了元全局濾波器網絡（MGFNet），該框架用動態濾波器生成器替換了靜態濾波器。給定一個推理圖像大小，生成器會合成相應的頻域濾波器，同時確保在不同尺度上保持一致的頻域特性，從而能夠有效地從不同大小的圖像中提取特征。此外，我們研究并提出了三種不同的濾波器生成機制：1）通過神經網絡實現的隱式濾波器生成器（IFG）；2）利用基于頻帶的濾波器偏置的顯式濾波器生成器（EFG）；3）利用卷積定理的卷積定理生成器（CTG）。這些生成器從互補的角度進行設計，并協同工作以增強生成頻率濾波器的表達能力。最后，我們實現了一種頻域重新參數化方法。在推理過程中，MGFNet預先計算并將三個濾波器生成器的輸出整合為一個統一的全局頻域濾波器，顯著提高了計算效率并降低了推理延遲。在ImageNet、MSCOCO和nuScenes數據集上進行的廣泛實驗表明，與基于頻率的網絡相比，我們的模型在各種數據集上均取得了最先進的性能。代碼可在https://github.com/WallelWan/MGFNet獲取。