音視頻事件定位（AVEL）是指識別在特定時間持續期內發生的音頻和視頻事件。在實際應用中，AVEL系統接收同步的音頻和視頻流，并通過聯合考慮這兩種模態來確定事件發生的時間和類型。AVEL已應用于多個領域，包括視頻監控、多媒體內容分析和醫療保健[1]、[2]。其主要優勢在于通過聯合建模聽覺和視覺模態來提高事件檢測的準確性，從而比單獨使用任一模態獲得更準確和穩健的定位結果[2]。在現實世界的視頻中，這種多模態方法特別有益，因為一種模態可能受到干擾、部分缺失或視覺上不明確，此時另一種模態可以提供補充證據。

圖1展示了使用兩種模態進行事件定位的過程。在事件預測階段，只有當片段同時可聽和可見時，才會被識別為事件。這一階段的重點是判斷片段應被視為與事件相關還是背景，這對于減少可能傳播到后續階段的誤報至關重要。在事件定位階段，將事件類別分配給已識別的片段。這種兩階段的方法反映了準確的事件發生預測是可靠事件分類的前提，尤其是在視頻包含背景音頻、攝像機運動或多個并發活動的情況下。因此，事件預測的錯誤可能導致連鎖故障，錯誤的事件片段被傳遞進行分類，最終預測的可靠性降低。

關于AVEL的研究主要集中在捕捉音頻和視覺模態之間的關系[3]、[4]、[5]、[6]、[7]上。傳統方法大致分為兩類：跨模態注意力和表示學習。跨模態注意力通過動態加權特定模態的證據來增強模型捕捉互補特征的能力，并提高上下文理解。此外，基于注意力的機制通常試圖將顯著的音頻線索與視覺信息豐富的區域或幀對齊，從而實現更精確的時間定位。表示學習通過捕捉共享特征和特定模態的特征來提高模型的泛化能力。特別是，學習魯棒的表示可以減少對數據集偏差的敏感性，并在聲學環境、攝像機視角或事件頻率在不同視頻之間變化時提高模型的遷移能力。盡管有這些進展，但由于背景噪聲、遮擋、視覺證據薄弱以及多個聲源的存在，AVEL在無約束環境中仍然具有挑戰性。

AVEL的一個挑戰是處理包含不一致信息的輸入——即兩種模態中發生的事件屬于不同類別但都清晰可見的情況。這種不一致性與一種模態中簡單缺少事件的情況不同；相反，它指的是每種模態都指示了一個合理但語義不同的事件。例如，屏幕上的視覺顯示嬰兒在哭泣，而屏幕外的音頻包含女性的聲音，因此兩種模態傳達了不同的信息。這種不匹配在真實視頻中很常見，可能是由于屏幕外的聲音、旁白、背景對話或編輯效果造成的，并且可能持續存在于多個連續的片段中。在這種情況下，兩種模態都會獲得較高的重要性值，導致模型錯誤地預測“事件”，而正確的標簽應該是“背景”。我們將這種情況稱為事件過度自信。這個問題尤其嚴重，因為即使正確的決策應該是將片段視為非事件，模型也可能變得過于自信，從而產生誤報并降低下游分類的可靠性。

在本文中，我們提出了一種基于CLIP的全局上下文調節（GCR）方法來緩解現有研究中存在的事件過度自信問題。我們的方法針對由不一致的上下文信號引起的過度自信行為，旨在無需額外監督或專門訓練數據即可調節與事件相關的得分。我們的方法開發過程中考慮了幾個設計要點。首先，我們旨在保留輸入數據的同時防止異常高的事件相關得分。我們沒有修改原始的音頻或視覺輸入，而是專注于控制模型產生的置信度動態，使得語義不一致的片段不會獲得不合理的事件得分。為此，我們應用了一種后處理方法，該方法直接使用從初始音頻和視覺特征計算的時間余弦相似度來調節與事件相關的得分。直覺上，語義對齊的片段應該表現出更高的跨模態相似度，而語義不一致的片段即使各自看起來都很顯著，也應該顯示出較低的相似度。其次，由于缺乏包含不一致信息的視頻數據，我們采用了一種不依賴于學習的方法，通過計算從預訓練的AudioCLIP編碼器[8]提取的音頻和視覺特征之間的余弦相似度。通過利用預訓練的編碼器，我們避免了依賴額外的訓練來處理不一致性，并且可以將調節步驟作為模塊化組件集成到現有的AVEL流程中。

我們還提供了帶有AudioCLIP提取特征的AVE數據集，并引入了不一致AVE（I-AVE）基準數據集，這是一個包含不一致片段及其類型和時間邊界的新的標注數據集。該基準數據集旨在系統地評估在沖突上下文信息下的魯棒性，并支持對標準AVEL評估協議未能捕捉到的失敗案例進行細粒度分析。對這兩個數據集的評估表明，我們的方法達到了最先進的性能。進一步分析事件相關預測和分類的結果指出了未來研究的方向，包括改進對多個同時發生的事件的處理以及更可靠地拒絕包含強烈但矛盾的特定模態線索的片段。

總結來說，本研究的主要貢獻如下：（1）我們提出了一種GCR方法，有效解決了兩種模態之間的上下文信息不一致時事件過度自信的問題。（2）我們構建并發布了帶有詳細標注的I-AVE基準數據集，用于處理音頻和視覺模態提供沖突上下文信息的場景，從而實現穩健的評估。（3）我們在AVE和I-AVE數據集上取得了最先進的性能，并通過分別評估與事件相關的預測和事件分類進一步分析了性能下降的原因。