《Patient Education and Counseling》：Towards Revealing Trustworthy Emotion States via Human-object Interaction-aware Emotion Recognition with Vision-language Model
編輯推薦：
人類與物體交互中的無意識情緒識別是人工智能領域的重要挑戰，傳統方法易受社交偽裝影響。本文提出新型任務HAER（人類與物體交互-意識情緒識別），構建首個包含完整交互過程和獨立場景的數據集HAER-Set，并設計基于預訓練視覺語言模型（VLM）的HAER-Net框架，通過時空特征編碼揭示動態交互與隱藏情緒的映射關系。實驗驗證了框架在HAER-Set上的有效性，為安全關鍵場景提供可靠的情緒理解方案。
李思源|李新德|胡傳飛
中國江蘇省南京市東南大學網絡科學與工程學院，210096
摘要
基于視覺內容的人類情感理解是通用人工智能的一個重要但極具挑戰性的組成部分。傳統的情緒識別技術，如面部表情分析，容易受到社會偽裝的影響，即個體故意調節或偽造自己的情感表現。因此，被偽裝的情感表達會誤導識別系統，導致不可靠的情緒識別結果，使系統面臨情感驅動的欺騙和安全風險。受認知神經科學的啟發，我們研究了人機交互（HOI）的視覺內容，這些內容可以在無意識情感的行為過程中傳遞情感線索。具體來說，我們引入了一個新的數據集，稱為HAER-Set，用于人機交互-情感識別（HAER），該數據集關注HOI特定行為與情感狀態之間的關系。HAER-Set的吸引力特性，如“完整性”和“隔離性”，有助于研究人員深入研究HOI感知的情感狀態。同時，為了解決HOI特定樣本稀缺的問題，我們提出了一個基于預訓練視覺語言模型（VLM）的HAER框架，稱為HAER-Net，用于探索HOI動態行為背后的情感狀態。廣泛的實驗表明，所提出的框架在HAER-Set上的優越性，驗證了HOI特定行為在理解隱藏的人類情感方面的潛力。
引言
從視覺內容中理解人類情感在許多計算機視覺應用中受到了廣泛關注，例如醫療保健[1]、人機交互[2]和機器人技術[3]。在計算機視覺領域，隨著深度學習技術[4]、[5]、[6]的出現，已經對面部[7]和姿勢[8]等多種視覺特征進行了建模，實現了可接受的性能。然而，在復雜情況下，面部和姿勢表情可能不可靠。由于社會偽裝[9]、[10]，這些“可控”的視覺特征可能無法反映隱藏的情感狀態。這種被偽裝和欺騙性的情感表達可能會誤導情感識別系統，從而在安全和信任至關重要的應用中引入系統級漏洞[11]。
受認知神經科學的啟發[12]，我們關注在無意識情感行為過程中傳遞的情感線索，例如人機交互（HOI）。如圖1(a)所示，這個人在互動行為中并未意識到自己的情感狀態，但他的行為明顯受到了情感的影響。由于無意識情感的行為干預難以通過主觀意識來控制，我們認為可以通過建模這些視覺特征來潛在地揭示被偽裝的情感狀態。
最近，一些研究探索了可以通過視覺上下文[14]、[15]、[16]（如手勢、周圍環境和互動對象）來提高情感識別性能的方法。然而，如圖1(b)所示，這些方法存在以下兩個局限性：
•首先，HOI的行為在時空維度上可以提供豐富的上下文。現有的方法基于靜態圖像（HECO [16]）或弱HOI感知視頻（GroupWalk [15]）進行建模，因此沒有全面考慮HOI的動態表現。
•其次，在這些方法中，HOI的行為僅被歸類為視覺上下文的一個子類，HOI與情感狀態之間的映射關系沒有系統地揭示出來。
因此，一個關鍵問題仍然存在：
為了解答這個問題，我們首先提出了一種新的任務，稱為
人機交互-情感識別（HAER），它在動機上與其他相關任務（如上下文感知情感識別[14]不同。上下文感知情感識別旨在對一個人周圍的視覺上下文進行建模以進行情感識別，而HAER則關注HOI特定行為與情感狀態之間的關系。對于HAER而言，更注重分析HOI的動態特性，因為HOI的不完整過程可能導致對情感狀態的模糊理解。例如，一個人拿著刀，根據他是要切蛋糕還是揮舞刀，可能會傳達出不同的情感狀態。
然后，為了彌合HAER與實際應用之間的差距，我們構建了
HAER-Set，這是一個專門針對HOI的人類情感數據集，其中包含了視頻級別的情感類別和幀級別的交互上下文。HAER-Set中的視頻展示了HOI特定上下文的
完整性和
隔離性，這在包括互動對象、人物和情感狀態的真實場景中非常接近。
此外，我們提出了一個基于預訓練視覺語言模型（VLM）的HAER框架，稱為
HAER-Net，它包括交互上下文提取、時空特征編碼和情感識別。首先通過先前的處理提取視頻中人物和對象的位置等HOI特定上下文，然后采用雙 stem 架構進行特征編碼，以時空維度表示特征，最后通過分類器識別情感狀態的離散類別。所提出框架的洞察力在于關注HOI特定的時空表示，探索HOI動態行為背后的情感狀態。同時，預訓練的VLM提供了強大的表示能力，以應對HOI特定樣本稀缺的挑戰。總之，主要貢獻如下：
•首次提出了一個名為HOI感知情感識別（HAER）的任務，旨在揭示給定視頻中HOI動態行為與情感狀態之間的映射關系。據我們所知，我們是首批對HOI特定表示的動態特性進行建模的研究者之一。
•HAER-Set是第一個展示HOI完整過程的人機交互特定情感數據集，用于彌合HAER與實際應用之間的差距。
•我們提出了一個關注HOI特定時空表示的HAER新框架，探索HOI動態行為背后的情感狀態。
•實驗結果和可視化展示了所提出框架的有效性，驗證了HOI特定行為在理解人類情感方面的潛力。
小節片段
上下文感知情感數據集
為了研究視覺上下文與情感狀態之間的關系，研究人員構建了一些上下文感知情感數據集，例如EMOTIC [17]、CAER [14]、GroupWalk [15] 和 HECO [16]。EMOTIC 和 HECO 包含人物及其周圍場景的圖像，其中人物的情緒狀態用離散和連續標簽進行標注。GroupWalk 記錄了人物在街道、樓梯等場景中的行走情況
數據準備和情感標注
為了提取HOI特定的視頻片段，我們選擇了不同類型的電視節目和電影以確保數據多樣性。總共有4部屬于3個類型的劇集，共185集。我們首先手動將視頻分割成多個片段，這些片段僅包含人物與對象的互動。需要注意的是，這里的人物不被視為互動對象，因為我們關注的是沒有社會偽裝的情況下的互動。因此，不考慮人物之間的對話
動機和框架概述
由于捕捉HOI特定上下文的成本高昂，限制了可用于HAER的訓練數據量，如果訓練數據不能充分反映HOI的多樣性，模型可能會退化。一個直覺是引入預訓練視覺語言模型（VLM）的強大表示能力，例如CLIP [20]，它已成為視覺表示學習的有希望的替代方案。然而，有兩個問題需要解決。
設置
評估協議。在HAER-Set上驗證了所提出的HAER-Net的實驗，其中20%的HAER-Set片段被用作測試集，其余部分作為訓練集。使用分類準確性來評估HAER-Net的性能。此外，實驗結果基于5折交叉驗證的平均性能進行報告。
實現細節。實驗在配備NVIDIA Tesla A100 GPU的工作站上進行。
結論
在本文中，我們提出了一種新的任務，稱為人機交互-情感識別（HAER），以及一個新的數據集（HAER-Set），其吸引力特性（完整性和隔離性）有助于研究人員深入研究HOI感知的情感狀態。同時，我們提出了一個名為HAER-Net的新框架，專注于HOI特定的時空表示，探索HOI動態行為背后的情感狀態。實驗結果
李思源：撰寫 – 審稿與編輯、可視化、驗證、方法論、正式分析、數據管理、概念化。李新德：項目管理、資金獲取。胡傳飛：撰寫 – 原稿撰寫、正式分析、數據管理、概念化。
作者聲明他們沒有已知的競爭性財務利益或個人關系可能影響本文報告的工作。
