《Engineering Applications of Artificial Intelligence》：Lightweight emotion classification in Urdu: A multi-head attention and hybrid approach
編輯推薦：
烏爾都語情感分類研究提出輕量級多注意力頭模型與集成學習模型，有效克服低資源語言標注數據少和結構復雜問題，在基準數據集上實現76.68%加權F1分數，驗證了混合架構在低資源環境中的高效性。
Kirti Kumari | Shirish Shekhar Jha
印度賈坎德邦蘭契信息技術學院計算機科學與工程系，835217，印度
摘要
在烏爾都語等資源匱乏的語言中，情感分類受到有限標注數據和復雜語言結構的阻礙。本研究通過提出并評估兩種新穎的方法來應對這些挑戰：一種是結合多頭注意力機制的混合模型，另一種是機器學習與深度學習分類器的集成模型。多頭注意力機制專門用于捕捉烏爾都語文本中準確情感檢測所需的上下文細微差別。所提出的集成模型在基準數據集上取得了76.68%的加權平均F1分數和75.00%的召回率，優于現有方法。本工作證明了混合架構在為資源匱乏的語言創建強大且高效的情感分類模型方面的有效性，為該任務樹立了新的性能標桿。研究還發現了人工智能在情感分類中的有效應用，以及輕量級模型對資源匱乏語言的重要性。
引言
社交媒體的迅速發展產生了大量用戶生成的文本，使得對公眾情緒和情感表達進行細致分析成為可能。情感分類是情緒分析的一個專門分支，旨在從文本中識別離散的情感狀態，越來越多地應用于消費者行為分析、內容審核和心理健康監測等領域。雖然基于Transformer的先進模型在英語等資源豐富的語言上取得了優異的性能，但在資源匱乏的語言上類似進展仍然有限。
特別是烏爾都語，在自然語言處理（NLP）方面面臨諸多挑戰。其復雜的形態學、Nastal??q書寫系統、頻繁的代碼轉換以及標注語料的稀缺限制了BERT（Devlin等人，2019年）和Sentence-BERT（Reimers和Gurevych，2020年）等大型Transformer模型的應用。這些模型需要大量的預訓練數據和計算資源，使其在資源匱乏的環境中難以使用。此外，以往的烏爾都語情感分類研究大多假設情感狀態是相互排斥的，忽略了人類情感狀態的共現和相互依賴性（例如，同時表現出“悲傷”和“恐懼”）。這種忽略導致了方法上的空白：現有的烏爾都語模型既無法捕捉標簽之間的關聯，也無法在資源受限的環境中實現高效的計算。
為了解決這些限制，本研究探討了兩種用于烏爾都語多標簽情感分類的輕量級方法。第一種是直接在烏爾都語文本上訓練的多頭注意力架構，使模型能夠在不依賴計算成本高昂的預訓練Transformer的情況下捕捉上下文依賴性。第二種是混合方法，它使用Label Powerset轉換來顯式建模標簽之間的關聯，并將深度注意力派生的特征與邏輯回歸分類器相結合，平衡了表示能力和參數效率。
本文的主要貢獻如下：
- •
本文提出了一種適用于資源匱乏環境的輕量級多頭注意力架構。該模型僅使用了約4900萬個參數，相比XLM-RoBERTa Large（約35億個參數）等大型多語言Transformer模型減少了98%，同時保持了強大的預測性能。
- •
本研究引入了一種新的混合模型，通過Label Powerset轉換將基于深度注意力的特征提取與邏輯回歸相結合。這顯著捕捉到了情感的共現模式——這是以往烏爾都語情感檢測工作的局限性。
- •
該研究在烏爾都語情感分類的基準數據集上取得了新的最佳性能，加權F1分數達到76.68%，表明計算效率高的架構可以與基于Transformer的基線模型相媲美甚至超越它們。
本文的其余部分結構如下：第2節討論相關工作，第3節介紹數據集，第4節描述所提出的方法論，第5節提供實驗結果和分析，第6節為結論。
相關研究
相關工作
本節回顧了情感分類的發展、資源匱乏和多語言NLP中的挑戰，以及烏爾都語情感建模中的具體研究空白——特別是缺乏捕捉多標簽關聯的方法。
數據集和任務描述
我們使用的數據集來自Butt等人（2022年）的研究。該數據集包含用于訓練和測試的烏爾都語文本，“Sentences”列包含烏爾都語文本和七種情感標簽：“anger”（憤怒）、“disgust”（厭惡）、“fear”（恐懼）、“sadness”（悲傷）、“happiness”（快樂）和“surprise”（驚訝）。訓練集中每個標簽的樣本數量如圖1所示。訓練集和測試集中每個標簽的樣本數量見表1。該數據集來源于
方法論
本節概述了用于情感分類的各種架構。研究重點關注那些能夠在減少參數數量的同時仍保持相當性能的方法。為了提高模型對重要但常被忽略的單詞的關注能力，采用了注意力模塊，這顯著促進了競爭性結果的產生。
此外，還探索了幾種旨在提高分類準確性的神經網絡架構，見表3
結果與討論
本節展示了實驗的詳細結果以及對發現的解釋。我們使用精確度（Precision）、召回率（Recall）和F1分數（F1-Score）在微觀、宏觀和加權平均尺度上對實驗進行了評估。
- •
精確度：精確度衡量模型正面預測的準確性。它定義為模型做出的真正例預測與總正面預測之間的比率。高精確度意味著假正例的比例較低。精確度的計算公式為
結論
本研究的主要貢獻是證明了混合集成架構能夠在像烏爾都語這樣語言復雜度高的語言上有效執行分類任務。研究還表明，與其他最先進模型相比，這種集成模型參數更少，提供了計算效率高且可靠的解決方案。
未來的工作應側重于整合這兩種模型的優勢
CRediT作者貢獻聲明
Kirti Kumari：撰寫——審閱與編輯、初稿撰寫、可視化、驗證、監督、資源管理、方法論設計、概念構思。Shirish Shekhar Jha：初稿撰寫、可視化、驗證、資源管理、方法論設計、概念構思。
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文所報告工作的財務利益或個人關系。
致謝
我們所有作者感謝賈坎德邦蘭契信息技術學院計算機科學與工程系提供的研究支持。
