《Journal of Personality Assessment》：Motivational Computing: Transformer-Based Automation of Implicit Motive Coding
編輯推薦：
動機計算（Motivational Computing）是運用計算機實時檢測與研究人類動機的新興領域。本文報道了一種基于ELECTRA架構的Transformer模型，該模型在Winter（1994）訓練基準數據集上，機器預測的成就動機（n Ach）、權力動機（n Pow）和親和動機（n Aff）得分，與人手編碼得分間的皮爾遜相關系數和組內相關系數（ICC）達到或接近.85，表現優異。文章進一步提供了模型的聚合、發散、因果及效標效度證據，并通過一個基于Web的API（Application Programming Interface）將模型免費提供給研究使用。通過與近期另外兩個Transformer模型（Nilsson et al., 2025; Brede et al., 2025）的對比，展示了其在“動機計算”領域的潛力，旨在點燃這個利用計算機實時檢測與研究動機的新興領域的發展。
隱式動機的自動化評估：背景與挑戰
隱式動機是驅動目標導向行為、情感反應和認知的人格無意識層面，主要包括成就動機、權力動機和親和動機三大核心動機。傳統上，隱式動機通過內容分析法進行評估，最常用的是主題統覺測驗（TAT）及其研究變體——圖片故事練習（PSE）。受測者根據圖片等線索創作故事，再由經過專門培訓的編碼員根據特定的編碼系統（例如Winter, 1994的集成系統）對這些故事協議進行手動評分。這種人工內容編碼方法極其耗時耗力，編碼員通常需要至少20小時的練習才能達到與訓練材料.85以上的類別一致性。此外，所有測試數據還需至少由兩名編碼員分別編碼，并在子集上達成一致，進一步增加了研究成本和負擔。因此，自動化隱式動機編碼過程具有顯著的時效和資源優勢。
自動化評估的歷史沿革
隱式動機編碼的自動化嘗試可追溯至上世紀60年代，早期的嘗試大多采用基于詞典的“標記詞”方法。該方法通過定義與特定動機相關的“標記詞”詞典，并應用一系列if-then規則來統計文本中相關標記的出現次數，以此推斷動機水平。然而，這種方法與人手編碼得分的對應性始終不高（通常低于.85的類別一致性標準），且詞典法的有效性嚴重依賴研究人員定義的詞典的規模和全面性，存在泛化能力差的問題，難以規模化應用或跨不同語言背景推廣。
近年來，自然語言處理（NLP）與機器學習技術的結合，特別是深度學習模型的應用，為該領域帶來了新的進展。早期的自動化嘗試使用了卷積神經網絡（CNN），但仍未完全達到.85的類間一致性標準。CNN等NLP模型能夠處理句子級別的語義信息，相比僅關注單詞的詞典法，在映射不同語言背景下的復雜語義表征方面更具優勢。然而，這類模型同樣面臨“脆性”問題，即在訓練數據上表現良好的模型，在未見過的真實世界數據上可能表現不佳，泛化能力有限。
最近，基于Transformer大語言模型（LLM）的自動化嘗試取得了突破。Nilsson等人（2025）和Brede等人（2025）分別使用RoBERTa和Sentence Transformers模型，在德語數據集上微調，報告了機器預測得分與人手編碼得分之間優秀的對應性（ICC均高于.80）以及因果效度、效標效度，并將模型通過R語言的text包和Python庫向研究界開放。
當前研究：ELECTRA模型的方法與貢獻
本文報告的研究旨在解決先前工作的不足，并對最近的Transformer模型工作進行了擴展和補充。本研究訓練了一個基于ELECTRA架構的Transformer模型，該架構包含生成器和判別器兩個Transformer模型，通過“生成-鑒別”的對抗訓練，能以更少的計算資源學習更好的上下文詞句表征，在處理相同問題時通常比RoBERTa和XLNet等模型表現更優。
本研究的訓練數據集是目前為止該領域規模最大、語言最多樣的，包含超過364,000個英語句子。這些數據來源于圖片故事練習、主題統覺測驗、電子郵件和新聞文章等多種文本類型，其中約一半為英語源文本，另一半為從德語機器翻譯而來，確保了數據在語言和體裁上的多樣性。所有句子都由11名經過Winter（1994）系統培訓、達到.85類別一致性標準的編碼員重新獨立編碼，用于三個動機的多標簽分類模型訓練，其評分者間信度（ICC）平均達到.94，顯示出極佳的可靠性。
在驗證模型時，研究團隊優先評估模型在多個未見數據集上的預測結果，而非僅僅關注訓練集上的精度和損失指標，以檢驗其泛化能力和效度。這些未見數據集包括Winter（1994）基準數據集、Schultheiss等人（2004）的喚醒研究數據集、克什米爾沖突政治演講數據集以及Strick和Bijleveld（2021）的圖片故事練習數據集。
有效性驗證結果
聚合與發散效度：在Winter基準數據集、Schultheiss喚醒數據集、克什米爾沖突數據集和Strick與Bijleveld數據集上，模型預測的動機得分與對應的人手編碼得分顯示出高相關性。在基準數據集上，ICC值高達.93以上，皮爾遜相關系數在.79到.87之間，超過了人工編碼員通常要求的.85標準，表明模型已具備“合格”編碼員的水平。同時，模型預測的特定動機得分與其他不同動機的人手編碼得分之間相關性普遍很低或呈不顯著相關，表現出良好的發散效度。在與Nilsson模型和Brede模型的對比中，本研究模型在基準數據集和克什米爾沖突數據集上展現出顯著更高的聚合效度。
因果效度：通過分析McClelland等人（1949）成就動機喚醒實驗數據和Schultheiss等人（2004）權力與親和動機喚醒實驗數據，本模型成功復現了成就動機的因果關系，能夠顯著區分成就動機喚醒組與中立控制組，與Winter（1991）報告的手動編碼結果一致。在復現Schultheiss等人的三因素交互效應時，模型在親和動機上呈現出與手動編碼一致的變化趨勢，但效應量較弱；在權力動機上則未能成功復現預期的顯著變化。考慮到Schultheiss數據集樣本量較�。∟=30），且檢測特定交互作用所需統計功效更高，此結果需謹慎解讀。進一步的定性分析揭示了模型在某些權力動機子類別（如“關心給他人留下印象和個人聲譽”、“試圖影響、說服或證明觀點”）的編碼上更為保守，或在處理隱喻、間接表達和邊界案例時存在困難。
效標效度：本研究從同時效度和已知組效度兩個層面驗證了模型的效標效度。在同時效度檢驗中，利用克什米爾沖突期間印巴領導人的演講數據集，模型預測的權力動機得分成功復現了手動編碼發現的現象：在沖突升級階段的演講中，權力動機意象顯著高于緩和階段。同時，模型也成功復現了“權力-親和”動機差距在升級階段顯著更寬的理論預期。在已知組效度檢驗中，利用Strick和Bijleveld（2021）數據集，模型預測的親和動機得分成功檢測到女性參與者顯著高于男性參與者的已知性別差異，與手動編碼結果一致，且效應量大小（Cohen's d=0.63）與手動編碼結果（Cohen's d=0.56）更為接近，相比其他模型表現出更高的保真度。
模型比較、局限性與展望
本研究所開發的ELECTRA模型與Nilsson等人的RoBERTa模型、Brede等人的Sentence Transformers模型共同代表了近期基于Transformer的隱式動機自動化編碼的最新進展。盡管在架構、數據集規模、語言多樣性和訓練策略上存在差異，但這些模型在多個驗證數據集上均展現出了超越早期CNN模型的優秀性能。本研究模型憑借更大、更多樣化的訓練數據集，在基準數據和新的跨體裁數據（如政治演講）上表現出了優越的聚合效度和效標效度。
然而，模型間的比較也揭示了自動化領域的挑戰。例如，Nilsson模型在Schultheiss的喚醒數據集上成功復現了權力動機的因果效應，而本模型則未能做到。這可能源于訓練數據集的多樣性差異、不同實驗室編碼風格偏好對模型邊際案例判斷的影響，或是模型在句子層面預測能力的側重點不同。這表明，自動化工具的優異表現可能依賴于特定的文本體裁或語境，在應用于新領域前，仍需研究者手動驗證一小部分數據以確保有效性。
結論
本文系統論證了一種基于ELECTRA的Transformer模型在自動化隱式動機編碼方面的有效性，提供了聚合、發散、因果和效標效度的堅實證據。模型在Winter基準數據集上達到了相當于“合格”人類編碼員的水平，并在政治沖突分析和性別差異等應用中表現出強大的預測力。本研究的貢獻不僅在于提供了一個通過Web API免費可用的高效自動化工具，更在于通過與近期其他獨立、并行的自動化努力進行三角驗證，推動了“動機計算”這一新興領域的知識積累與方法論進步。未來，通過不同研究團隊對多樣化模型架構、多語言訓練數據以及跨文化語境的持續探索，將進一步優化自動化編碼模型的魯棒性、泛化能力和在心理學、政治學、管理學等跨學科領域的應用前景。
