《International Journal of Industrial Ergonomics》：Towards accurate prediction of drivers’ mental workload during continuous driving tasks with multimodal measures and machine learning regression models
編輯推薦：
本研究通過機器學習回歸模型，利用多模態生理信號（EEG、ECG、EDA、眼動追蹤）和駕駛性能數據，評估連續駕駛中駕駛員心理負荷（MWL）的預測效果。結果表明，整合四類生理信號和駕駛性能的Gaussian過程回歸模型最佳，R2達76%，同時考慮時間變化和駕駛性能能有效提升預測精度。
季玉晨|黃玉勇|王鐵巖|張啟亮|張婷如|陶大
深圳大學機電控制工程學院人因工程與人體工程學研究所，中國深圳
摘要
連續駕駛可能導致精神負荷過重，從而增加交通事故的風險。準確預測駕駛員的精神負荷（MWL）對于確保道路安全至關重要，但這面臨相當大的挑戰。本研究旨在探討機器學習回歸模型在連續駕駛過程中基于多模態生理指標預測駕駛員MWL的準確性，并檢驗特定生理指標及其組合在預測性能中的有效性。我們還研究了通過納入駕駛表現指標以及考慮這些指標的時間變化來提高預測性能的效果。實驗采用了雙任務駕駛方式，參與者需要執行長期連續的駕駛任務。在任務執行過程中，持續記錄了他們的生理信號（即腦電圖EEG、心電圖ECG、皮膚電活動EDA和眼動追蹤數據）。開發了一系列單模態、雙模態和多模態的MWL回歸預測模型進行比較。結果表明，結合四種生理指標和駕駛表現的高斯過程回歸模型取得了最佳性能，R2值為76%，說明76%的MWL變化可以得到解釋。然而，不同模態的融合并不總是能均勻提高模型準確性。特別是在融合四種或更多模態的情況下，由于特征的時間變化，模型性能有所提升。這些發現為智能駕駛系統中實時MWL監測的準確預測模型和多模態融合策略的開發提供了見解。
引言
道路安全長期以來一直被視為一個重要的公共問題，因為道路交通事故是全球主要的死亡原因之一。世界衛生組織2023年的全球道路安全報告顯示，2021年全球約有119萬人死于道路交通事故（WHO，2023年）。近年來，中國每年發生超過20萬起交通事故。2021年，交通事故造成的死亡人數超過6.2萬人，另有28.1萬人受傷。據報道，90%以上的交通事故可歸因于人為因素，其中駕駛員的精神負荷（MWL）一直被認為是主要因素之一（Bengler等人，2014年；Dijksterhuis等人，2011年），MWL指的是保持駕駛任務在主觀安全范圍內的努力（Boer，2001年）。長時間駕駛可能導致精神負荷過重，損害駕駛員的決策和控制能力，進而增加交通事故的風險。研究表明，精神負荷過重可能占全球每年交通事故的21%（Vivoli等人，2006年）。駕駛是一項高度動態的任務，駕駛員需要在不斷變化的環境中處理大量視覺和聽覺信息，并與駕駛系統持續互動，這需要大量的心理資源來維持良好的駕駛表現（Sivak，1996年）。例如，駕駛員需要保持適當的情境意識，能夠管理干擾，在關鍵時刻迅速做出決策以避免碰撞。因此，駕駛不僅是一項需要操作方向盤和油門踏板的體力活動，也是一項對心理要求很高的活動。因此，在長期駕駛場景中，MWL可能是駕駛任務的自然結果。
隨著汽車技術的進步，車輛配備各種車載信息系統已成為常態，包括車載信息和娛樂系統以及智能駕駛系統（Neuhuber等人，2022年；Zhang等人，2023年）。然而，提供的信息越多，可能帶來的MWL也越多，這對駕駛安全構成了新的挑戰。當MWL過高或過低時，駕駛員可能會出現反應遲緩、錯誤增多和表現不佳的情況（Ma等人，2014年）。駕駛過程中經常出現精神負荷過重的現象，這可能會降低駕駛性能并增加交通事故的風險（Butmee等人，2019年）。然而，MWL是一個本質上是多維的概念，長期以來被認為難以評估。目前，可以通過多種方式評估MWL，如主觀測量、表現測量和生理測量，其中生理測量在連續、準確和可靠地評估MWL方面顯示出潛力（Tao等人，2019年）。盡管已經評估了多種生理指標（如腦電圖EEG、眼動追蹤ET信號、心電圖ECG和皮膚電活動EDA信號）與MWL的關聯，但最近的綜述一致表明，沒有一種生理指標在所有任務場景和個體差異中都具有普遍的有效性（Charles和Nixon，2019年）。這可能是因為每種生理指標只能反映個體MWL變化的一部分。結合多種類型的生理指標可能是解決這些限制的有效方法，從而從多個角度反映MWL的變化，進行更全面的評估。因此，越來越多地引入機器學習算法來構建智能模型，這些模型可以整合來自多種生理信號的信息，提供更可靠和準確的負荷預測（Debie等人，2021年）。先前的研究應用了各種機器學習算法基于生理信號評估駕駛員的MWL（Cardone等人，2022年；Ding等人，2020年；Safari等人，2024年）。各種類別的機器學習算法對模型性能有不同影響（Cardone等人，2022年）。總體而言，大多數先前的評估模型研究了二元或三元MWL分類任務，準確率在73.1%到89.5%之間（Cardone等人，2022年；Ding等人，2020年；Safari等人，2024年）。
盡管在基于生理的MWL評估方面取得了顯著進展，但目前的研究仍存在幾個關鍵限制。首先，以往的研究大多開發了只能將MWL分類為幾個有限、離散級別的二元或三元分類模型（例如，低、中和高級別）（Cardone等人，2022年；Ding等人，2020年；Safari等人，2024年；Tjolleng等人，2017年）。這些模型可能無法捕捉到現實世界任務中MWL的細微和連續性，因此在需要精確監測和適應性干預的復雜現實場景中適用性有限。為了解決這一限制，越來越需要開發基于回歸的模型，以實現MWL水平的連續估計。其次，以往的研究大多基于短期、橫斷面的實驗數據開發評估模型，忽略了MWL的時間變化。然而，由于疲勞、適應性和任務熟悉度等因素，MWL以及MWL與生理信號之間的關系可能會隨時間變化（Yang等人，2021年；Tao等人，2026年）。基于橫斷面數據集訓練的模型不太可能捕捉到這些時間變化，導致在長期連續任務背景下評估性能較差（Yang等人，2021年）。最后，不同生理指標（如EEG、ET、ECG和EDA）在MWL評估中的具體作用和相對貢獻仍不清楚。缺乏對多模態生理數據融合作用的系統理解和比較進一步阻礙了當前評估方法的通用性和穩健性（Lohani等人，2019年）。解決這些限制對于實現更動態、準確和自適應的駕駛系統的實時MWL估計至關重要。
因此，本研究旨在探索使用多模態生理指標基于機器學習回歸模型進行準確MWL預測的可行性，并檢驗特定生理指標及其組合在預測性能中的有效性。此外，我們還研究了通過考慮時間變化和納入駕駛表現（DP）指標來提高模型性能的效果，這些指標已被證明與駕駛員的MWL相關（Huang等人，2024年）。具體來說，基于長期連續駕駛任務實驗，持續記錄了駕駛員的生理信號（即EEG、ET、ECG和EDA）和DP指標。開發了一系列單模態、雙模態和多模態的MWL回歸模型進行比較。本研究的結果有助于推進準確的MWL建模，并為智能駕駛系統中實時MWL監測的發展提供更好的基礎。
部分摘錄
使用多模態指標評估MWL
生理指標（EEG、ET、ECG和EDA）被廣泛用于評估駕駛員的MWL，因為MWL的變化也會導致人體相應生理活動的變化（Cardone等人，2022年；Huang等人，2024年；Tao等人，2025年）。例如，由于其高時間分辨率和便攜性的獨特優勢，EEG在最近的MWL評估研究中得到了廣泛應用。在多屬性任務中，θ和β波段的功率有顯著差異
參與者
共有24名男性參與者（平均年齡=24.5歲，標準差=2.3歲）參與了實驗。僅招募男性參與者，因為他們更容易佩戴EEG和ECG設備以獲得更好的信號采集效果。所有參與者都持有有效的駕駛執照，并且至少有一年的駕駛經驗（平均駕駛經驗=2.6年，標準差=1.3年）。參與者均未報告有任何神經系統疾病、心臟病或其他醫療禁忌癥的歷史。
指標的ANOVA結果
隨著任務難度的增加，NASA-TLX得分顯著上升（F(2, 46) = 23.690，p < 0.001），而平均速度（F(2, 46) = 0.500，p = 0.011），油門開度標準差（F(1.60, 36.74) = 10.151，p = 0.001），轉向輸入（F(1.35, 31.00) = 5.865，p = 0.014）以及車道中心偏移量（F(2, 46) = 7.730，p = 0.001）逐漸下降（表2）。在EEG指標中，任務難度僅顯著影響了δ波段的功率，在中等難度任務下觀察到更高的δ波段功率
討論
準確評估駕駛員的MWL對于駕駛安全至關重要，因為精神負荷過重可能是連續駕駛環境中交通事故的主要原因之一（Bengler等人，2014年；Dijksterhuis等人，2011年）。本研究探討了使用基于機器學習的回歸模型結合多模態生理指標進行準確MWL評估的可行性，并檢驗了特定生理指標及其組合在評估中的有效性
結論
駕駛是一項認知要求高且動態性強的活動，連續操作可能導致精神負荷過重，從而增加事故風險。本研究調查了使用多模態生理信號和駕駛表現通過機器學習回歸模型連續預測駕駛員精神負荷（MWL）的可行性，并評估了時間特征對模型性能的影響。結果表明，ET特征在單模態模型中有效，而最佳模型
CRediT作者貢獻聲明
季玉晨：寫作——審稿與編輯，撰寫初稿，可視化，形式分析，數據管理。黃玉勇：調查，形式分析，數據管理。王鐵巖：寫作——審稿與編輯，監督，方法論，概念化。張啟亮：方法論，調查，數據管理。張婷如：寫作——審稿與編輯，資金籌集，概念化。陶大：寫作——審稿與編輯，驗證，項目管理，方法論，資金
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文報告的工作。
資金致謝
本工作部分得到了國家自然科學基金（資助編號：32271130）、廣東省自然科學基金（資助編號：2024B1515020007）以及深圳市科技創新委員會基金（資助編號：20231122105927001、JCYJ20230808105219038、JCYJ20250604182022029和JCYJ20241202124304007）的支持。
