用于識別與虛擬現實(VR)運動病訓練相關的神經子圖的可解釋圖神經網絡:一項腦電圖(EEG)研究
《Engineering Applications of Artificial Intelligence》:Interpretable Graph Neural Network for identifying neural subgraphs associated with VR motion sickness training: An electroencephalography study
【字體:
大
中
小
】
時間:2026年03月03日
來源:Engineering Applications of Artificial Intelligence 8
編輯推薦:
虛擬現實運動病(VRMS)的緩解機制研究:通過7天VR適應訓練結合可解釋圖神經網絡(GNBI)分析腦電信號,發現訓練后受試者腦網絡小世界指數上升、冗余度降低,且模型能輸出可解釋的神經子圖以實時評估VRMS狀態,為閉環訓練系統提供理論依據。
馮乃實|陳志琪|趙宏偉|華成成
沈陽大學信息工程學院,中國沈陽,110044
摘要 虛擬現實引起的運動病(VRMS)仍然是限制虛擬現實(VR)技術廣泛應用的關鍵瓶頸。因此,迫切需要利用VR技術進行前庭功能訓練,以減輕運動病的強度。然而,VRMS的神經機制仍不清楚,現有技術缺乏實時評估的能力。為此,本研究設計了一項小樣本研究,進行了為期7天的VR適應訓練,并收集了訓練前后的靜息狀態和任務狀態腦電圖(EEG)數據以及行為數據。從時間、頻率和空間三個維度提取了代表靜息狀態和任務狀態的特征,并構建了一個具有內置可解釋性的圖神經網絡(GNBI)模型。該模型在執行狀態檢測的同時可以輸出可解釋的神經子圖。結果表明,7天的訓練可以有效緩解VRMS。GNBI模型的分類性能與主流模型相當。此外,對模型提取的神經子圖的分析顯示,訓練后,受試者內部腦網絡的小世界指數增加,冗余減少,而受試者之間的腦網絡趨于趨同。本研究填補了VRMS研究中行為干預與神經機制之間關聯的空白,為開發具有實時神經反饋的閉環VR訓練系統提供了可能,以實現個性化的運動病緩解。
引言 虛擬現實(VR)技術在許多領域取得了快速進展(Qin等人,2025年)。然而,其實際應用受到效果不足的限制,其中虛擬現實引起的運動病(VRMS)是一個主要障礙(Chattha等人,2020年)。VRMS指的是由于過度沉浸而引起的頭暈和惡心等癥狀,在嚴重情況下可能導致更嚴重的健康問題。因此,針對VRMS的定向訓練和調節方法具有不可替代的重要性(Chang等人,2020年)。盡管VRMS和普通運動病在某些方面有相似之處,現有研究也利用VR技術進行前庭功能訓練以減輕運動病的強度,但由于對VRMS神經機制的了解不足,目前尚無直接通過這些方法緩解VRMS的堅實理論基礎。
值得注意的是,雖然虛擬現實運動病和傳統運動病在某些方面有共同點(Mazloumi Gavgani等人,2018年),例如都涉及視覺-前庭信號不匹配,且現有研究已證實使用虛擬現實技術的前庭功能訓練可以降低普通運動病的誘發強度(Kasegawa等人,2024年),但兩者在本質上有顯著差異。VRMS的核心誘因在于虛擬環境中“不自然的視覺運動信號”與身體靜態狀態之間的強烈沖突,其神經機制(例如特定腦區對虛擬運動的異常反應模式)尚未達成明確共識(Ng等人,2020年)。這種機制的模糊性使得難以直接將針對普通運動病的干預方法應用于VRMS的緩解。因此,針對VRMS的特定訓練和實時評估研究對于實現個性化抗運動病效果以及進一步突破用戶體驗的界限具有不可替代的意義。2024年,研究人員提出了一種使用眼動追蹤和問卷作為主要技術方法的VRMS緩解訓練方法。該方法通過提前讓用戶接觸與VRMS相關的刺激來增強他們的適應能力。結果顯示,這種訓練顯著降低了47%的惡心感和34%的眼動不適(Won等人,2024年)。其他研究則通過訓練視覺能力來降低VRMS的易感性。參與者在14天的訓練期間每天完成固定任務,其視覺空間技能提高了40%(Smyth等人,2021年)。此外,一些研究通過硬件調整來緩解眩暈,例如在任務中調整姿勢(Yang等人,2025年)、動態改變視角(Bredikhin等人,2022年)以及添加靜態幀(Cao等人,2018年)。
然而,目前大多數研究使用問卷和心理測試等主觀報告方法來量化緩解效果,很少使用眼動追蹤器或生理電信號等客觀評估工具。在評估方法方面,模擬器不適問卷(SSQ)是目前用于實時評估的主要工具。它通過16個項目量化三類癥狀(惡心、眼動不適和眩暈),在0-3的評分范圍內捕捉用戶的主觀感受,從而快速生成可比較的定量結果(Kennedy等人,1993年)。然而,SSQ依賴于用戶的主動反饋,導致時間延遲(例如,評分只能在癥狀出現后完成),并且難以捕捉瞬時的生理變化。因此,參與者的生理信號是評估的最佳選擇(Li等人,2024/05;Zhan等人,2025;He等人,2025)。當前的主流方法包括眼動追蹤、心電圖、皮膚電反應和腦電圖(EEG)(Li等人,2025;Sangeetha等人,2024)。其中,EEG可以直接捕捉大腦活動的變化(Shi和Liu,2024;Huang和Xu,2025/11;Lu等人,2025a),與其他電信號相比,能夠更早地檢測到大腦中視覺-前庭信號沖突的異常整合。然而,過去十年的研究回顧顯示,大多數研究僅關注頻率分析(Andrievskaia等人,2023年)或采用端到端的方法進行狀態分類(Hua等人,2024;Liu等人,2024;Chen等人,2026a)。盡管在其他研究領域已經應用了因果關系(Zhao等人,2024;Lu等人,2025b),但大多數研究仍難以捕捉與VR運動病(VRMS)狀態相關的EEG信號的復雜時空動態特征。此外,關于VRMS的神經機制的可解釋性不足,特別是對于端到端模型(Wang等人,2022;Zhang等人,2025a),這些模型就像黑箱一樣,無法明確判斷提取的EEG特征是否真正與VRMS的核心機制相關。
總之,本研究對一小部分參與者進行了虛擬現實運動病訓練,分析了訓練前后大腦模式的變化,并提出了一個可解釋的神經子圖,從而為VRMS訓練提供了理論支持。本研究包括五個部分:第1部分是引言;第2部分涵蓋材料和方法,包括實驗設計、數據處理和模型建立;第3部分呈現分析結果;第4部分是討論,第5部分是結論。
實驗設計 本研究共招募了22名受試者(16名男性和6名女性,年齡在19-28歲之間)。其中4名受試者未參與訓練后的數據收集并自動退出。實驗使用了Bit Planet Games開發的Super Glider 2游戲,持續時間為5分鐘。在實驗過程中,受試者需要控制飛機飛越位于不同位置和方向的7個目標。
SSQ值比較 通過計算VRSQ值,比較了受試者在訓練前后的VRSQ值。圖3(a)顯示了訓練前七天任務前后受試者VRSQ的變化,圖3(b)顯示了訓練后VRSQ的變化。訓練前的任務前后受試者的VRSQ存在顯著差異;然而,訓練后的任務前后沒有顯著差異。可以初步得出結論,
討論 本研究提出了一種具有內置可解釋性的圖神經網絡(GNBI),旨在識別與虛擬現實引起的運動病(VRMS)訓練相關的EEG神經子圖,并系統地分析了7天VR適應訓練前后大腦功能的變化。
結論 由于目前虛擬現實引起的運動病的神經機制尚不清楚,將其應用于VRMS的適應性訓練和實時評估存在困難。為了解決這個問題,本研究進行了為期7天的VR適應訓練實驗,并提出了一個具有內置可解釋性GNBI(具有內置可解釋性的圖神經網絡)的模型。該模型在執行狀態檢測的同時可以輸出可解釋的神經子圖。本研究分析了EEG狀態
CRediT作者貢獻聲明 馮乃實: 撰寫——原始草案、方法論、形式分析、概念化。陳志琪: 可視化、驗證。趙宏偉: 撰寫——審閱與編輯、概念化。華成成: 監督、資金獲取。
利益沖突聲明 作者聲明他們沒有已知的財務利益或個人關系可能影響本文報告的工作。
致謝 本工作部分得到了
國家自然科學基金 的資助,項目編號為
62206130 、
62471319 和
62101355 ;部分得到了
東北師范大學引進人才創業基金 的資助,項目編號為
2020r075 ;以及
遼寧省博士創業基金 的資助,項目編號為
2025BS0872 。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱:
粵ICP備09063491號