近日，上海交通大學(xué)計(jì)算機(jī)學(xué)院通用人工智能研究所仿腦計(jì)算與機(jī)器智能研究中心呂寶糧教授和鄭偉龍副教授團(tuán)隊(duì)在IEEE Transactions on Affective Computing上發(fā)表了題為SEED-OLF: A Novel EEG Dataset with Olfactory Stimulation for Emotion Recognition的研究論文。這是國(guó)際上第一個(gè)基于嗅覺(jué)刺激的情緒腦電公開(kāi)數(shù)據(jù)集。

從生理信號(hào)中精確地識(shí)別人的情緒狀態(tài)是情感腦機(jī)接口研究的核心問(wèn)題之一。盡管基于視覺(jué)和聽(tīng)覺(jué)誘發(fā)的情緒腦電信號(hào)已得到了廣泛探討，嗅覺(jué)作為一種能夠直接投射至大腦邊緣系統(tǒng)（該區(qū)域主要負(fù)責(zé)情緒加工與記憶處理）的原始感官通道，在情感腦機(jī)接口研究中仍處于起步階段（見(jiàn)圖1）。相比視覺(jué)與聽(tīng)覺(jué)刺激，嗅覺(jué)誘發(fā)的情緒反應(yīng)更加直接且深層，具有獨(dú)特的研究?jī)r(jià)值與應(yīng)用潛力。為了填補(bǔ)嗅覺(jué)情緒誘發(fā)研究的空白，本文提出了基于嗅覺(jué)刺激的情緒誘發(fā)范式，并構(gòu)建了一個(gè)名為 SEED-OLF 的新型腦電數(shù)據(jù)集。該數(shù)據(jù)集記錄了32名被試者在不同嗅覺(jué)刺激下的腦電（EEG）信號(hào)，涵蓋了從嗅探動(dòng)作識(shí)別到主客觀情緒效價(jià)（Valence）解碼的多樣化任務(wù)，為探索嗅覺(jué)誘發(fā)情緒新范式和多模態(tài)情感腦機(jī)接口及其神經(jīng)機(jī)制提供了寶貴的數(shù)據(jù)資源。

圖1：本文研究的嗅覺(jué)刺激的情緒誘發(fā)范式與傳統(tǒng)的視覺(jué)與聽(tīng)覺(jué)情緒誘發(fā)范式示意圖

本文的主要貢獻(xiàn)包括以下幾點(diǎn)：

1、提出了一種新型嗅覺(jué)誘發(fā)情緒實(shí)驗(yàn)范式并構(gòu)建了 SEED-OLF 數(shù)據(jù)集。研究團(tuán)隊(duì)設(shè)計(jì)了一套嗅覺(jué)情緒誘發(fā)實(shí)驗(yàn)范式。通過(guò)對(duì)21種氣味進(jìn)行嚴(yán)格的預(yù)實(shí)驗(yàn)篩選，最終選定了最具代表性的正向和負(fù)向情緒誘發(fā)素材，并構(gòu)建了專(zhuān)門(mén)用于情緒識(shí)別的嗅覺(jué)腦電數(shù)據(jù)集 SEED-OLF。

2、針對(duì)嗅覺(jué)認(rèn)知過(guò)程設(shè)計(jì)了三種分類(lèi)任務(wù)。從生理行為到心理感知，論文定義了三個(gè)核心解碼任務(wù)：嗅探動(dòng)作識(shí)別、主觀情感效價(jià)解碼以及氣味客觀效價(jià)解碼。上述任務(wù)所對(duì)應(yīng)的腦電數(shù)據(jù)為深入探索嗅覺(jué)誘發(fā)情緒提供了多維度的基礎(chǔ)數(shù)據(jù)支撐。

3、提出了捕獲多維特征的雙流腦電解碼模型。針對(duì)腦電信號(hào)的復(fù)雜特性，提出了一種全新的雙流腦電網(wǎng)絡(luò)（DSEN）。該模型通過(guò)并行的時(shí)空流與頻譜流，能夠協(xié)同提取信號(hào)中的動(dòng)態(tài)時(shí)空依賴(lài)與非線(xiàn)性頻譜特征，顯著提升了嗅覺(jué)情緒的識(shí)別精度。

4、開(kāi)展了系統(tǒng)的對(duì)比實(shí)驗(yàn)并揭示了特定的神經(jīng)激活模式。通過(guò)與多種 SOTA 模型進(jìn)行系統(tǒng)性對(duì)比，驗(yàn)證了 DSEN 的優(yōu)越性能；同時(shí)，利用腦地形圖分析揭示了嗅覺(jué)情感處理中特定頻段與腦區(qū)的神經(jīng)規(guī)律，為嗅覺(jué)情緒解碼提供了神經(jīng)科學(xué)依據(jù)。

圖2，基于嗅覺(jué)刺激的情緒誘發(fā)實(shí)驗(yàn)方案。圖中不同顏色的容器代表具有不同情緒效價(jià)的氣味類(lèi)別。

為了減輕嗅覺(jué)疲勞并避免快速的嗅覺(jué)適應(yīng)對(duì)誘發(fā)效果的影響，本研究采用了多段（Session）實(shí)驗(yàn)設(shè)計(jì)，段之間間隔需超過(guò)24小時(shí)以確保數(shù)據(jù)的獨(dú)立性。每段由6個(gè)輪次（Fold）組成，每個(gè)輪次內(nèi)四種代表性氣味以隨機(jī)順序呈現(xiàn)一次，并設(shè)置了充足的恢復(fù)環(huán)節(jié)。圖2下方展示了單次實(shí)驗(yàn)片段（Trial i）的詳細(xì)過(guò)程，共包含四個(gè)階段：1）準(zhǔn)備階段（約1分鐘）：被試通過(guò)交互界面接收實(shí)驗(yàn)指令并做好準(zhǔn)備；2）刺激階段（15秒）：通過(guò)嗅覺(jué)面罩輸送氣味，要求被試注視屏中十字并保持正常呼吸；3）自評(píng)階段（約10秒）：被試通過(guò)交互界面報(bào)告其感知到的主觀情緒效價(jià)；4）靜息呼吸階段（30秒）：輸送潔凈空氣以清除殘留氣味，使被試的生理狀態(tài)恢復(fù)至基準(zhǔn)水平。

SEED系列數(shù)據(jù)集簡(jiǎn)介：

自2015年10月對(duì)外正式發(fā)布上海交通大學(xué)情緒腦電數(shù)據(jù)集SEED （SJTU Emotion EEG Dataset）以來(lái)，呂寶糧教授和鄭偉龍副教授團(tuán)隊(duì)深耕情感腦機(jī)接口及其應(yīng)用，先后發(fā)布了SEED系列的十三個(gè)子集。該系列已涵蓋四個(gè)標(biāo)準(zhǔn)情緒數(shù)據(jù)集（SEED、SEED-IV、SEED-V和SEED-VII）、三個(gè)跨文化情緒數(shù)據(jù)集（SEED-FRA、SEED-GER和SEED-MYA）、三個(gè)疲勞駕駛監(jiān)測(cè)數(shù)據(jù)集（SEED-VIG、SEED-VLA和SEED-VRW）、一個(gè)睡眠剝奪下的情緒數(shù)據(jù)集（SEED-SD）、一個(gè)通過(guò)腦電信號(hào)解碼動(dòng)態(tài)視覺(jué)感知的數(shù)據(jù)集（SEED-DV），以及一個(gè)嗅覺(jué)誘發(fā)情緒數(shù)據(jù)集（SEED-OLF）。目前，SEED系列已吸引全球104個(gè)國(guó)家的3278所大學(xué)申請(qǐng)使用，累計(jì)申請(qǐng)量達(dá)10678次，支撐了3208篇學(xué)術(shù)論文的發(fā)表。SEED系列已成為全球數(shù)據(jù)規(guī)模最大、模態(tài)最豐富、誘發(fā)維度最廣的情緒腦電數(shù)據(jù)集，是國(guó)際上兩個(gè)最常用的標(biāo)準(zhǔn)情緒腦電數(shù)據(jù)集之一。

SEED數(shù)據(jù)集網(wǎng)址：https://bcmi.sjtu.edu.cn/home/seed/

作者簡(jiǎn)介：

張健銘，于2020年在吉林大學(xué)軟件學(xué)院獲得軟件工程學(xué)士學(xué)位。目前是上海交通大學(xué)計(jì)算機(jī)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)博士研究生，導(dǎo)師為呂寶糧教授，研究方向包括情感計(jì)算、腦機(jī)接口及機(jī)器學(xué)習(xí)。

姜衛(wèi)邦，于2021年在上海交通大學(xué)ACM班獲得計(jì)算機(jī)科學(xué)與技術(shù)學(xué)士學(xué)位。目前是上海交通大學(xué)計(jì)算機(jī)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)直博研究生，導(dǎo)師為呂寶糧教授，研究方向包括情感計(jì)算、腦機(jī)接口及機(jī)器學(xué)習(xí)。

鄭偉龍，上海交通大學(xué)計(jì)算機(jī)學(xué)院長(zhǎng)聘教軌副教授，博士生導(dǎo)師。入選國(guó)家級(jí)高層次海外青年人才和上海市海外高層次青年人才。他于2018年在上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系獲博士學(xué)位，之后在哈佛大學(xué)醫(yī)學(xué)院麻省總醫(yī)院和麻省理工學(xué)院從事博士后研究，長(zhǎng)期從事腦認(rèn)知與智能、情感計(jì)算、腦機(jī)交互、類(lèi)腦計(jì)算理論與模型等方面研究。在國(guó)際高水平會(huì)議和期刊發(fā)表研究論文110余篇，多篇論文入選ESI高被引論文。榮獲IEEE Transactions on Autonomous Mental Development最佳論文獎(jiǎng)、IEEE Transactions on Affective Computing最佳論文獎(jiǎng)、ACM Multimedia Top Paper Award、中國(guó)人工智能學(xué)會(huì)優(yōu)秀博士學(xué)位論文獎(jiǎng)以及吳文俊人工智能自然科學(xué)一等獎(jiǎng)，入選上海市浦江人才項(xiàng)目、小米青年學(xué)者、微軟亞洲研究院鑄星計(jì)劃、2023和2024全球前2%科學(xué)家年度影響力榜單。目前擔(dān)任IEEE Transactions on Affective Computing編委。個(gè)人主頁(yè)：https://weilongzheng.github.io/

呂寶糧，上海交通大學(xué)計(jì)算機(jī)學(xué)院二級(jí)教授、博士生導(dǎo)師、IEEE Fellow。1994年獲日本京都大學(xué)工學(xué)博士學(xué)位，現(xiàn)任上海交通大學(xué)智能人機(jī)交互與認(rèn)知工程上海高校重點(diǎn)實(shí)驗(yàn)室主任、上海交通大學(xué)計(jì)算機(jī)學(xué)院仿腦計(jì)算與機(jī)器智能研究中心主任、上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院腦機(jī)接口與神經(jīng)調(diào)控共同主任和上海零唯一思科技有限公司首席科學(xué)家，擔(dān)任Journal of Neural Engineering、《模式識(shí)別與人工智能》和《智能科學(xué)與技術(shù)學(xué)報(bào)》編委。榮獲2018 IEEE Trans. Autonomous Mental Development最佳論文獎(jiǎng)、2020年度吳文俊人工智能自然科學(xué)一等獎(jiǎng)、2021 IEEE Trans. Affective Computing最佳論文獎(jiǎng)、2022亞太神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)杰出成就獎(jiǎng)和2025年度中國(guó)腦-機(jī)接口“華瑙獎(jiǎng)”卓越學(xué)者獎(jiǎng)，入選2020-2025全球前2%頂尖科學(xué)家榜單和2020-2025愛(ài)思唯爾中國(guó)高被引學(xué)者榜單（計(jì)算機(jī)科學(xué)與技術(shù)）。主要研究領(lǐng)域包括類(lèi)腦計(jì)算理論與模型、深度學(xué)習(xí)、腦電大模型、情感智能、情感腦機(jī)接口及其在情感障礙疾病客觀評(píng)估中的應(yīng)用。