視覺-聽覺感覺替代學習揭示圖像-聲音映射的靈活性
《npj Science of Learning》：Learning visual to auditory sensory substitution reveals flexibility in image to sound mapping
【字體：
大
中
小
】
時間：2025年12月05日
來源：npj Science of Learning 3
編輯推薦：
本研究針對視覺-聽覺感覺替代設備（SSD）中圖像-聲音映射規則是否受跨模態對應關系制約的問題，通過比較傳統算法（音高表示垂直位置）、反向算法（音高表示水平位置）和對照組的學習效果，發現結構化映射均可快速習得，表明SSD映射具有可塑性，為個性化康復設備開發提供新思路。
當我們閉上眼睛，世界并未消失——這是感覺替代技術帶來的神奇體驗。對于視覺障礙者而言，這種技術如同打開另一扇感知之窗。視覺-聽覺感覺替代設備（SSD）通過將視覺信息轉化為聲音信號，幫助盲人"看見"周圍環境。其中最具代表性的The vOICe系統，將像素的垂直位置映射為音高，水平位置映射為時間，創造出獨特的"聲音景觀"。
然而，一個長期存在的爭議是：這種映射關系是否必須遵循所謂的"跨模態對應"原則？比如高音自然對應高處，低音對應低處？還是說大腦具有足夠的可塑性，能夠學習任意映射規則？這個問題不僅關乎設備設計的理論基礎，更直接影響康復訓練的效率。
為了解答這一疑問，來自瑞士洛桑大學醫院等機構的研究團隊在《npj Science of Learning》上發表了一項創新研究。他們設計了一個巧妙的實驗，比較三種不同的圖像-聲音映射規則：傳統算法（音高表示垂直位置）、反向算法（音高表示水平位置）以及無結構的單音對照組。
研究采用隨機分組設計，60名視力正常的成年人被分配到三個實驗組。學習階段，參與者通過系統訓練掌握聲音與圖像的對應關系；評估階段則測試他們對熟悉和新穎刺激的識別能力。令人驚訝的是，僅需30分鐘的訓練，傳統算法組和反向算法組就都達到了高于隨機水平的識別準確率，且兩組之間沒有顯著差異，但都顯著優于對照組。
這一發現挑戰了傳統觀念——大腦并不固執于某種特定的跨模態對應關系，而是能夠快速適應新的感知映射規則。就像學習一門新語言，只要規則一致，無論語法結構如何，大腦都能逐漸掌握。這種靈活性為個性化感覺替代設備的設計開辟了新天地，未來可以根據用戶特點、任務需求定制最適合的映射算法。
關鍵方法包括：使用The vOICe算法生成聲音景觀，采用64×64像素黑白圖像作為視覺刺激，設計包含學習和評估兩階段的行為實驗范式，通過五選一強制選擇任務測量行為表現，并利用問卷調査分析參與者的策略使用和主觀體驗。
研究人員分析了首次嘗試的正確率，發現映射條件存在顯著主效應（F(2,57)=12.81，p<0.001）。傳統組正確率為90.00±1.85%，反向組為84.17±2.65%，對照組為72.08±3.02%。事后比較顯示，傳統組和反向組均顯著優于對照組（p<0.001；p=0.004），但傳統組與反向組之間無顯著差異（p=0.299）。這表明結構化映射能顯著促進早期學習，而映射方向本身不影響學習效果。
混合模型重復測量方差分析顯示，組別主效應顯著（F(2,57)=27.95，p<0.001）。傳統組和反向組的正確率均顯著高于對照組（p<0.001），但兩組間無顯著差異（p=0.189）。刺激類型主效應也顯著（F(1,57)=135.03，p<0.001），熟悉刺激的正確率（60.29%）高于新穎刺激（29.83%）。組別與刺激類型的交互作用不顯著，表明所有組別都表現出相似的新穎性效應。
刺激類型主效應顯著（F(1,57)=98.337，p<0.001），新穎刺激的處理時間更長。組別與刺激類型的交互作用顯著（F(2,57)=10.697，p<0.001），表明不同組別處理新穎刺激的時間增加幅度不同。反向組增加最多（+3.05秒），傳統組次之（+2.53秒），對照組增加最少（+0.83秒）。組別主效應不顯著，表明處理時間差異主要由刺激新穎性驅動。
傳統組（95%）和反向組（89.5%）比對照組（85.7%）更頻繁報告使用策略。在聲音景觀可視化能力上，傳統組（65%）和反向組（78.9%）顯著高于對照組（28.6%）。策略類型分析顯示，音高映射（19人）和心理意象（12人）是最常用的策略。組間在錯誤意識、正確回答信心等指標上無顯著差異。
這項研究揭示了感覺替代設備學習的重要特性——映射規則的結構性比具體方向更為關鍵。只要存在系統性的對應關系，大腦就能快速建立新的感知聯系。這一發現對感覺替代設備的個性化設計具有深遠意義。
從理論層面看，研究結果對跨模態對應理論提出了挑戰。傳統認為"高音-高處"的對應關系可能是基于統計規律而非神經硬連線。當提供明確的結構性映射時，學習過程可以覆蓋先前的感知傾向。這與Spence和Deroy提出的觀點一致，即跨模態對應具有可塑性，可通過學習進行調節。
在實踐應用方面，研究證明簡短、結構化的訓練就能產生顯著學習效果，這為感覺替代設備的臨床推廣提供了樂觀前景。特別是對于視覺障礙者，快速掌握設備使用方法至關重要。研究發現的不同映射規則等效性，意味著可以根據具體任務（如物體識別、導航）優化算法設計。
神經機制方面，雖然行為表現相似，但不同映射規則可能涉及不同的神經處理通路。未來研究可結合腦成像技術，探索傳統映射和反向映射在神經活動層面的差異，進一步揭示感覺替代的腦機制。
研究也存在一些局限性，如僅使用簡單黑白刺激、訓練時間較短、參與者為視力正常者等。未來研究可擴展至復雜刺激、長期訓練效果評估以及視覺障礙人群的應用。
總之，這項研究為我們理解大腦的多感官整合能力提供了新視角，證明感覺替代映射具有令人驚訝的靈活性。隨著進一步研究，感覺替代技術有望為視覺障礙者提供更加個性化、高效的感覺補償方案，真正實現"用耳朵看見世界"的夢想。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱：
粵ICP備09063491號
