楊菁菁

（長春理工大學計算機科學技術(shù)學院，吉林長春130022）

任務無關(guān)的視覺聽覺信息對注意通道信息處理的影響＊

楊菁菁

（長春理工大學計算機科學技術(shù)學院，吉林長春130022）

研究設(shè)計了視覺發(fā)現(xiàn)任務和聽覺發(fā)現(xiàn)任務，要求被試者只注意視覺或聽覺通道，對注意通道的刺激進行判斷，研究了被試對單通道視覺或聽覺刺激、雙通道視聽混合刺激的反應時間及正確率的規(guī)律。實驗發(fā)現(xiàn)任務無關(guān)通道的信息對注意聽覺產(chǎn)生的影響比注意視覺時更加明顯，實驗任務不同，其影響程度也不同。

人腦信息處理；視覺；聽覺；人機交互

大腦是人體進行信息分析處理的“處理器”，通過一定的信息處理機制對各感官獲得的信息進行分析，指導人體活動。其中，視、聽兩通道獲取的信息比例最大，視聽信息整合也因此成為腦信息學研究的重要內(nèi)容。注意是人腦對客觀事物的指向和集中，注意功能決定了人腦對信息的選擇。不同注意條件下人腦信息處理的機理不同?？臻g信息又是影響視聽信息整合的主要因素。本研究采用選擇性注意行為學實驗的方式對人腦視聽覺空間信息處理機制進行研究，實驗要求被試判斷注意通道的刺激位置并做按鍵反應。分析實驗數(shù)據(jù)得到了人被試對視聽兩通道信息處理之間相互影響的規(guī)律，結(jié)論將輔助人腦視聽覺信息整合的研究，對腦機接口技術(shù)、多傳感器數(shù)據(jù)融合、人機交互等技術(shù)的發(fā)展都具有重要意義。

1 實驗方法

1.1 被試的選擇

17名在校本科學生自愿參與實驗，平均年齡22.7歲，9名女生，8名男生。被試者聽力正常，視力或校正視力正常，身體健康，簽署了知情同意書。

1.2 實驗刺激

實驗刺激由單通道視覺刺激、單通道聽覺刺激和雙通道視聽覺刺激構(gòu)成。視覺刺激為gabor patch，通過19英寸顯示器顯示，背景為黑色，視覺圖片出現(xiàn)在固視點（顯示器中央的“+”）下4°的水平線上，位置為向左和右8°視角位置（左側(cè)視覺刺激“VL”、右側(cè)“VR”）。

聽覺刺激由Audacity 2.1.0聲音制作軟件制作，1 600 Hz的純音，聲強65 dB，時長40 ms，通過左右兩個音箱分別提示（左側(cè)聲音刺激“AL”、右側(cè)“AR”）。

雙通道的視聽覺刺激由視覺刺激和聽覺刺激同時提示，共有4種（視覺左聲音左混合刺激“ALVL”、視覺右聲音右“ARVR”、視覺左聲音右“ARVL”、視覺右聲音左“ALVR”）。每個刺激持續(xù)時間為40 ms。

1.3 實驗任務

1.3.1 視覺發(fā)現(xiàn)任務

被試者只注意視覺通道的刺激，發(fā)現(xiàn)圖片就按下鼠標左鍵，對聲音刺激不按鍵，因此，在這一任務條件下聲音刺激與任務無關(guān)。

1.3.2 聽覺發(fā)現(xiàn)任務

被試者只注意聽覺通道的刺激，聽到聲音就按下鼠標左鍵，對視覺刺激不按鍵，因此，在這一任務條件下視覺圖片刺激與任務無關(guān)。

1.4 實驗流程

實驗在光線可調(diào)節(jié)的隔音室中進行，被試下巴放在下頜托上，距顯示屏距離為110 cm。實驗開始時，在屏幕中央呈現(xiàn)注視點“+”3 000 ms，注視點消失后視覺、聽覺、視聽混合覺刺激隨機出現(xiàn)，刺激間間隔為800～1 500 ms的隨機值。被試依據(jù)實驗任務作出反應。視覺發(fā)現(xiàn)任務和聽覺發(fā)現(xiàn)任務各做2組實驗，共4組，每組實驗持續(xù)約5 min，每名被試隨機進行各組實驗，每完成一組實驗休息3～5 min。

2 結(jié)果分析

實驗記錄了每個被試4組實驗的數(shù)據(jù)，對每個被試的實驗數(shù)據(jù)進行求平均、標準差計算、偏差數(shù)據(jù)剔除、再求均值及正確率等基本處理。

圖1的數(shù)據(jù)結(jié)果表明：在視覺發(fā)現(xiàn)任務中，被試對視覺雙通道刺激的反應時間要快于對單通道刺激的反應時間（VL-ALVL，p＜0.001;VL-ARVL，p=0.001;VR-ARVR，p=0.013;VR-ALVR，p=0.008），這說明與任務無關(guān)的聽覺刺激的出現(xiàn)對視覺刺激存在促進作用；單/雙通道視覺刺激均為左側(cè)反應略快于右側(cè)；聽覺刺激的位置與視覺一致或不一致沒有明顯差別，這說明與任務無關(guān)的聽覺刺激的空間信息并沒有影響視覺發(fā)現(xiàn)任務，同時，提示的聽覺刺激為視覺刺激的發(fā)現(xiàn)提供了一致的時間信息，促進了視覺刺激的發(fā)現(xiàn)，結(jié)果與先前的研究相似。

圖1 視覺發(fā)現(xiàn)任務反應時間

被試在此實驗任務下的正確率沒有出現(xiàn)明顯差異。視覺發(fā)現(xiàn)任務反應時間見圖1，聽覺發(fā)現(xiàn)任務反應時間見圖2.

圖2 聽覺發(fā)現(xiàn)任務反應時間

由圖2可見，在聽覺發(fā)現(xiàn)任務中，被試者對聽覺雙通道刺激的反應時間要快于對單通道刺激的反應時間（AL-ALVL、AL-ALVR、AR-ARVR和AR-ARVL結(jié)果p值均小于0.05），說明任務無關(guān)的視覺刺激的出現(xiàn)對聽覺刺激的反應存在促進作用；單/雙通道聽覺刺激均為左側(cè)反應略快于右側(cè)；任務無關(guān)的視覺刺激促進了聽覺刺激的發(fā)現(xiàn)，空間位置不一致的視覺刺激的促進效果要比空間一致的小，說明視覺刺激的空間位置的一致性對聽覺發(fā)現(xiàn)有影響。被試在此實驗任務下的正確率比較均衡，沒有出現(xiàn)明顯差異。

實驗結(jié)果顯示，雙通道刺激對注意聽覺產(chǎn)生的影響比注意視覺時的更加明顯，這說明聽覺注意更加易受到視覺刺激的影響，而聽覺刺激對視覺注意的影響則相對較弱。

3 結(jié)束語

本課題通過設(shè)計視覺注意實驗和聽覺注意實驗研究了非注意通道的任務無關(guān)的信息對注意通道信息認知的影響。結(jié)果發(fā)現(xiàn)，同時提示的任務無關(guān)的聽覺刺激促進了視覺刺激的發(fā)現(xiàn)，且這種促進與聽覺刺激的空間信息無關(guān)。任務無關(guān)的視覺刺激促進了聽覺刺激的發(fā)現(xiàn)，視覺刺激的空間位置的一致性對聽覺發(fā)現(xiàn)有影響。聽覺注意更加容易受到視覺刺激的影響。本研究會繼續(xù)采用腦電技術(shù)等輔助手段研究人腦信息處理的神經(jīng)機理，本研究所獲得的數(shù)據(jù)和發(fā)現(xiàn)的規(guī)律對實現(xiàn)思維控制機械的腦機接口技術(shù)具有重大意義。

［1］羅躍嘉，魏景漢.注意的認知神經(jīng)科學研究［M］.北京：高等教育出版社，2004.

［2］Daniel Senkowski，Dave Saint-Amour，Marion H?fle，et al.Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.NeuroImage，2011（56）.

［3］Li Qi，Wu Jinglong，Touge Tetsuo.Audiovisual interaction enhances auditory detection in late stage：an event-related potential study.Neuroreport，2010，21（03）.

［4］Lippert M，Logothetis NK，Kayser C.Improvement of visual contrast detection by a simultaneous sound.Brain research 2007，117（03）.

〔編輯：張思楠〕

Q983+.5

A

10.15913/j.cnki.kjycx.2017.19.103

2095－6835（2017）19－0103－03

長春理工大學科技創(chuàng)新基金（編號：XJJLG-2016-18）

楊菁菁（1979—），女，博士，助理研究員。