蔣本聰,王 力,鄒采榮,胡 曉*,汪家冬,梁瑞宇

(1.廣州大學(xué)機械與電氣工程學(xué)院,廣州 510006;2.東南大學(xué)信息科學(xué)與工程學(xué)院,南京 210096)

基于中潛伏期聽覺誘發(fā)電位的聽覺注意特征提取與識別*

蔣本聰1,王 力1,鄒采榮1,胡 曉1*,汪家冬1,梁瑞宇2

(1.廣州大學(xué)機械與電氣工程學(xué)院,廣州 510006;2.東南大學(xué)信息科學(xué)與工程學(xué)院,南京 210096)

針對目前研究聽覺注意的實驗范式采用電極數(shù)量較多,且使用P3電位誘發(fā)時間比較長等問題,設(shè)計了一種基于聽覺誘發(fā)中潛伏期反應(yīng)(MLR)的實驗范式。首先在注意與非注意兩種狀態(tài)下誘發(fā)出相應(yīng)的MLR,再分別計算MLR的能量、方差、面積、AR模型系數(shù)和波形峰值作為特征值。最后,通過模式識別算法進行分類。實驗結(jié)果表明:8位受試者以人工神經(jīng)網(wǎng)絡(luò)(ANN)為分類器的平均正確率可達到77.2%,本范式對于大部分受試者的效果較理想。

聽覺誘發(fā);聽覺注意;中潛伏期反應(yīng);AR模型系數(shù);模式識別;人工神經(jīng)網(wǎng)絡(luò)

視力障礙極大地影響了患者的日常生活,往往視力受限的患者,其聽覺系統(tǒng)是完好的。通過評估聽覺認(rèn)知能力可為臨床疾病診斷和認(rèn)知科學(xué)研究提供重要依據(jù),而這其中涉及到聽覺注意的相關(guān)內(nèi)容[1]。聽覺注意神經(jīng)信息處理機制在雞尾酒會效應(yīng)CPE(Cocktail Patty Effect)中可幫助人類處理外界環(huán)境中的聲音信息。人類能利用該信息處理機制從復(fù)雜多變的環(huán)境背景噪聲中快速和準(zhǔn)確地抓取感興趣或關(guān)鍵性的聲音內(nèi)容[2]。聽覺注意被認(rèn)為存在“自下而上”(bottom-up)和“自上而下”(top-down)這兩種機制[3-6]。

人在聽到聲音并做出相關(guān)反應(yīng)的過程中往往會將這兩種機制結(jié)合使用,因此為了能更清晰地辨別聽覺注意,本文采用了聽覺事件相關(guān)電位ERP(Event-Related Potentials)[7-8]。當(dāng)外界刺激為聲音時,所誘發(fā)的電位稱為聽覺事件相關(guān)電位。聽覺事件相關(guān)電位可按延遲時間分類,其中,N0、P0、Na、Pa和Nb屬于中潛伏期反應(yīng)MLR(Middle Latency Response)[9-11]。

研究聽覺注意機制不僅能幫助人們了解耳蝸、腦干及其大腦等器官的工作原理,還可用于腦機接口等工程領(lǐng)域,Guo J等人通過設(shè)計一種新的聽覺腦機接口[12-13],以幫助視覺障礙患者選擇所需要的目標(biāo)。本文設(shè)計了基于MLR的聽覺注意實驗范式,僅采用了一個電極數(shù)據(jù)的方法,并利用特征提取和分類算法對采集到的數(shù)據(jù)進行處理,已經(jīng)獲得了滿意的實驗結(jié)果。

1 方法

1.1 數(shù)據(jù)獲取

有8名(8耳,都是左耳)受試者進行了MLR實驗,僅采用一個電極的數(shù)據(jù),其中男生5名,女生3名,平均年齡24歲,均為廣州大學(xué)在校研究生。受試者都為右利手,無聽覺系統(tǒng)、神經(jīng)系統(tǒng)疾病及精神障礙病史,而且都沒有參加過相關(guān)的實驗。首先向受試者介紹實驗?zāi)康暮拖嚓P(guān)注意事項,然后他們簽署了《知情同意書》。整個實驗在靜音的電磁屏蔽間內(nèi)進行,且進行實驗時將屏蔽室的燈光關(guān)閉,受試者安靜地平躺于床上,頭部墊枕,受試者閉上雙眼,保持放松。

實驗儀器為丹麥爾聽美公司的ICS Chartr EP200誘發(fā)電位儀。采集數(shù)據(jù)設(shè)置為刺激聲:短純音,密集型。聲音頻率1 kHz,聲音強度70 dBnHL,通道為同側(cè),由頭戴式Telephonics TDH-49P型耳機給聲,左耳給刺激聲。聲音的重復(fù)率為1.1次/s,帶通濾波為10 Hz～100 Hz,掃描時間為500 ms,疊加次數(shù)為80次。本設(shè)備用4個電極來獲取數(shù)據(jù),其中數(shù)據(jù)采集電極位于額頭頂部的發(fā)際中心位置,左右參考電極分別位于左右耳乳突,接地電極位于眉心,電極分布如圖1所示。所有電極的阻抗匹配低于5 kΩ。

圖1 電極分布圖

1.2 實驗設(shè)計

本實驗設(shè)計了兩種思維狀態(tài),一種空閑狀態(tài)(保持放松狀態(tài),不計數(shù)),另一種則是通過意念對刺激聲進行計數(shù)的狀態(tài),其中受試者在計數(shù)時不能發(fā)出聲音、觸動嘴唇或者伸縮舌頭。兩種狀態(tài)隨機出現(xiàn),并由實驗操作者口頭告知受試者。實驗設(shè)計方案如表1所示。一次實驗共采集40組數(shù)據(jù),空閑狀態(tài)和計數(shù)狀態(tài)各采集20組。采集一組數(shù)據(jù)所需88 s,每組之間的間隔為5 s～10 s之間的一個隨機值。每采集完10組數(shù)據(jù)后,受試者休息5 min。8位受試者均參與了5次實驗。

表1 實驗設(shè)計方案

2 特征提取和分類

2.1 數(shù)據(jù)預(yù)處理

文獻[14]中,Suzuki等認(rèn)為中潛伏期反應(yīng)頻譜主要集中在30 Hz～50 Hz,Lane發(fā)現(xiàn)中潛伏期反應(yīng)的主要頻段是20 Hz～200 Hz。本實驗結(jié)合實測數(shù)據(jù)各波潛伏期特點,得出N0、P0、Na、Pa和Nb涵蓋在10 Hz～150 Hz頻帶內(nèi),由于數(shù)據(jù)的采樣率為1 200 Hz,對數(shù)據(jù)進行6層小波分解[15-16],利用第3層到第6層細(xì)節(jié)分量系數(shù)重構(gòu)原始信號,可實現(xiàn)9.375 Hz～150 Hz帶通濾波的效果,并能去除基線、自發(fā)腦電和高頻噪聲。隨機挑選兩次測試數(shù)據(jù)進行小波濾波,效果如圖2所示。

圖2 濾波前后對比圖

圖2為受試者A非注意狀態(tài)濾波前后單試次波形對比,可以發(fā)現(xiàn)濾波后MLR基線偏移得到矯正,高頻噪聲得以去除,波形更加平滑。

濾波后的數(shù)據(jù)仍可能存在肌電和眼電干擾的跡象,因此本文采用閾值法,對波形走勢明顯異常,波峰和波谷總量小于3個,幅值過高的波形予以自動剔除(測試對象不同,此閾值也會隨之變化)。濾波和去偽跡后,分別對8位受試者的所有同狀態(tài)數(shù)據(jù)做平均,得到圖3所示波形。

圖3中子圖3(a)～圖3(h)分別為8位受試者注意和非注意狀態(tài)平均MLR波形,實線為非注意狀態(tài),虛線為注意狀態(tài)?？梢园l(fā)現(xiàn),注意和非注意狀態(tài)下,平均MLR波峰存在明顯差異,且各波潛伏期基本沒有改變。

圖3 8位受試者所有不同狀態(tài)平均波形對比

2.2 特征提取

本文針對MLR波形,采用能量、方差、面積、AR模型系數(shù)及波形峰值作為特征值,其中AR模型系數(shù)采用Burg算法計算得到,階數(shù)則由高階譜分析工具箱HOSA的定階函數(shù)ARORDER計算獲取。MLR峰值由下列公式獲取:

記Na,Nb相對于基線的峰值分別為PNa和PNb,則:

PNa=max{x(n)},n∈[n1,n2]

(1)

PNb=max{x(n)},n∈[n3,n4]

(2)

記Pa相對于基線的峰值為LPa,則:

LPa=min{x(n)}n∈[n5,n6]

(3)

記Nb-Pa的峰峰值為FNb-Pa,則:

FNb-Pa=PNb-LPa

(4)

式中:n1、n3和n5分別代表Na、Nb和Pa潛伏期區(qū)間起始點,n2、n4和n6分別代表Na、Nb和Pa潛伏期區(qū)間結(jié)束點。參照文獻[17],Na、Pa和Nb的潛伏期分別為16 ms～30 ms,30 ms～45 ms和40 ms～60 ms。實驗依照各受試者的波形對潛伏期區(qū)間范圍進行微調(diào)。Na、Pa、Nb位置如圖4所示。

圖4 MLR峰值位置圖

由ARORDER函數(shù)計算得到的AR模型階數(shù)為7,組合能量、面積、方差和峰值特征,本文得到的特征共13維,記為

v1=[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,LPa,PNb]

(5)

式中:a1～a7為AR模型系數(shù),e為能量,s為面積,σ為方差,PNa、LPa和PNb分別為Na、Pa和Nb的峰值。此外本文還加入了Nb和Pa的峰峰值FNb-Pa,最終得到特征向量v2和v3:

v2=[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,LPa,FNb-Pa]

(6)

v3=[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,PNb,FNb-Pa]

(7)

2.3 分類算法

由于實驗數(shù)據(jù)有限,為更好地呈現(xiàn)分類的有效性,本文采用了基于K交叉驗證的支持向量機和神經(jīng)網(wǎng)絡(luò)[18]的分類算法,實驗中K取3。

支持向量機選擇高斯核函數(shù),設(shè)定懲罰參數(shù)c和高斯核參數(shù)g的尋優(yōu)范圍為[2-10,210],以K交叉驗證運行100次中,使正確率達到最大值的c和g值為最終采用的值。

由于僅含一個隱層的神經(jīng)網(wǎng)絡(luò)就可以任意逼近一個非線性函數(shù),本實驗采用2層神經(jīng)網(wǎng)絡(luò),第1層有10個神經(jīng)元,第2層有2個神經(jīng)元。第1層的傳遞函數(shù)是邏輯函數(shù)(Logic),輸出層的傳遞函數(shù)是線性函數(shù)(Linear),同樣以K交叉驗證運行100次中,使正確率達到最大值的網(wǎng)絡(luò)為最后采用的網(wǎng)絡(luò)。最后將基于K交叉驗證的兩種分類器算法迭代100次的平均識別率作為最終分類正確率。

3 結(jié)果與分析

3.1 特征提取箱線結(jié)果

將8位受試者的Na峰值PNa,Pa峰值LPa,Nb峰值PNb和峰峰值FNb-Pa的提取結(jié)果繪制成箱線圖,結(jié)果如圖5所示。

圖5 8位受試者峰值特征提取結(jié)果箱線圖

圖5(a)～圖5(h)分別為8位受試者Na,Pa,Nb,Nb-Pa提取結(jié)果箱線圖,每個子圖從左到右依次為非注意狀態(tài)Na,注意狀態(tài)Na,非注意狀態(tài)Pa,注意狀態(tài)Pa,非注意狀態(tài)Nb,注意狀態(tài)Nb,非注意狀態(tài)Nb-Pa,注意狀態(tài)Nb-Pa的提取結(jié)果箱線圖。從圖5可以看出注意與非注意狀態(tài)下,各峰值的上下邊緣線、上下四分位數(shù)和中位數(shù)。雖然兩種狀態(tài)下的提取結(jié)果有重疊的區(qū)間,但其分散情況并不形同。

3.2 SVM和ANN分類結(jié)果比較和分析

每位受試者都進行了5次實驗,有200次數(shù)據(jù),其中注意狀態(tài)100次,非注意狀態(tài)100次。去偽跡后剩余160條左右數(shù)據(jù),K交叉驗證取K=3,因此訓(xùn)練數(shù)據(jù)106條左右,測試數(shù)據(jù)54條左右,SVM和ANN分類結(jié)果分別如表2和表3所示。

由表2可知,所有受試者的3類特征平均識別正確率相差不大,以v3為特征的識別率為66.1±6.1%,略高于以v2和v1為特征的識別率,由此可見SVM對3種特征并不敏感。各受試者之間的識別率相差較大,最高為74.7±4.9%,最小僅57.3±5.9%。

由表3可知,以v3為特征的平均識別率最高,可達77.2±2.8%,以v1和v2為特征的識別率也分別達到了75.5±2.7%和74.9±3.2%,由此可見所取特征有效且可分。對比表2和表3可以發(fā)現(xiàn)在本實驗范式下,采用ANN分類器的識別率都高于SVM分類器的識別率。

表2 所有受試者SVM分類結(jié)果比較

注:1、3、6號為女性。

表3 所有受試者ANN分類結(jié)果比較

注:1、3、6號為女性。

3.3 ANN最優(yōu)的分類結(jié)果

由于不同受試者MLR波形具有各自不同的特點,本文對他們的最優(yōu)特征和分類器進行了對比研究,詳情如表4所示。

表4 不同受試者在不同思維狀態(tài)下的分類結(jié)果

注:1、3、6號為女性。

由表4可知,半數(shù)的受試者以v3為分類特征識別率最高,3位受試者以v2為特征識別率最高,僅1位受試者選v2為分類特征時識別率最高,且男性和女性之間并未見明顯差異。若考慮特征的普適性,則選擇v3為分類特征,v3可用來區(qū)分受試者注意與非注意狀態(tài)。若針對某特定受試者,選取其最優(yōu)特征可使識別率更高。實驗表明,用一個電極所采集的數(shù)據(jù),獲得了滿意的結(jié)果。

總之,本文設(shè)計的實驗范式簡潔,技術(shù)可行,有望為視覺有障礙的患者提高生活質(zhì)量,還可為健康人提供人機交互應(yīng)用體驗。雖然實驗對象有限,但可以有效推廣。

4 結(jié)語

本文在基于MLR的實驗范式下,以MLR波形的能量、方差、面積、AR模型系數(shù)及波形峰值作為分類特征值,通過使用支持向量機(SVM)和人工神經(jīng)網(wǎng)絡(luò)(ANN)分類算法對提取的特征值進行分類和對比。實驗結(jié)果表明:8位受試者分類正確率較理想,說明本范式對于大部分受試者可以達到較理想的效果。

[1] 顧吉有,呂勇. 選擇性注意和分配性注意對多感覺整合的不同影響[J]. 心理與行為研究,2016,14(2):202-206.

[2] 劉揚,張苗輝,鄭逢斌. 聽覺選擇性注意的認(rèn)知神經(jīng)機制與顯著性計算模型[J]. 計算機科學(xué),2013,40(6):283-287.

[3] Fritz J B,Elhilali M,David S V,et al. Auditory Attention-Focusing the Searchlight on Sound[J]. Current Opinion in Neurobiology,2007,17(4):437-455.

[4] Alain C,Arnott S R,Picton T W. Bottom-Up and Top-Down Influences on Auditory Scene Analysis:Evidence from Event-Related Brain Potentials[J]. Journal of Experimental Psychology Human Perception and Performance,2001,27(5):1072-1089.

[5] Alain C. Breakingthe Wave:Effects of Attention and Learning on Concurrent Sound Perception[J]. Hearing Research,2007,229(1-2):225-236.

[6] Roeber U,Berti S,Muller D,et al. Disentangling Effects of Auditory Distraction and of Stimulus-Response Sequence[J]. Psychophysio-logy,2009,46(2):425-438.

[7] Raggi A,Iannaccone S,Cappa S F. Event-Related Brain Potentials in Amyotrophiclateral Sclerosis:A Review of the International Literature[J]. Amyotrophic Lateral Sclerosis,2010,11(1-2):16-26.

[8] Hettich D T,Bolinger E,Matuz T,et al. EEG Responses to Auditory Stimuli for Automatic Affect Recognition[J]. Front Neurosis,2016,10(244):244.

[9] 彭賢,符秋養(yǎng),王濤. 聽覺誘發(fā)中潛伏期反應(yīng)研究進展[J]. 聽力學(xué)及言語疾病雜志,2016,24(1):100-104.

[10] Kuhnle G E,Hornuss C,Lenk M,et al. Impact of Propofol on Mid-Latency Auditory-Evoked Potentials in Children[J]. British Journal of Anaesthesia,2013,110(6):1001-1009.

[11] Prakash H,Abraham A,Rajashekar B,et al. The Effect of Intensity on the Speech Evoked Auditory Late Latency Response in Normal Hearing Individuals[J]. International Advanced Otology,2016,12(1):67-71.

[12] Guo J,Gao S,Hong B. An Auditory Brain-Computer Interface Using Active Mental Response[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering,2010,18(3):230-235.

[13] 郭婧.基于聽覺注意的認(rèn)知腦-機接口研究[D]. 北京:清華大學(xué)醫(yī)學(xué)院,2010.

[14] Suzuki T,Hirabayashi M,Kobayashi K. Effects of Analog and Digital Filtering on Auditory Middle Latency Responses in Adults And Young Children[J]. Annalsof Otology Rhinology and Laryngology,1984,93(93):267-70.

[15] Zhang R,Mcallister G,Scotney B,et al. Combining Wavelet Analysis and Bayesian Networks for the Classification of Auditory Brainstem Response[J]. IEEE Transactions on Information Technology in Biomedicine,2006,10(3):458-467.

[16] 于亞萍,孫立寧,張峰峰. 基于小波變換的多特征融合sEMG模式識別[J]. 傳感技術(shù)學(xué)報,2016,29(4):512-518.

[17] 李興啟,王秋菊. 聽覺誘發(fā)反應(yīng)及應(yīng)用[M]. 北京:人民軍醫(yī)出版社,2007:163-167.

[18] 朱大銘. 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法及問題求解研究[D]. 北京:中國科學(xué)院計算技術(shù)研究所,1999.

ExtractionandRecognitionofAuditoryAttentionbyEvokedPotentialsintheMiddleLatencyPeriod*

JIANGBencong1,WANGLi1,ZOUCairong1,HUXiao1*,WANGJiadong1,LIANGRuiyu2

(1.School of Mechanical and Electric Engineering,Guangzhou University,Guangzhou 510006,China;2.Schoolof Information Science and Engineering,Southeast University,Nanjing 210096,China)

In view of some problems that exist in the present research on auditory attention paradigm,for example,

using a large number of electrodes,longer time needs to evoke P3 potentials and so on. An experimental paradigm based on the middle latency response(MLR)is designed from auditory evoked. At first,the MLRs are respectively induced in two states of attention and non-attention;and then the energy,variance,area,AR model coefficient and waveform peak value of MLRs are respectively calculated. Finally,the features are classified by the pattern recognition algorithm. The experimental results show that the average accuracy of artificial neural network(ANN)is 77.2% from 8 subjects,which means that the paradigm can achieve satisfactory results.

auditory evoked;auditory attention;middle latency response;AR model coefficient;pattern recognition;artificial neural network

10.3969/j.issn.1005-9490.2017.06.040

項目來源:廣州市信息處理與傳輸重點實驗室項目(201605030014);廣州市市屬高校科研項目(1201630210)；廣州大學(xué)科技創(chuàng)新培育基金項目

2016-10-21修改日期2016-12-13

R339.16

A

1005-9490(2017)06-1539-06

蔣本聰(1992-),男,漢族,湖南郴州人,廣州大學(xué)機械與電氣工程學(xué)院碩士研究生,主要研究方向為腦電信號處理,695397975@qq.com;

王力(1986-),男,漢族,湖南耒陽人,廣州大學(xué)機械與電氣工程學(xué)院講師,主要研究方向為腦電信號處理,wangli@gzhu.edu.cn;

鄒采榮(1963-),男,漢族,江蘇昆山人,廣州大學(xué)機械與電氣工程學(xué)院教授,博士生導(dǎo)師,主要研究方向為聲信號與語音信號處理,cr_zou@gzhu.edu.cn;

胡曉(1969-),男,漢族,湖南郴州人,廣州大學(xué)機械與電氣工程學(xué)院教授,碩士研究生導(dǎo)師,主要研究方向為智能信號處理,人臉檢測和識別,醫(yī)學(xué)信號處理,huxiao@gzhu.edu.cn;

汪家冬(1990-),男,漢族,安徽淮南人,廣州大學(xué)機械與電氣工程學(xué)院碩士研究生,主要研究方向為數(shù)字語音信號處理,1304943689@qq.com;

梁瑞宇(1978-),男,漢族,江蘇徐州人,東南大學(xué)信息科學(xué)與工程學(xué)院博士,碩士研究生導(dǎo)師,主要研究方向為語音信號處理,lly1711@163.com。