劉楊文易 綜述 陳兵 審校
?
·綜述·
背景噪聲對人工耳蝸植入者言語識(shí)別影響的研究進(jìn)展*
劉楊文易1綜述陳兵1審校
網(wǎng)絡(luò)出版時(shí)間:2016-4-2615:52
網(wǎng)絡(luò)出版地址:http://www.cnki.net/kcms/detail/42.1391.R.20160426.1552.008.html
人工耳蝸技術(shù)發(fā)展到現(xiàn)在已有50多年的歷史,最初開發(fā)人工耳蝸的目的僅是為了輔助唇讀,而現(xiàn)在人工耳蝸可以使植入者在安靜環(huán)境中順利地進(jìn)行言語交流,成為目前世界上最成功的神經(jīng)假體;但是在一些嘈雜的環(huán)境中,人工耳蝸植入者的言語識(shí)別困難較大[1~4],人工耳蝸不足以提供將靶信號從噪聲中分離出來的頻域、時(shí)域精細(xì)結(jié)構(gòu)信息,這也是人工耳蝸植入者在噪聲中言語識(shí)別困難的主要原因。本文主要就噪聲影響人工耳蝸植入者言語識(shí)別的機(jī)制、提高噪聲對人工耳蝸植入者言語識(shí)別影響的方法、目前存在問題和展望,對背景噪聲下人工耳蝸植入者言語識(shí)別的研究與發(fā)展進(jìn)行綜述。
1噪聲影響人工耳蝸植入者言語識(shí)別的機(jī)制
1.1噪聲類型關(guān)于噪聲下言語識(shí)別的研究主要集中在寬帶(broadband)噪聲及多人言語(multi-talker)噪聲下的言語識(shí)別,即在不同信噪比(signal noise ratio,SNR)下的言語識(shí)別能力。人工耳蝸植入者需要較正常人更高的信噪比才能達(dá)到滿意的言語識(shí)別[5, 6],正常人可利用波動(dòng)或者調(diào)制噪聲中能量較弱部分分辨靶言語信號,因此,正常人在不穩(wěn)定噪聲下的言語識(shí)別較穩(wěn)態(tài)噪聲下更好[6~8]。與正常人不同,人工耳蝸植入者在穩(wěn)態(tài)噪聲下的言語識(shí)別明顯好于不穩(wěn)定噪聲[6, 8],這與目前人工耳蝸技術(shù)中電刺激信號的動(dòng)態(tài)范圍、粗糙的頻域分辨率、較寬的濾過頻帶和植入電極間的相互影響密不可分。
隨著人們對于生活質(zhì)量追求的提高,日常生活中人們經(jīng)常會(huì)處于音樂環(huán)境中,比如影院、餐廳等,這些音樂在聲譜特征方面與之前所研究的噪聲有很大不同。由于人工耳蝸僅能提供有限的時(shí)域、頻域信息,音樂感知本身對于人工耳蝸植入者就是一項(xiàng)挑戰(zhàn)。音樂背景噪聲對于言語識(shí)別的影響逐漸受到重視,Eskridge等[7]發(fā)現(xiàn)人工耳蝸植入者的言語識(shí)別能力隨著背景音樂噪聲的頻域、時(shí)域結(jié)構(gòu)復(fù)雜程度增加而下降;Zhu等[9]關(guān)于人工耳蝸植入者競爭性音樂識(shí)別(靶信號和干擾信號均為音樂)表現(xiàn)的研究顯示當(dāng)干擾信號與靶信號聲譜信息相似時(shí),人工耳蝸植入者受到的干擾最大,靶信號識(shí)別表現(xiàn)較差;在Gfeller等[10]的研究中,采用了古典鋼琴獨(dú)奏、交響樂和帶歌詞的流行音樂三種背景音樂作為干擾,測試三種環(huán)境下人工耳蝸植入者的言語識(shí)別閾值,結(jié)果顯示當(dāng)背景音樂為鋼琴獨(dú)奏時(shí)的言語識(shí)別最好,流行音樂其次,而交響樂最差,而這三種音樂中,交響樂的樂器組合最復(fù)雜,旋律最多變,鋼琴獨(dú)奏最單一,這與之前的研究結(jié)果一致,說明背景噪聲越復(fù)雜,穩(wěn)定性越差,對于人工耳蝸植入者的言語識(shí)別影響越大,即背景噪聲不同的聲譜特征對于言語識(shí)別有不同的影響。
1.2噪聲空間方向來源空間聽覺能力基于正常的聽覺功能,空間信息有助于噪聲中靶言語的分離,而無論對于單側(cè)還是雙側(cè)人工耳蝸植入者來說,空間聽覺能力均較正常聽力人群弱[11, 12],特別是對于單側(cè)人工耳蝸植入者,雖然在安靜環(huán)境中有較好的言語識(shí)別,但他們的空間聽覺能力受到嚴(yán)重影響,這也是提倡雙側(cè)人工耳蝸植入的重要原因之一。當(dāng)靶信號和干擾信號聲源在水平面方向上存在空間分離時(shí),會(huì)使干擾信號的掩蔽作用減弱,產(chǎn)生空間去掩蔽(spatial release from masking,SRM)效應(yīng)。這是由于靶信號和干擾信號聲源空間分離加上頭影效應(yīng)(head shadow effect)引起的雙耳間時(shí)間差(interaural time difference, ITD)和聲強(qiáng)差(interaural level difference, ILD)[13]導(dǎo)致到達(dá)感知耳的信噪比不同??臻g去掩蔽效應(yīng)還與頻率有關(guān),頻率越高,空間去掩蔽效應(yīng)越明顯,且存在個(gè)體差異。
對于正常成人,用言語識(shí)別閾值(speech reception threshold, SRT)描述的空間去掩蔽效應(yīng)接近12 dB,而成人和兒童人工耳蝸植入者的空間去掩蔽效應(yīng)小于正常人[12, 14]。Murphy等[11]對正常聽力受試者、雙側(cè)人工耳蝸植入者和單側(cè)人工耳蝸植入者的不同噪聲方向下的言語識(shí)別能力進(jìn)行了比較,給予的靶言語信號位于受試者正前方(0°),噪聲信號隨機(jī)位于受試者正前方或受試者左側(cè)90°(-90°)或右側(cè)90°(+90°)位置,發(fā)現(xiàn)正常聽力受試者和雙側(cè)人工耳蝸植入者在噪聲位于±90°時(shí)言語識(shí)別閾值降低,且正常聽力受試者和雙側(cè)人工耳蝸植入者之間言語識(shí)別閾值差異無明顯統(tǒng)計(jì)學(xué)意義(P=0.71);當(dāng)噪聲位于非植入側(cè)時(shí),到達(dá)單側(cè)人工耳蝸植入者感知耳的信噪比最高,言語識(shí)別最好。噪聲和靶信號空間方向來源的分離對于噪聲下言語識(shí)別有明顯的增益,這為人工耳蝸植入者對日常噪聲環(huán)境的應(yīng)對提供了科學(xué)的指導(dǎo),為抗噪信號處理策略提供了新的思路。
2提高噪聲下人工耳蝸植入者言語識(shí)別能力的方法
2.1人工耳蝸信號處理策略人工耳蝸信號處理策略是人工耳蝸的關(guān)鍵技術(shù)之一,該技術(shù)根據(jù)人類聽覺感音機(jī)理將聲音信號轉(zhuǎn)換為對聽神經(jīng)進(jìn)行電刺激的電信號,即:決定了人工耳蝸電極輸出的信號特征。根據(jù)提取信息方式的不同,主要分為特征提取(feature extraction)策略和波形(waveform)策略。
特征提取策略主要通過提取基頻和共振峰等重要聲學(xué)特征來編碼聲信號,Cochlear公司先后提出了F0/F2、F0/F1/F2和MPEAK(multi-peak speech coding strategy)策略[15],并在1997年發(fā)布第二代人工耳蝸產(chǎn)品,該產(chǎn)品言語處理器中包含的SPEAK策略(spectral-PEAK)和ACE(advanced combination encoder)策略也為特征提取策略。SPEAK策略采用20個(gè)帶通濾波器,選擇其中最大的5~10個(gè)峰值,使對應(yīng)電極產(chǎn)生刺激,因此比MPEAK策略性能有明顯的提升;ACE策略是SPEAK策略一個(gè)擴(kuò)展,有更高的刺激率,從而使得濾波器輸出幅度能更好的表達(dá)時(shí)域變化信息[16]。但共振峰的提取有一個(gè)局限是很難從噪聲中將其實(shí)時(shí)有效地提取出來,為此研究人員開始尋找其他抗噪性能好的編碼策略。
基于大多數(shù)現(xiàn)代人工耳蝸采用了在有限頻帶范圍內(nèi)對幅度調(diào)制信息的提取和編碼,而這種方式很難滿足在噪聲環(huán)境下的言語交流,Nie等[17]提出的FAME (frequency amplitude modulation encoding)信號處理策略是基于信號的AM(amplitude modulation)-FM(frequency modulation)分析/合成模型,并參考了相位聲碼器的設(shè)計(jì)思想,通過調(diào)制FM信息來表達(dá)時(shí)域精細(xì)結(jié)構(gòu)。在FAME策略中以每個(gè)通道的中間頻率為中心頻率,每個(gè)通道的載波頻率將隨提取的FM信息變化。正常聽力受試者仿真聲測試中,F(xiàn)AME策略在背景噪聲中的言語識(shí)別表現(xiàn)明顯優(yōu)于連續(xù)間隔采樣(continuous interleaved sampling, CIS)策略,其中AM信息滿足安靜環(huán)境中的言語識(shí)別;而FM信息對于背景噪聲環(huán)境,尤其是現(xiàn)實(shí)生活中的競爭性言語噪聲環(huán)境中的言語識(shí)別非常重要[17]。Zeng等[18]進(jìn)一步研究了AM和FM信息在噪聲環(huán)境對言語識(shí)別的影響,結(jié)果顯示8個(gè)通道的FAME策略刺激優(yōu)于16個(gè)通道的AM刺激;之后MED-EL公司提出的FSP(fine structure processing)策略[19]增加了時(shí)域精細(xì)結(jié)構(gòu)信息,在較高頻率采用虛擬通道處理,在不同信噪比環(huán)境下(+5、+10、+15 dB SNR),F(xiàn)SP策略的言語識(shí)別較CIS策略有所提高[20]。噪聲具有頻譜信息復(fù)雜多變的特點(diǎn),因而諧音(harmonic)和時(shí)域精細(xì)結(jié)構(gòu)(temporal fine structure, TFS)信息對于噪聲中的言語識(shí)別非常重要,在此背景上HSSE(harmonic single sideband encoder)策略被提出,它同時(shí)編碼了諧音和TFS信息,在正常聽力受試者仿真聲噪聲下言語識(shí)別測試中明顯好于CIS策略[2]。許多人工耳蝸信號處理策略目前尚處于正常人仿真聲測試階段,尚未用于人工耳蝸植入者的測試,具有抗噪聲功能的信號處理策略在不斷的改進(jìn)更新中,為人工耳蝸植入者更好的適應(yīng)社會(huì)環(huán)境提供了可能。
2.2雙耳聆聽雙耳聆聽較單耳能提供更多的益處。之前噪聲空間方向來源部分所述雙耳間時(shí)間差和雙耳間聲強(qiáng)差均與雙耳聆聽密不可分;雙耳響度總和機(jī)制中聲音的響度與聲音觸發(fā)的動(dòng)作電位數(shù)量有關(guān),每側(cè)耳都會(huì)將動(dòng)作電位送達(dá)至腦干,根據(jù)響度的大小,雙耳響度總和可以增加約3~6 dB的響度感知[21];雙耳靜噪效應(yīng)即雙耳產(chǎn)生的空間去掩蔽效應(yīng)對噪聲下的言語識(shí)別尤為重要,聽覺中樞能夠從雙耳間時(shí)間差和雙耳間聲強(qiáng)差等信息中獲取空間線索,因而雙耳聆聽能夠使聽到的聲音更響亮、立體音質(zhì)更好,可提高噪聲下的言語識(shí)別及聲源定位能力。
在不考慮其他因素的情況下,雙側(cè)人工耳蝸植入是雙側(cè)重度或極重度感音神經(jīng)性聾患者聽力重建的最佳方案,雙側(cè)人工耳蝸植入者在噪聲下言語識(shí)別方面的優(yōu)勢[22,23]已達(dá)成共識(shí),但目前因經(jīng)濟(jì)能力及保留殘余聽力的考慮國內(nèi)大多數(shù)患者選擇單側(cè)植入人工耳蝸。隨著人工耳蝸植入標(biāo)準(zhǔn)的放寬、保留殘余聽力手術(shù)的進(jìn)步和微創(chuàng)電級特殊設(shè)計(jì)的出現(xiàn),越來越多有殘余聽力的患者進(jìn)行了人工耳蝸植入[24];利用一側(cè)耳佩戴助聽器提供聲學(xué)信息,同時(shí)另一側(cè)耳植入人工耳蝸提供電信號刺激,這種模式稱為雙模式刺激,助聽器提供更多的基頻信息和精細(xì)結(jié)構(gòu)信息與人工耳蝸電刺激同時(shí)應(yīng)用可以使患者更好的感知聲音,從而提高人工耳蝸植入者的言語識(shí)別能力[25~27]。研究顯示雙耳雙模式較單側(cè)人工耳蝸植入在噪聲中言語識(shí)別方面的效果更優(yōu);Kong等[25]的研究也證實(shí)了這一點(diǎn),但并不是所有信噪比條件下所有受試者都適用。同樣,Crew[28]的研究中同一受試者在雙模式、單側(cè)人工耳蝸、單側(cè)助聽器三種情況下測試多人言語噪聲中的言語識(shí)別閾值(hearing in noise test,HINT),結(jié)果顯示單側(cè)使用助聽器的患者言語識(shí)別能力明顯差于單側(cè)人工耳蝸植入者;對于大多數(shù)的受試者使用雙模式和單側(cè)人工耳蝸植入的言語識(shí)別能力相仿;而雙模式條件下平均言語識(shí)別閾最低,雙模式和單側(cè)人工耳蝸兩種情況并沒有明顯的統(tǒng)計(jì)學(xué)差異(P=0.201)。此外,Kong等[25]的研究顯示當(dāng)給予雙耳雙模式受試者靶言語為男聲,以女聲作為掩蔽噪聲時(shí)較以男聲作為掩蔽噪聲時(shí)的言語識(shí)別更好;而當(dāng)單側(cè)人工耳蝸條件下,男、女聲的掩蔽作用一致。由此看出,助聽器提供的額外低頻信息有助于利用基頻線索提高噪聲下的言語識(shí)別能力。
3結(jié)語
綜上所述,背景噪聲下言語識(shí)別相關(guān)領(lǐng)域的研究得到了一些共識(shí),但仍然存在不足,值得進(jìn)一步探索。通過人工耳蝸獲得的頻域、時(shí)域精細(xì)結(jié)構(gòu)信息的不足是人工耳蝸植入者噪聲下言語識(shí)別困難的根本原因,人工耳蝸技術(shù)中信號處理策略的改進(jìn)是大的方向,而刺激頻率、通道使用個(gè)數(shù)、電刺激信號動(dòng)態(tài)范圍、算法[29]等一些細(xì)節(jié)的改進(jìn)均可對其有很大的幫助。實(shí)現(xiàn)雙耳聆聽需要國家對人工耳蝸植入推廣的支持,雙側(cè)耳蝸植入及雙耳雙模式刺激的普及,特別是適應(yīng)雙耳雙模式刺激較雙側(cè)人工耳蝸植入難,佩戴時(shí)聲電刺激是否會(huì)相互干擾說法不一,需要進(jìn)一步探索并找出應(yīng)對方法,雙模式調(diào)頻技術(shù)也有待進(jìn)一步的提高。目前,大部分關(guān)于噪聲下言語識(shí)別的研究主要集中在以英語或拉丁語系為母語的西方國家,而漢語作為聲調(diào)語言具有一定的特殊性,不論是言語評估還是言語康復(fù)都不能簡單地按照國外的研究方法。我國目前對這方面的研究尚未形成獨(dú)立的體系而且缺乏相互印證,需要國內(nèi)相關(guān)研究人員共同努力,使得人工耳蝸植入者能夠更好的感受有聲世界,融入主流社會(huì),從而創(chuàng)造更大的社會(huì)價(jià)值。
4參考文獻(xiàn)
1Turner CW. Hearing loss and the limits of amplification[J]. Audiology and Neurotology, 2006,11:2.
2Li X, Nie K, Imennov NS, et al. Improved perception of speech in noise and Mandarin tones with acoustic simulations of harmonic coding for cochlear implants[J]. J Acoust Soc Am, 2012,132:3387.
3Caldwell A, Nittrouer S. Speech perception in noise by children with cochlear implants[J]. J Speech Lang Hear Res, 2013,56:13.
4Shannon RV. Auditory implant research at the house ear institute 1989-2013[J]. Hearing Research, 2015,322:57.
5Gifford RH, Olund AP, Dejong M. Improving speech perception in noise for children with cochlear implants[J]. J Am Acad Audiol, 2011,22:623.
6Fu Q, Nogaki G. Noise susceptibility of cochlear implant users:the role of spectral resolution and smearing[J]. Journal of the Association for Research in Otolaryngology, 2005,6:19.
7Eskridge EN, Galvin JR, Aronoff JM, et al. Speech perception with music maskers by cochlear implant users and normal-hearing listeners[J]. J Speech Lang Hear Res, 2012,55:800.
8Nelson PB, Jin SH. Factors affecting speech understanding in gated interference: cochlear implant users and normal-hearing listeners[J]. J Acoust Soc Am, 2004,115(5 Pt 1):2286.
9Zhu M, Chen B, Galvin JR, et al. Influence of pitch, timbre and timing cues on melodic contour identification with a competing masker (L)[J]. J Acoust Soc Am, 2011,130:3562.
10Gfeller K, Turner C, Oleson J, et al. Accuracy of cochlear implant recipients in speech reception in the presence of background music[J]. Ann Otol Rhinol Laryngol, 2012,121:782.
11Murphy J, Summerfield AQ, O Donoghue GM, et al. Spatial hearing of normally hearing and cochlear implanted children[J]. International Journal of Pediatric Otorhinolaryngology, 2011,75:489.
12Misurelli SM, Litovsky RY. Spatial release from masking in children with bilateral cochlear implants and with normal hearing: Effect of target-interferer similarity[J]. J Acoust Soc Am, 2015,138:319.
13van Hoesel RJM. Contrasting benefits from contralateral implants and hearing aids in cochlear implant users[J]. Hearing Research, 2012,288:100.
14Hawley ML, Litovsky RY, Culling JF. The benefit of binaural hearing in a cocktail party: effect of location and type of interferer[J]. J Acoust Soc Am, 2004,115:833.
15Patrick JF, Clark GM. The Nucleus 22-channel cochlear implant system[J]. Ear Hear, 1991,12(4 Suppl):3S.
16馮海泓, 孟慶林, 平利川, 等. 人工耳蝸信號處理策略研究[J]. 聲學(xué)技術(shù), 2010(6):607.
17Nie K, Stickney G, Zeng FG. Encoding frequency modulation to improve cochlear implant performance in noise[J]. IEEE Transactions on Biomedical Engineering, 2005,52:64.
18Zeng FG, Nie K, Stickney GS, et al. Speech recognition with amplitude and frequency modulations[J]. Proc Natl Acad Sci USA, 2005,102:2293.
19Hochmair I, Nopp P, Jolly C, et al. MED-EL cochlear implants:state of the art and a glimpse into the future[J]. Trends in Amplification, 2006,10:201.
20Arnoldner C, Riss D, Brunner M, et al. Speech and music perception with the new fine structure speech coding strategy: preliminary results[J]. Acta Otolaryngol, 2007,127:1298.
21Haggard MP, Hall JW. Forms of binaural summation and the implications of individual variability for binaural hearing aids[J]. Scand Audiol Suppl, 1982,15:47.
22Culling JF, Jelfs S, Talbert A, et al. The benefit of bilateral versus unilateral cochlear implantation to speech intelligibility in noise[J]. Ear Hear, 2012,33:673.
23Dunn CC, Noble W, Tyler RS, et al. Bilateral and unilateral cochlear implant users compared on speech perception in noise[J]. Ear and Hearing, 2010,31:296.
24Dorman MF, Gifford RH. Combining acoustic and electric stimulation in the service of speech recognition[J]. International Journal of Audiology, 2010,49:912.
25Kong YY, Stickney GS, Zeng FG. Speech and melody recognition in binaurally combined acoustic and electric hearing[J]. J Acoust Soc Am, 2005,117(3 Pt 1):1351.
26Mok M, Galvin KL, Dowell C, et al. Speech perception benefit for children with a cochlear implant and a hearing aid in opposite ears and children with bilateral cochlear implants[J]. Audiology and Neurotology, 2010,15:44.
27Yoon YS, Li Y, Fu QJ. Speech recognition and acoustic features in combined electric and acoustic stimulation[J]. J Speech Lang Hear Res, 2012,55:105.
28Crew JD, Galvin III JJ, Landsberger DM, et al. Contributions of electric and acoustic hearing to bimodal speech and music perception[J]. PLoS One, 2015,10:e120279.
29Chen F, Hu Y, Yuan M. Evaluation of noise reduction methods for sentence recognition by Mandarin-speaking cochlear implant listeners[J]. Ear Hear, 2015,36:61.
(2015-11-16收稿)
(本文編輯雷培香)
【中圖分類號】R764.5
【文獻(xiàn)標(biāo)識(shí)碼】A
【文章編號】1006-7299(2016)03-0297-04
DOI:10.3969/j.issn.1006-7299.2016.03.020
通訊作者:陳兵(Email:bchen66@163.com)
*國家自然科學(xué)基金青年基金(81300818)、國家自然科學(xué)基金面上項(xiàng)目(81371087、81570914)、上海市科學(xué)技術(shù)委員會(huì)(134119 a1800)基金資助
1復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院(上海200031)