張敏 Catherine V.Palmer
聽配能(listening effort)是認(rèn)知聽力學(xué)領(lǐng)域十分重要的研究課題。它是聽覺過程,尤其是言語理解過程中不可忽視的維度。聽障人群在日常生活中經(jīng)歷的聽聲和交流困難已經(jīng)不僅源于聲音太輕,因此聽力解決的方案也不能僅停留在將聲音強(qiáng)度放大。聽,對(duì)于聽障人群、認(rèn)知功能逐漸衰退的老年人乃至聽力正常人在不利的聽聲環(huán)境下,之所以費(fèi)力,是因?yàn)閭€(gè)體接收到的言語信號(hào)質(zhì)量降低,包括強(qiáng)度降低,清晰度降低,信噪比降低和語速過快等。為了理解言語,大腦不得不分配額外的能量分析接收到的有限殘缺的言語片段,并根據(jù)自身記憶及其它可用信息(如說話者表情,手勢(shì),唇讀,其他聽者的反應(yīng)等)填補(bǔ)信息空白。這一補(bǔ)償過程相當(dāng)復(fù)雜,動(dòng)用大腦認(rèn)知系統(tǒng)的方方面面,包括語言、注意力、短期記憶、長期記憶、工作記憶和管控系統(tǒng)。持續(xù)動(dòng)用額外的能量不但不能保證代償成功,溝通順暢,往往使人疲憊不堪,精神壓力增加,減少社會(huì)活動(dòng),降低生活質(zhì)量。
聽配能的概念首次在聽力學(xué)研究中被提出是在80年代[1]。在近20年中,學(xué)者們對(duì)聽配能的關(guān)注度逐年提高,關(guān)注的重點(diǎn)在理論模型和構(gòu)架的建立以及測(cè)量方法的應(yīng)用。目前,主要支持聽配能實(shí)驗(yàn)研究的理論模型有兩個(gè),一個(gè)是Kahneman[2]的單一資源模型,另一個(gè)是R?nnberg[3]提出的語言理解易度模型。在神經(jīng)生理學(xué)和心理學(xué)領(lǐng)域有與配能密切相關(guān)的理論模型尚未被聽力學(xué)主流所挖掘,比如Hockey的代償控制模型[4]。筆者將分篇介紹和討論這些模型在聽配能研究中的應(yīng)用。本篇重點(diǎn)介紹Kahneman的單一資源模型及其優(yōu)勢(shì)和不足。
單一資源模型是關(guān)于注意力(attention)和配能(effort)的經(jīng)典心理學(xué)模型(圖1),被廣泛接受,并一直作為聽配能研究的最主要理論基礎(chǔ)。該理論基于以下4個(gè)假設(shè):①當(dāng)人類處理某一任務(wù)時(shí),可能施加的注意力容量(或配能)是有限的;②任何時(shí)刻施加的注意力容量(或配能)主要取決于當(dāng)前任務(wù)的需求;③注意力容量(或努力)可拆分并調(diào)控,它可以被分配以促進(jìn)所選任務(wù)單元(如聽,讀)的處理,而分配原則反映了個(gè)體內(nèi)在持久的傾向和瞬間的意圖。注意力分配是一個(gè)度的問題,但在任務(wù)負(fù)載水平很高時(shí)則趨于單一化;④生理反應(yīng)指標(biāo)(如瞳孔擴(kuò)張或電反應(yīng))可反映瞬時(shí)注意力容量(或配能)。
根據(jù)這個(gè)模型,要成功完成一項(xiàng)任務(wù)需要三個(gè)要素:一是足夠的總注意力容量(或配能),二是足夠的瞬時(shí)注意力容量(或配能)供應(yīng),三是恰當(dāng)?shù)姆峙洳呗?。Kahneman提出了兩種配能(effort)——非主動(dòng)配能和主動(dòng)配能。非主動(dòng)配能是由個(gè)體內(nèi)在傾向驅(qū)動(dòng),或信號(hào)驅(qū)動(dòng),例如,一個(gè)新的、顯著的、復(fù)雜的、令人驚訝的或不協(xié)調(diào)的信號(hào)比沒有這些特性的(如熟悉的,簡單的)信號(hào)得到更多的配能。與此相反,主動(dòng)配能是由當(dāng)前計(jì)劃和瞬時(shí)意向決定,例如,搜索目標(biāo)對(duì)象、聽左側(cè)的聲音、解決一個(gè)數(shù)學(xué)問題或理解話語。
圖1 Kahneman單一資源模型[2]
該模型的核心要素之一是注意力容量(或配能)的分配策略。分配政策的一個(gè)基本原則是,任務(wù)負(fù)載大的活動(dòng)比任務(wù)負(fù)載小的活動(dòng)得到更多的配能。這一理論預(yù)測(cè)了個(gè)體在單任務(wù)和多任務(wù)下的表現(xiàn)。在單任務(wù)條件下,配能隨著任務(wù)負(fù)載(或難度)的增加而增加,直至配能達(dá)到峰值,隨后配能隨任務(wù)負(fù)載的進(jìn)一步增加而減少,產(chǎn)生一個(gè)倒U形曲線。在多任務(wù)條件下,特別是當(dāng)同時(shí)執(zhí)行兩個(gè)任務(wù)(主要任務(wù)和次要任務(wù))時(shí),在一定程度上,配能隨著任務(wù)總負(fù)載的增加而增加,并且在主要任務(wù)上耗費(fèi)的配能決定了同時(shí)完成次要任務(wù)的能力。主要任務(wù)配能越多,次要任務(wù)所能用的配能就越少。
有大量實(shí)驗(yàn)數(shù)據(jù)支持Kahneman的單一資源模型。Broadbent[5]證明了相同的言語可懂度可以在各種失真言語條件下獲得,但是需要受試者發(fā)揮不同程度的聽配能才能得到同樣的可懂度。言語信號(hào)失真度越高,聽配能越大。Downs[6]開展了噪音環(huán)境下聽覺學(xué)習(xí)期間聽配能的研究。實(shí)驗(yàn)中6組隨機(jī)分配的聽力正常青壯年分別在安靜和噪音環(huán)境下(+6 dB信噪比)學(xué)習(xí)配對(duì)揚(yáng)揚(yáng)格詞,并同時(shí)測(cè)量完成任務(wù)的反應(yīng)時(shí)間。刺激聲強(qiáng)度分別為50 dB、35 dB、20 dB感覺級(jí)。結(jié)果為不同測(cè)試條件下達(dá)到100%準(zhǔn)確度所需的學(xué)習(xí)次數(shù)并沒有顯著區(qū)別,然而,在安靜條件下測(cè)試的反應(yīng)時(shí)間顯著少于噪音環(huán)境下的反應(yīng)時(shí)間,刺激聲強(qiáng)度對(duì)反應(yīng)時(shí)間沒有影響。這說明加入噪音能提高任務(wù)難度,從而增加聽配能的投入。單純降低信號(hào)刺激強(qiáng)度對(duì)聽配能并無影響。Gatehouse等[7]也利用反應(yīng)時(shí)間來研究言語解碼所需的聽配能。44名有經(jīng)驗(yàn)的助聽器配戴者在實(shí)驗(yàn)中分別在使用助聽器和不使用助聽器的條件下識(shí)別若干詞表中的詞,結(jié)果發(fā)現(xiàn),識(shí)別準(zhǔn)確度在兩種條件下并無差別,但助聽條件下的反應(yīng)時(shí)間顯著短于未助聽條件下的反應(yīng)時(shí)間。Sarampalis等[8]研究了背景噪音和助聽器的數(shù)字降噪對(duì)聽配能的影響。該實(shí)驗(yàn)使用雙任務(wù)范式,主任務(wù)是詞語識(shí)別,次任務(wù)是詞語回憶。實(shí)驗(yàn)結(jié)果顯示,背景噪音對(duì)主任務(wù)和次任務(wù)的表現(xiàn)都有負(fù)面影響,應(yīng)用助聽器數(shù)字降噪功能,雖然對(duì)言語識(shí)別準(zhǔn)確度沒有影響,但自述量表結(jié)果顯示聽配能的消耗顯著降低。Steel等[9]研究了兒童雙側(cè)人工耳蝸植入的雙耳融合效應(yīng)及其對(duì)聽配能的影響。實(shí)驗(yàn)組有25名人工耳蝸植入兒童,對(duì)照組有24名年齡匹配的健聽兒童。受試者接受雙側(cè)同步聲信號(hào)/電信號(hào)刺激,并要求回答聽到的是一個(gè)聲音還是兩個(gè)聲音。實(shí)驗(yàn)采用反應(yīng)時(shí)間和散瞳值來體現(xiàn)聽配能。結(jié)果顯示人工耳蝸植入兒童感受到單一融合聲音的次數(shù)明顯比健聽兒童少,并且投入的聽配能明顯比對(duì)照組多。
在同一理論框架下,研究者們正試圖從多方位探究聽配能的實(shí)質(zhì)。文獻(xiàn)中對(duì)聽覺任務(wù)難度的操控包括言語清晰度水平[10],掩蔽噪音的類型[11,12],語句中詞的可預(yù)測(cè)性[8,13],信噪比[8,14~18],詞語音標(biāo)的復(fù)雜性[19,20],語法的復(fù)雜性[21],視覺和聽覺組合[15,22],詞語相關(guān)聯(lián)性[23],數(shù)字廣度測(cè)試長度[24],聽覺回憶任務(wù)的近似順序[25],母語和非母語[24]等。這些研究覆蓋人群范圍廣泛,包括青年人、老年人、聽力正常人和聽障人群,助聽器配戴者和人工耳蝸配戴者等。甚至還有少量聽配能研究關(guān)注健聽兒童[14,17,26,27]。所有實(shí)驗(yàn)得到的共同結(jié)論是:隨著任務(wù)負(fù)載(難度)的增加,無論聽覺任務(wù)的表現(xiàn)是否改變,聽配能一定增加;聽障人群比健聽人群完成同一任務(wù)所花費(fèi)的聽配能更多;老年人比年輕人在理解言語過程中付出的聽配能更多。
雖然上述實(shí)驗(yàn)結(jié)論符合Kahneman模型的推測(cè),但迄今為止仍然缺少對(duì)聽配能計(jì)量單位的共識(shí)。更重要的是,實(shí)驗(yàn)設(shè)計(jì)中并沒有提供給受試者任何機(jī)會(huì)體現(xiàn)其有可能在不利聽聲環(huán)境下所采用的能量分配策略,比如對(duì)某些難度超出能力范圍的任務(wù)放棄應(yīng)答。因此模型中預(yù)測(cè)的倒U形曲線未能在實(shí)驗(yàn)數(shù)據(jù)中得到展現(xiàn)。
Kahneman的單一資源模型在相當(dāng)大程度上能夠用來分析和解釋人們?cè)诠芾砗头峙渎犈淠苌系男袨槟J?。然而,該理論模型以注意(attention)為主,注意和配能(effort)的概念混淆不清。筆者在較早一篇文章[28]中提到這兩個(gè)認(rèn)知概念是有區(qū)別的。筆者認(rèn)為“配能”包涵了更廣的意義,是動(dòng)員注意、記憶和管控系統(tǒng)等認(rèn)知資源的總和。模型中雖然提到?jīng)Q定能量分配的因素包括個(gè)體內(nèi)在傾向(信號(hào)驅(qū)動(dòng))和瞬時(shí)意向兩方面,但由于作者并沒有過多強(qiáng)調(diào)瞬時(shí)意向?qū)δ芰糠峙涞挠绊?,使得基于該模型的?shí)驗(yàn)研究停留在研究信號(hào)驅(qū)動(dòng),即改變?nèi)蝿?wù)難度對(duì)聽配能的影響,而忽略了個(gè)體動(dòng)機(jī)的作用。也正因如此,個(gè)體間在聽配能管理上的差異無法通過該模型來解釋,而事實(shí)上,每個(gè)個(gè)體對(duì)自身能量的分配是有區(qū)別的。另外,聽覺任務(wù)完成的效果對(duì)聽配能運(yùn)用的反饋?zhàn)饔貌]有體現(xiàn)在該模型中,有大量的心理學(xué)研究證據(jù)證明這種反饋?zhàn)饔玫拇嬖凇?/p>
[1]Downs DW.Effects of hearing and use on speech discrimination and listening effort[J]. Journal of Speech &Hearing Disorders,1982,47(2):189-193.
[2]Kahneman D.Attention and effort[J].Englewood Cliffs,1973.
[3]R?nnberg J,Rudner M,Foo C,et al.Cognition counts:a working memory system for ease of language understanding(ELU)[J].International Journal of Audiology,2008,47 Suppl 2(2):S99-105.
[4]Robert G,Hockey J.Compensatory control in the regulation of human performance under stress and high workload:A cognitive-energetical framework[J].Biological Psychology,1997,45(1-3):73-93.
[5]Broadbent DE. Perception and communication[M].Perception and communication.Pergamon Press,1958.183-203.
[6]Downs DW,Crum MA.Processing demands during auditory learning under degraded listening conditions[J].Journal of Speech &Hearing Research,1978,21(4):702-714.
[7]Gatehouse S,Gordon J.Response times to speech stimuli as measures of benefit from amplification[J].British Journal of Audiology,1990,24(1):63-68.
[8]Sarampalis A,Kalluri S,Edwards B,et al.Objective measures of listening effort:effects of background noise and noise reduction[J].J Speech Lang Hear Res,2009,52(5):1230-1240.
[9]Steel MM,Papsin BC,Gordon KA.Binaural fusion and listening effort in children who use bilateral cochlear implants:a psychoacoustic and pupillometric study[J].Plos One,2015,10(2):e0117611.
[10]Zekveld AA,Kramer SE,Festen JM.Pupil response as an indication of effortful listening:the influence of sentence intelligibility[J].Ear &Hearing,2010,31(4):480.
[11]Desjardins JL,Doherty KA.Age-related changes in listening effort for various types of masker noises[J].Ear &Hearing,2013,34(3):261.
[12]Larsby B.Cognitive performance and perceived effort in speech processing tasks:effects of different noise backgrounds in normal-hearing and hearing-impaired subjects[J].Int J Audiol,2005,44(3):131-143.
[13]Mcauliffe MJ,Wilding PJ,Rickard NA,et al.Effect of speaker age on speech recognition and perceived listening effort in older adults with hearing loss[J].Journal of Speech Language &Hearing Research Jslhr,2012,55(3):838.
[14]Hick CB,Tharpe AM.Listening effort and fatigue in school-age children with and without hearing loss[J].Journal of Speech Language &Hearing Research Jslhr,2002,45(3):573-584.
[15]Fraser S,Gagné JP,Alepins M,et al. Evaluating the effort expended to understand speech in noise using a dual-task paradigm: the effects of providing visual speech cues[J].Journal of Speech Language &Hearing Research,2010,53(1):18-33.
[16]Kramer SE,Kapteyn TS,Festen JM,et al.Assessing aspects of auditory handicap by means of pupil dilatation[J].Audiology Official Organ of the International Society of Audiology,1997,36(36):155-164.
[17]Plack CJ.Listening effort at signal-to-noise ratios that are typical of the school classroom[J].International Journal of Audiology,2010,49(12):928-932.
[18]Bernarding C,Corona-Strauss FI,Latzel M,et al.Auditory streaming and listening effort:An event related potential study[C].Engineering in Medicine &Biology Society.Conf Proc IEEE Eng Med Biol Soc,2010.6817-6820.
[19]Bernarding C,Latzel M,Strauss DJ,et al.On the objective electrophysiological estimation of listening effort in different age groups[C].Neural Engineering(NER),2011 5th International IEEE/EMBS conference.2011.671-674.
[20]Strauss DJ,Corona-Strauss FI,Froehlich M.Objectiveestimation of the listening effort:towards a neuropsychological and neurophysical model[C].International Conference of the IEEE Engineering in Medicine &Biology Society.Conf Proc IEEE Eng Med Biol Soc,2008.1777-1780.
[21]Stewart R,Wingfield A.Hearing Loss and Cognitive Effort in Older Adults' Report Accuracy for Verbal Materials[J].Journal of the American Academy of Audiology,2009,20(2):147-154.
[22]Picou EM,Ricketts TA,Hornsby BW.Visual cues and listening effort: individual variability[J].Journal of Speech Language &Hearing Research Jslhr,2011,54(5):1416.
[23]Tun PA,McCoy S,Wingfield A.Aging, hearing acuity,and the attentional costs of effortful listening[J]. Psychology and Aging,2009,24(3):761-766.
[24]Mackersie CL,Cones H.Subjective and psychophysiological indices of listening effort in a competing-talker task[J].Journal of the American Academy of Audiology,2011,22(2):113-122.
[25]Mccoy SL,Tun PA,Cox LC,et al.Hearing loss and perceptual effort: downstream effects on older adults' memory for speech[J].Quarterly Journal of Experimental Psychology A Human Experimental Psychology,2005,58(1):22-33.
[26]Globerson T.Mental capacity,mental effort,and cognitive style[J].Developmental Review,1983,3(3):292-302.
[27]Stelmachowicz PG,Lewis DE,Choi S,et al.Effect of stimulus bandwidth on auditory skills in normal-hearing and hearingimpaired children[J].Ear &Hearing,2007,28(4):483-494.
[28]張敏.聽力康復(fù)中的新概念“Listening Effort”[J].中國聽力語言康復(fù)科學(xué)雜志,2015,(6):416-418.