曹宇 王楓 郗昕 趙烏蘭 吳事儒

人類的語(yǔ)言認(rèn)知過(guò)程是一個(gè)多通道的感知過(guò)程［1］。聲音是語(yǔ)言學(xué)習(xí)和交流的重要來(lái)源，此外，通過(guò)注視對(duì)方的口型和表情變化等來(lái)準(zhǔn)確地理解說(shuō)話者的意思，也是人類語(yǔ)言認(rèn)知過(guò)程的方法之一，這種方法即為唇讀（lip－reading）［2］，是指聾人利用視覺(jué)信息感知言語(yǔ)的一種特殊方式和技能，看話人通過(guò)觀察說(shuō)話人的口唇發(fā)音動(dòng)作、肌肉活動(dòng)及面部表情，形成連續(xù)的視知覺(jué)，并與頭腦中儲(chǔ)存的詞語(yǔ)表象相比較和聯(lián)系，進(jìn)而理解說(shuō)話者的內(nèi)容。可見(jiàn)唇讀源于聽(tīng)力障礙者學(xué)習(xí)、了解正常人表達(dá)意思的一種技巧。聽(tīng)力障礙者把唇讀作為一種重要的語(yǔ)言感知手段，有的甚至可以達(dá)到完美聽(tīng)覺(jué)程度［3］。本研究擬通過(guò)比較聽(tīng)力正常者單視覺(jué)、單聽(tīng)覺(jué)以及視覺(jué)聽(tīng)覺(jué)結(jié)合三種信息傳遞方式下的語(yǔ)句識(shí)別率，了解日常生活中唇讀對(duì)正常聽(tīng)力者語(yǔ)句識(shí)別的獲益情況，進(jìn)而了解唇讀對(duì)語(yǔ)言感知的重要性。

1 資料與方法

1.1 研究對(duì)象 研究對(duì)象為27例正常聽(tīng)力青年大學(xué)生，男15例，女12例，年齡19～23歲，平均21.59±1.08歲，雙耳各頻率裸耳純音聽(tīng)閾均小于或等于10dB HL。

1.2 研究方法

1.2.1 語(yǔ)句識(shí)別率測(cè)試材料 測(cè)試標(biāo)準(zhǔn)為解放軍總醫(yī)院研發(fā)的新編中文普通話版嘈雜語(yǔ)噪聲下語(yǔ)句識(shí)別表，該表由27張?jiān)~表組成，共包含1 350個(gè)關(guān)鍵詞。測(cè)試時(shí)每人測(cè)試的詞表順序都是隨機(jī)的。

1.2.2 語(yǔ)句識(shí)別率測(cè)試方法 所有測(cè)試均在校準(zhǔn)的隔聲室中進(jìn)行，背景噪聲≤30dB（A）。揚(yáng)聲器放置于參考點(diǎn)（受試者的鼻尖位置）正前方1米處，信號(hào)和噪聲均來(lái)自同一揚(yáng)聲器，顯示器置于揚(yáng)聲器上方。通過(guò)筆記本電腦播放言語(yǔ)測(cè)試材料，言語(yǔ)信號(hào)強(qiáng)度48dB HL，噪聲為多人說(shuō)話的言語(yǔ)噪聲，信噪比（SNR）為－6dB。測(cè)試前給予詳細(xì)指導(dǎo)，每人預(yù)先練習(xí)4張表格（2張單視頻、2張單聽(tīng)覺(jué)），理解和熟悉方法后進(jìn)行正式測(cè)試。測(cè)試分單看視頻（即唇讀）、只播放聲音（單聽(tīng)覺(jué)）、同時(shí)播放聲音和視頻（視覺(jué)聽(tīng)覺(jué)結(jié)合）三部分，每部分均測(cè)試9張?jiān)~表，要求受試者進(jìn)行復(fù)述。測(cè)試中不提供結(jié)果反饋并鼓勵(lì)猜測(cè)，根據(jù)每句關(guān)鍵詞是否復(fù)述正確來(lái)計(jì)分，計(jì)數(shù)每張表中正確復(fù)述的詞數(shù)，測(cè)試成績(jī)（%）＝（正確復(fù)述數(shù)／測(cè)聽(tīng)內(nèi)容總數(shù)）×100%。受試者一次性完成27張?jiān)~表，耗時(shí)約1個(gè)小時(shí)，為避免受試者疲勞，測(cè)試過(guò)程中允許受試者適當(dāng)休息。

1.3 統(tǒng)計(jì)學(xué)方法 利用SPSS13.0軟件對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行雙因素（狀態(tài)和表號(hào)）方差分析。

2 結(jié)果

在單視覺(jué)、單聽(tīng)覺(jué)以及視覺(jué)聽(tīng)覺(jué)結(jié)合三種情況下，27例受試者的平均言語(yǔ)識(shí)別率分別為33.1%±10.1%、40.8%±10.6%、91.5%±3.9%，視覺(jué)聽(tīng)覺(jué)結(jié)合情況下的平均言語(yǔ)識(shí)別率顯著高于單視覺(jué)、單聽(tīng)覺(jué)，差異有統(tǒng)計(jì)學(xué)意義（均為P＜0.05）。

27例受試者三種測(cè)試方法得出的語(yǔ)句識(shí)別率分布見(jiàn)圖1。

圖1 27位受試者三種測(cè)試方法的語(yǔ)句識(shí)別率比較

3 討論

唇讀是打開(kāi)聾兒和社會(huì)隔閡的心智之鑰匙［3］，有關(guān)研究顯示，若聾兒的唇讀能力比較強(qiáng)，可以利用其唇讀能力來(lái)加強(qiáng)聽(tīng)能訓(xùn)練；即便是正常人也會(huì)利用視覺(jué)信息來(lái)提高語(yǔ)言感知度，尤其是在嘈雜環(huán)境和一些音素在語(yǔ)音上難以區(qū)別而在視覺(jué)上卻容易分辨的情況下（例如m／n單元音）。Reisberg 通過(guò)實(shí)驗(yàn)證明即使在非噪聲環(huán)境下，通過(guò)觀察說(shuō)話者的臉部表情和口型，可以更好地感知言語(yǔ)［4］。

3.1 語(yǔ)句識(shí)別率測(cè)試中得分方式 本研究所用語(yǔ)句測(cè)試材料中所選擇的關(guān)鍵詞是反映語(yǔ)句意義的主要詞語(yǔ)，只有受試者聽(tīng)懂測(cè)試句子的全部關(guān)鍵詞，才能掌握句子的意思，如果漏聽(tīng)關(guān)鍵詞，語(yǔ)句就難以理解，故本研究根據(jù)每句關(guān)鍵詞是否復(fù)述正確來(lái)計(jì)分，本研究使用的測(cè)試語(yǔ)句均取自新編中文普通話版嘈雜語(yǔ)噪聲下語(yǔ)句識(shí)別材料，更接近日常生活中的言語(yǔ)交流，能夠代表正常的言語(yǔ)頻譜分布，并具有日常交流的動(dòng)態(tài)特性。

3.2 測(cè)試表順序 本研究要求受試者一次性完成27張?jiān)~表，耗時(shí)較長(zhǎng)，受試者容易疲勞，研究表明這種疲勞會(huì)造成言語(yǔ)識(shí)別測(cè)試得分降低［5］。因此，本研究測(cè)試過(guò)程中允許受試者適當(dāng)休息，以避免產(chǎn)生疲勞現(xiàn)象從而影響得分。在測(cè)試過(guò)程中，打亂詞表順序，使每人測(cè)試的詞表順序都是隨機(jī)的，這樣可以避免出現(xiàn)剛開(kāi)始測(cè)試時(shí)由于受試者對(duì)測(cè)試比較陌生而得分相對(duì)較低的狀況，以此達(dá)到測(cè)試結(jié)果均衡。在臨床應(yīng)用中，也可采取隨機(jī)抽取測(cè)試表的方式，從而避免因測(cè)試表順序帶來(lái)的影響［6］。

3.3 三種條件下語(yǔ)句識(shí)別率分析 理論上，在進(jìn)行言語(yǔ)交流時(shí)，聽(tīng)力正常者主要是憑聽(tīng)覺(jué)接收對(duì)方的交流信息，但是在實(shí)際交流過(guò)程中，說(shuō)話者口部的動(dòng)作、面部表情、手勢(shì)以及周圍環(huán)境等都是有價(jià)值的潛在信息源［7］。本研究結(jié)果也表明，受試者確實(shí)通過(guò)單視覺(jué)（唇讀）方式獲得了一定量的信息完成言語(yǔ)理解。然而，由于正常青年在日常生活中很少通過(guò)視覺(jué)觀察來(lái)獲得言語(yǔ)信息，所以單視覺(jué)（唇讀）方式對(duì)于正常聽(tīng)力者獲得言語(yǔ)信息的幫助是有限的，故本研究中其言語(yǔ)識(shí)別率得分較低。另外，盡管本研究中的受試者都是聽(tīng)力正常的青年大學(xué)生，其年齡、文化程度和語(yǔ)言環(huán)境都比較接近，但每個(gè)人三種條件下的得分均有一定差異，可能與個(gè)體差異有關(guān)，每個(gè)人的唇讀能力各異，它受個(gè)體的認(rèn)知能力、情境因素、語(yǔ)言經(jīng)驗(yàn)、音素的可見(jiàn)性程度等的影響［8］。本研究進(jìn)行單聽(tīng)覺(jué)條件下測(cè)試時(shí)，語(yǔ)句信號(hào)與多人言語(yǔ)噪聲同時(shí)輸出，使之更接近于日常的聆聽(tīng)環(huán)境［9］。從研究結(jié)果看，單聽(tīng)覺(jué)條件下言語(yǔ)識(shí)別率比單視覺(jué)（唇讀）條件下略高，這可能與日常生活環(huán)境中單聽(tīng)覺(jué)環(huán)境較多有關(guān)，如“未聞其人，先聞其聲”、使用隨聲聽(tīng)等無(wú)視頻音樂(lè)播放器等，而單視覺(jué)環(huán)境對(duì)于正常人來(lái)說(shuō)非常罕見(jiàn)，因而缺少適應(yīng)和鍛煉。視覺(jué)聽(tīng)覺(jué)結(jié)合條件下，利用計(jì)算機(jī)控制下的音視頻同時(shí)播放技術(shù)，可以做到音視頻完全同步，所以測(cè)試結(jié)果的準(zhǔn)確度較高。本研究結(jié)果顯示，視覺(jué)聽(tīng)覺(jué)結(jié)合情況下的語(yǔ)句識(shí)別率顯著高于單視覺(jué)和單聽(tīng)覺(jué)情況下，平均語(yǔ)句識(shí)別率高達(dá)91.5%，說(shuō)明聽(tīng)力正常者在噪聲情況下利用唇讀來(lái)輔助理解言語(yǔ)信息，能大大提高語(yǔ)句識(shí)別率。

總之，唇讀在人類的語(yǔ)言認(rèn)知過(guò)程中有重要作用，視覺(jué)語(yǔ)言信息可以使聽(tīng)者把注意力集中到一個(gè)特定人的聲音，而“屏蔽”掉其它聲音信息源；在非噪聲環(huán)境中，人類完全可以依靠聽(tīng)覺(jué)通道獲得信息，視覺(jué)語(yǔ)言信息是一種冗余信息；在噪聲環(huán)境中，視覺(jué)語(yǔ)言信息可以補(bǔ)充聽(tīng)覺(jué)信息，甚至成為占主導(dǎo)地位的信息源［10］。因此，研究唇讀信息對(duì)語(yǔ)句識(shí)別的效應(yīng)對(duì)聽(tīng)障人士有非常重要的意義，尤其對(duì)聾兒的語(yǔ)訓(xùn)幫助非常大，同時(shí)也有助于正常聽(tīng)力人士在嘈雜環(huán)境下理解說(shuō)話者的意思等。此外，唇讀還有許多潛在的應(yīng)用，近年來(lái)已漸漸成為一個(gè)比較受關(guān)注的領(lǐng)域。但單視覺(jué)（唇讀）作用對(duì)聽(tīng)障人士的幫助本研究并未涉及，這將是今后的研究方向之一。

1 Stork DG，Hennecke ME.Speechreading by humans and machines［M］.Berlin，Germany：Springer，2001.13～15.

2 樸永馨.特殊教育辭典［M］.北京：華夏出版社，2006.203～204.

3 陳蓉，姚鴻勛.視覺(jué)單通道唇讀系統(tǒng)的有效性［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43：29.

4 Reisberg D，Mclean J.A lip－reading advantage with intact auditory stimuli［J］.In Dodd and Coampbell，2002（54）：97.

5 Katz J，Speech A.Handbook of clinical audiology［M］.5th ed.Philadelphia：Lippincott Williams ＆ Wilkins，2002.96～110.

6 陳靜，張華.普通話語(yǔ)句測(cè)試句表等價(jià)性測(cè)試［J］.聽(tīng)力學(xué)及言語(yǔ)疾病雜志，2006，14：247.

7 雷江華，王庭照，方俊明，等.聾生唇讀語(yǔ)音識(shí)別中熟悉效應(yīng)的實(shí)驗(yàn)研究［J］.心理科學(xué)，2005，28：1 120.

8 雷江華，張鳳琴，方俊明，等.字詞條件下聾兒唇讀漢字語(yǔ)音識(shí)別的實(shí)驗(yàn)研究［J］.中國(guó)特殊教育，2004，11：3.

9 Mendel LL，Danhauer JL.Audiologic evaluation and speech perception assessment［M］.San Diego，London；Singular Publishing Group，Inc，1997.15～95.

10 謝國(guó)明，李剛.唇讀技術(shù)的研究及其應(yīng)用［J］.電子學(xué)報(bào)，2006，27：110.