牟志偉，陳卓銘，楊偉，王春花

漢語語言是一種形聲調的語言，不僅象形的文字含有語義而且韻調也包含語義。20世紀初至今使用實驗的方法對漢語聲調的感知進行了許多研究，本文通過對漢語聲調感知的理論研究與新進展進行總結，為聽力言語康復提供新的思路與方法，對設計與改進目前使用的一些儀器與設備提供理論支持。漢語聲調的識別具有偏側性腦功能定位特征，具有范疇性特征，漢語聲調在失語癥患者語音感知及康復中起到重要作用。此外，由于目前設計的人工耳蝸對于漢語聲調感知存在缺陷，過少的頻域信息導致植入后的兒童四聲感知發(fā)育普遍存在問題，因此對提升人工耳蝸的聲調感知能力的改進重點應該是提供必要的頻域信息。

1 漢語聲調語言特征與探索

漢語語言是一種形聲調的語言，不僅象形的文字含有語義而且韻調也包含語義。如一個腦卒中患者把“我不要da針”中“da”的三聲讀成四聲，護士就可能把“打針”誤解成“大針”。因此，對言語障礙患者進行語言康復時不僅要注意詞匯語言的康復，還要注意聲調的康復。

早在公元5世紀，南朝宋明帝時期的著名文人周顒按照漢語聲、韻、調的特征，提出了漢語“古代四聲”的平、上、去、入四種聲調的論述[1]。明清出現(xiàn)現(xiàn)代漢語四聲，即陰平(第一聲)、陽平(第二聲)、上升(第三聲)、去聲(第四聲)。1922年趙元任[2]的《中國言語字調底實驗研究法》中，首先提出使用實驗的方法研究聲調。1963年梁之安[3]引入了聲學研究儀器，《漢語普通話中聲調的聽覺辨認依據(jù)》的文章中基于物理學的手段測量和分析漢語聲調，將言語信號通過低通或高通濾波，提取基頻及其諧波信息。近年來，隨著影像技術的迅猛發(fā)展，出現(xiàn)使用功能性磁共振技術研究聲調感知的心理學方法。

隨著20世紀聲學實驗的興起，漢語聲調的理論發(fā)展也經(jīng)歷了四個時期。20世紀20～30年代的音高論，是關于聲調的自然屬性研究，其核心理論認為聲調是一種連續(xù)漸變的相對音高，在音節(jié)內(nèi)具有分辨語義的作用。50～60年代的音位論，是關于聲調的語言屬性研究，認為聲調是音系中的和元音音位、輔音音位一樣的獨立音位。70年代后是自主音段論的發(fā)展階段，主要論述聲調自身構成以及聲調與音段關系，即非線性音系學的研究。1976年麻省理工學院的Goldsmith[4]提出超音段成分是一個自主平面，與另一平面的音段音位平行，它們按一定規(guī)則非線性關聯(lián)。聲調特征和調型構成了漢語聲調。第四個時期是90年代中期，開始用優(yōu)選論研究聲調，提出聲調組合過程中一些規(guī)則。1933年美國人Prince[5]和Paul在《優(yōu)選論——生成語法中制約條件的交互作用》中首次正式提出：①在語音生成過程中的存在一系列制約條件，各種制約條件間存在優(yōu)先層級順序；②高等級的制約條件比低等級的制約條件起優(yōu)先作用。優(yōu)選論可以通過有限的規(guī)則解釋各種漢語聲調特征[6]。

2 漢語聲調的聲學特征與感知

漢語聲調與語音均是以聲波形式通過空氣傳遞到外耳，經(jīng)過人的聽覺器官、聽語神經(jīng)系統(tǒng)加工處理后使聽話人感知。聲波可以提取出基頻(F0)、音強(dB)、最長聲時(MPT)、基頻微擾、振幅微擾、音域、S/Z比等各種聲學特征參數(shù)。基頻與其諧波攜帶最主要的聲調信息[3]。

漢語聲調的感知過程分為兩個步驟：一是，聽覺系統(tǒng)對語音信號的察知與傳遞，二是大腦皮層的處理。首先是對語音信號聲學特征的聽覺感知與識別，漢語的聲調的聲學信號主要攜帶于頻域信息之中，頻域信息包含頻域精細結構和包絡。頻域精細結構，包括基頻及其諧波，包絡是指頻譜信息中共振峰所形成的外圍包絡結構。目前研究認為，與聲調聽覺感知相關的頻域信息有基頻、諧波、共振峰[7-9]。梁之安等[3]通過語音聽覺辨認的實驗發(fā)現(xiàn)，僅保留基頻、第一共振峰、第二共振峰中的1～2項時，仍可很好識別漢語聲調。如果有基頻及其諧波信息，四聲的聲調感知可高達到100%；即使在沒有基頻信息僅有諧波信息存在的情況下，聲調仍可得到較好的感知。林茂燦[10]對聲調研究認為基頻頻率及其變化在漢語四聲調識別過程中起主要作用，而聲調的時長和振幅變化起到的作用較小。單獨依靠共振峰識別聲調，識別率較低。王碩等[11]將聲音經(jīng)過LPC信號處理后，過濾掉頻域基頻信息，僅保留共振峰信息。結果表明聲調識別率只有36%。但是共振峰仍能對音調感知提供一些有用信息，尤其是對三聲的識別[12]。另外一些學者對包絡信息進行的研究結果表明，僅靠頻域包絡信息識別漢語聲調存在較大差異，準確性大約在40%～70%之間[13-15]。Liu等[13]在評價正常人的聲調識別功能時采用LPC信號處理技術提取單音節(jié)中的頻域包絡信息。結果顯示，一聲識別率低于機會值，二聲與四聲的識別率在30%～45%之間，三聲的正確識別率約為60%。Kong等[14]使用LPC技術分離頻域包絡與精細結構信息的實驗中，包絡信息可以提供平均約65%的聲調識別率。Wang等[15]的研究與Liu等[13]的研究結果基本一致，但與Kong等[14]的研究結果相差較大，可能是每個研究使用的LPC參數(shù)設置不同造成的。

我們認為在聲調感知的聲學特征中，基頻與其諧波攜帶最主要的聲調信息。近年來通過人工智能的方法識別聲調成為研究熱點。首先用軟件采集聲調信息后提取其基頻曲線，然后對提取的基頻曲線進行平滑、重采樣、歸一化處理后可以得到便于分析的基頻曲線。為了便于臨床應用、指導聲調的康復治療，在分析漢語聲調特點的基礎上建立聲調識別模型，從而可以對漢語聲調進行人工智能識別[16]。常用的聲調識別模型包括有基于規(guī)則的方法、模糊識別方法、神經(jīng)網(wǎng)絡識別方法、基于隱馬爾科夫模型方法和高斯混合模型等。

3 漢語聲調識別的腦功能定位特征具有偏側性

與語言的偏側性類似，聲調的感知也具有偏側性。隨著影像學的發(fā)展，許多學者使用功能性磁共振研究各種語言機制。陳卓銘等[17]對語言障礙患者的聲調感知偏側化問題研究的結果，認為左半球損傷對聲調知覺的影響很小，但是大腦對聲調的控制仍然具有雙側性。從心理學角度看，聲調的加工分為注意階段和注意前階段，這種兩階段論也是聲調感知偏側性的體現(xiàn)。2006年羅昊[18]的研究表明漢語母語受試者在注意前階段漢語聲調的加工主要在右側大腦半球，而輔音的加工卻在左側大腦半球。Tallal等[19]發(fā)現(xiàn)對快速變化的聲音信息的加工主要在左側半球，對慢速變化的聲音信息加工則無半球偏側化效應。由于漢語聲調和輔音的不同可表達不同語義，雖然它們有類似的功能性特性，但是兩者的聲學特征卻有很大的差別。聲調變化相對緩慢，主要以基頻特征變化為特征，而輔音以發(fā)音起始時間快速變化為特征?？梢娐曊{和輔音不同的大腦半球偏側化效應從側面說明了在語言的早期聽覺加工過程中，語言樣本的聲學屬性決定了大腦半球優(yōu)勢效應，但與功能屬性無關。因此我們在康復左側大腦損傷的語言障礙患者時應該可以遵循優(yōu)先康復聲調，再是元音和輔音的順序。

從自主音段論看，聲調本質是一種超音段音位。Hsieh[20]發(fā)現(xiàn)，漢語母語被試進行漢語聲調和音段音位的感知時均會激活左側前運動皮層、額下回島蓋部和三角部；不過在左側額葉的激活模式有差異，且聲調加工比音段音位加工有更多的右側腦區(qū)激活[21]。說明漢語聲調和音段音位加工既有相似之處，又有不同。

從以上研究我們可以發(fā)現(xiàn)對于聲調的大腦偏側性研究結論存在差異，但是對于聲調感知的注意前階段的右腦偏側優(yōu)勢是比較肯定的，因此對于左腦損失的語言障礙患者可以考慮利用較好的聲調感知能力設計康復計劃。

4 漢語普通話聲調感知特征具有范疇性

漢語普通話屬于漢藏語系是聲調語言，其聲調感知具有范疇性；而印歐語系的語言是非聲調語言，其語音聲調只表示語氣，無區(qū)別詞匯意義，其語音聲調感知是非范疇性的。漢語母語的成人對聲調和嗓音啟動時間的知覺都是范疇性的，一般6歲時已經(jīng)具備和成人相似的聲調加工模式[22]。另外，聲調的感知會受到被試者語言背景的影響[23-24]。Wang等[25]發(fā)現(xiàn)普通話的陽平和陰平之間存在范疇感知，但是感知界線具有個體差異。Halle等[26]以臺灣大學生和巴黎大學生作為被試，對漢語中的陰平-陽平、陽平-去聲、上聲-去聲三組聲調分別進行了聽覺感知試驗。臺灣學生被試對這些聲調的聽辨呈現(xiàn)出準范疇性感知模式；而巴黎學生被試的聲調聽辨以心理物理學現(xiàn)象為基礎。2010年王韞佳[27]研究表明：漢語普通話母語者對陽平和上聲的分辨呈現(xiàn)出一定的范疇化傾向，但不如陰平和陽平的范疇化顯著。Zheng等[28]用ERP對漢語普通話母語者和粵語母語者進行聽覺實驗，證明了不同聲調系統(tǒng)對聲調范疇感知存在差異。與漢語普通話有相關性的少數(shù)民族語言和其它國家語言(語種)的聲調范疇性研究?？捉絒29]證實了藏語拉薩話的聲調在音高和時長這兩個聲學特征上都具有范疇性。Abramson[30]使用16個合成的平調音節(jié)連續(xù)體進行的選擇適應實驗發(fā)現(xiàn)辨認部分泰語暹羅話具有明顯范疇性，而區(qū)分實驗中高中低三個聲調的感知是非范疇的連續(xù)感知。

由于范疇化的實質是將連續(xù)的物理量感知成突然變化的心理量，因此漢語聲調的范疇性承載著語音知覺模式，我們在設計聽力評估量表、儀器、康復設備時要將范疇性的評估作為一個考量因素。

5 腦損傷患者的聲調感知

腦損傷后對語言的影響已經(jīng)有大量的研究與結論，近年來對腦損傷后聲調感知障礙研究也越來越多。漢語普通話為母語的腦損傷患者左右腦損傷后造成聲調感知損傷的機制不同，因此對其聲調康復的機制也不同。關于漢語失語的研究表明左腦損傷患者伴有聲調損傷時，患者的聲調識別模式很接近母語為非聲調語的聽辨人，并伴有較長的識別時間，也就是說腦損傷后聲調感知模式會發(fā)生改變。漢語是聲調語，其功能屬性，也就是說對聲調的語義處理可能在左腦?；趯κдZ癥和聲調感知兩方面的研究，梁潔[31]提出漢語失語患者的腦損傷對聲調影響機制的假設：一是損傷導致失去聲調底層表達，此時喪失音高辯義的功能，患者的聲調感知模式類似于非聲調語言的聽辨人，患者聲調系統(tǒng)需要重新構建；二是非底層損傷，僅破壞了具體語言的聲調系統(tǒng)，但音高辨義的功能依然保留，此時患者的聲調感知過程好像是在感知另一種聲調語言。此實驗結果支持綜合型語言感知模式，即音高的處理分別由兩側大腦完成，左側大腦主要處理與語言密切相關的音高信息，而聲學信息則由右側作為優(yōu)勢區(qū)來完成。結論同采用音位識別和區(qū)分實驗分析失語患者的言語損傷的假設基本一致。

單純失語癥患者的聲調錯誤相對于音位錯誤而言較少。晏培等[32]對傳導性失語復述障礙患者進行語音分析，發(fā)現(xiàn)雖然有很多音位性錯誤，但僅發(fā)現(xiàn)少數(shù)的聲調錯誤。田鴻等[33]對國內(nèi)16例漢語普通話失語癥患者進行四聲檢查實驗，發(fā)現(xiàn)失語癥患者除了朗讀時的四聲錯誤外，四聲聽理解能力比四聲朗讀更差。汪潔[34]在對1例左頂葉、左頂深部梗死失語癥患者進行語言評估時，發(fā)現(xiàn)以聲調感知與表達障礙為主要特征的語言障礙。認為漢語聲調感知和表達障礙可以獨立于音素而單獨出現(xiàn)，左頂葉及左頂深部參與聲調感知與加工。高素榮[35]提出聲調錯語的概念，報道了左顳頂區(qū)損傷的漢語普通話傳導性失語患者出現(xiàn)的聲調錯誤，認為左側大腦損傷會導致聲調障礙。以上腦損傷患者語音感知的研究成果提示左側大腦損傷會影響聲調感知的深層加工，并能夠指導漢語失語癥聲調障礙患者康復訓練的計劃制定。

6 人工耳蝸植入兒童聲調感知

目前國內(nèi)外已經(jīng)廣泛使用多通道人工耳蝸植入技術治療重度感音神經(jīng)性耳聾患者。由于其言語編碼設計基于西方非聲調語言特點，因此對漢語聲調的感知能力差。西方多通道人工耳蝸可以很好地體現(xiàn)信號時域信息，但是沒有考慮聲調語言特點，只有很低的頻域分辨率，所以只能反映相對較少的頻域信息。正常聽力兒童可以很容易地感知聲調、元音和輔音，但是由于人工耳蝸的缺陷，重度感音神經(jīng)性耳聾患兒沒有良好的對聲調感知能力[36-37]。人工耳蝸植入后的兒童四聲感知發(fā)育普遍存在問題，對聲調及聲調組合的識別能力普遍低于正常兒童，還會受到背景噪音的干擾。

崔麗麗[38]發(fā)現(xiàn)人工耳蝸植入后兒童的聲調感知與普通兒童有區(qū)別。①對聲調的識別能力顯著低于普通兒童；②背景噪聲會影響人工耳蝸植入后的聲調識別；③兒童人工耳蝸植入的年齡對聲調發(fā)育起到?jīng)Q定性的作用，越早植入聲調發(fā)育越接近正常水平。進一步發(fā)現(xiàn)植入兒童與普通兒童對聲調組合識別的難度順序相似。人工耳蝸植入后兒童識別一聲最容易，其次是二聲和三聲，四聲最難，普通兒童也是一聲最容易，接著是四聲、三聲、二聲。徐立[39]做了進一步研究，研究表明人工耳蝸植入后進行漢語普通話聲調識別時，時域和頻域的信息可以互為補充。那么時域和頻域信息哪個更重要？實驗顯示植入者會優(yōu)先使用頻域信息。Xu等[40]在此基礎上對用于漢語母語人群的人工耳蝸設計提出改進方案，報道正在相關公司進行實驗。此外，在人工耳蝸植入的成人患者中，聲調感知能力與對音樂的欣賞能力正相關。植入者對聲調感知能力越強，對歌曲音樂的細節(jié)就把握得越多[41]。這可能是由于聲調識別和音樂識別在聽覺感知中有著類似的識別機制。如何利用人工耳蝸使用者的聲調和音樂感知相關性進行聽力康復將是我們未來科研和臨床運用的一個新探索。

綜上所述，漢語聲調對漢語普通話的理解具有重要作用，漢語聲調具有獨立研究價值，研究其語音信息特征、偏側性腦功能定位特征、范疇性特征，對聽力言語障礙患者的康復治療方法具有指導與借鑒作用，對聽力言語儀器開發(fā)與改進提供理論支持。今后，我們需要將理論構建、實驗研究與先進的科學手段相結合，使聲調感知研究更具系統(tǒng)化，促進聲調感知研究與臨床結合進一步深入。

[1] Han XJ. The first man to find the Chinese tones[J]. Education for the aged, 2007, 10(2): 28.

[2] Chao YR. Experimental methodology on Chinese tone values[J]. Science, 1922, 7(9):871-882.

[3] 梁之安．漢語普通話中聲調的聽覺辨認依據(jù)[J].生理學報, 1963, 26(2)：85-91．

[4] Goldsmith J. An overview of autosegmental phonology[J]. Linguistic Analysis. 1976, 2, 23-68.

[5] Prince A, Smolensky P. Optimality Theory: Constraint Interaction in Generative Grammar[J]. USA: Blackwell Publishing Ltd, 2008, 20-25.

[6] 劉俐李. 二十世紀漢語聲調理論的研究綜述[J]. 當代語言學, 2004, 6(1): 45-56.

[7] Peng SC, Tomblin JB, Cheung H, et al. Perception and production of Mandarin tones in prelingually deaf children with cochlear implants[J]. Ear Hear, 2004, 25(3): 251-264.

[8] Feng YM, Xu L, Zhou N, et al. Sine-wave speech recognition in a tonal language[J]. The Journal of the Acoustical Society of America, 2012, 131(2): 133-138.

[9] Wang J, Shu H, Zhang L, et al. The roles of fundamental frequency contours and sentence context in Mandarin Chinese speech intelligibility[J]. The Journal of the Acoustical Society of America, 2013，134(1): 91-97.

[10] 林茂燦．普通話聲調的聲學特性和知覺征兆[J]．中國語文, 1988, (3)：182-193．

[11] 王碩,Robert M, Philip Ne. 共振峰信息在漢語聲調感知中的作用[J]. 中國耳鼻咽喉頭頸外科, 2012, 19(1): 8-11.

[12] Hu YM. A Review on the Brain Mechanism of Chinese Tonal Processing[J]. Psycological Science, 2011, 34(1): 196-200.

[13] Liu S, Samuel AG. Perception of Mandarin lexical tones when F0 information is neutralized[J]. Lang Speech, 2004, 47(2): 109-138．

[14] Kong YY, Zeng FG. Temporal and spectral cues in Mandarin tone recognition[J]．The Journal of the Acoustical Society of America, 2004, 120(5): 2830-2840.

[15] Wang S, Mannell R, Newall P, et al. Contribution of spectral cues to mandarin lexical tone recognition in normal-hearing and hearing-impaired Mandarin Chinese speakers[J]. Ear & Hear, 2011, 32(1): 97-103．

[16] Chen ZM, Ling WX, Zhao JH, et al. Consonant recognition of dysarthria based on wavelet transform and fuzzy support vector machines[J]. Journal of Software, 2011, 6 (5): 887-893.

[17] 陳卓銘. 利用漢語語言特點設計語言康復[J]. 新醫(yī)學, 2001, 32(9): 526-527.

[18] 羅昊. 聽覺系統(tǒng)自動加工漢語聲調和輔音時的大腦半球優(yōu)勢[D]. 北京:中國科學技術大學，2007, 9-16.

[19] Tallal, Paula, Steve Miller, and Roslyn Holly Fitch. Neurobiological Basis of Speech: A Case for the Preeminence of Temporal Processing[J]. Annals of the New York Academy of Sciences, 1993, 682(1): 27-47.

[20] Hsieh L, Gandour J, Wong D, etal. Functional heterogeneity inferior frontal gyrus linguistic experience[J]. Brain Language, 2001,76(3): 227-252.

[21] 張林軍，周峰英，王曉怡. 言語中的音高信息聲學語音學加工的大腦偏側化[J]. 應用心理學, 2008, 14(4): 330-335.

[22] 席潔，姜薇，張林軍，等. 漢語語音范疇性知覺及其發(fā)展[J]. 心理學報，2009, 41(7): 572-579.

[23] Yang J. Acoustic properties of vowel production in Mandarin-English bilingual and corresponding monolingual children. Doctorate dissertation [D]. Columbus, The Ohio State University, 2014: 224.

[24] Chuang HF, Yang CC, Chi LY, et al. Speech intelligibility, speaking rate, and vowel formant characteristics in Mandarin-speaking children with cochlear implant[J]. International Journal of Speech-Language Pathology, 2012, 14(2): 119-129.

[25] Wang SY. Language change[J]. Annals of the New York Academy of Sciences, 1976, 280(1): 61-72.

[26] Halle PA, Chang YC, Best CT. Identification and discrimination of Mandarin Chinese tones by Mandarin Chinese vs. French listeners[J]. Journal of Phonetics, 2004, 32(3): 395- 421.

[27] 王韞佳, 李美京. 調型和調階對陽平和上聲知覺的作用[J].心理學報, 2010, 42(9): 899-908.

[28] Zheng HY, James WM, Peng G, et al . The impact of tone systems on the categorical perception of lexical tones: An event-related potentials study[J]. Language and Cognitive Processes, 2010, 1(1): 1-31.

[29] 孔江平. 藏語(拉薩話)聲調感知研究[J]. 民族語文, 1995, (3): 56-64.

[30] Abramson, Arthur S. The Coarticulation of Tones: An Acoustic Study of Thai[J]. Speech Research, 1975, (10-12): 119-125.

[31] 梁潔. 漢語失語聲調損傷感知實驗[J]. 當代語言學, 2012, 14(1): 24-36.

[32] 晏培, 高素榮. 傳導性失語患者的復述和朗讀障礙[J]. 中華神經(jīng)科雜志, 2000, 33(3): 141-143.

[33] 田鴻, 李勝利. 失語癥患者的四聲檢查結果分析[J]. 中國康復, 1996,11 (2): 57-58.

[34] 汪潔. 失語癥聲調感知與表達障礙1例分析[J]. 中華物理醫(yī)學與康復雜志, 2004, 26(3): 146-147.

[35] 高素榮. 失語癥[M]. 北京: 北京醫(yī)科大學出版社, 2006, 217-220.

[36] Moore BCJ. Coding of sounds in the auditory system and its relevance to signal processing and coding in cochlear implants[J]. Otology & Neurotology, 2003, 24(2): 243-254.

[37] Yang J, Brown E, Fox RA, et al. Acoustic pro perties of vowel production in prelingually deafened Mandarin- speaking children with cochlear implants [J]. The Journal of the Acoustical Society of America, 2015,138 (5): 2791-2799.

[38] 崔麗麗. 人工耳蝸植入兒童的聲調識別及發(fā)聲研究[D].上海, 華東師范大學, 2011:17-30.

[39] 徐立. 言語識別中的時域及頻域信息[J]. 中華耳科學雜志, 2006, 4(4): 335-342.

[40] Xu L, Tsai Y, Pfingst BE. Features of stimulation affecting tonal-speech perception: Implications for cochlear prostheses[J]. The Journal of the Acoustical Society of America, 2002, 112(1): 247-258.

[41] Wang WQ, Ning Z, Xu L. Musical Pitch and Lexical Tone Perception with Cochlear Implants[J]. International Journal of Audiology, 2011, 50(4): 270-278.