摘要：中國2780萬聽障人士中，絕大多數(shù)具備閱讀能力，同時(shí)很多經(jīng)過特殊教育學(xué)校培訓(xùn)過的聽障人士具備發(fā)音能力。本項(xiàng)目通過研究近眼顯示技術(shù)，分析和論證觸覺和視覺對(duì)言語交流的補(bǔ)償機(jī)制;比較了幾種主流的近眼顯示技術(shù)，指出它們對(duì)聽障人群康復(fù)的弊端所在;論證了電潤濕技術(shù)在幫助成人聽障人士康復(fù)過程中的作用，指出觸覺與視覺的聯(lián)合補(bǔ)償機(jī)制能夠提高聽障人群的勞動(dòng)能力，改善他們的生活品質(zhì)，減輕社會(huì)負(fù)擔(dān)。

關(guān)鍵詞：聽障;康復(fù);溝通;近眼顯示;電潤濕

中圖分類號(hào)：TN873? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ?文章編號(hào)：1007-9416（2020）10-0000-00

1聽障康復(fù)

1.1聽障現(xiàn)狀

聽障人群是我國主要的殘疾群體，其總?cè)丝诩s為2057萬，達(dá)到全國人口的1.67%， 其中兒童約為80余萬，“迄今國內(nèi)接受人工耳蝸植入的患者人數(shù)累積達(dá)到10000余人，其中90%以上是兒童”（曹克利、魏朝剛，中華耳鼻咽喉頭頸外科雜志， 2010，45（10）： 798-799）。聽障嚴(yán)重制約了聽障人群對(duì)社會(huì)的認(rèn)知和學(xué)習(xí)，輕度耳聾患者可以依靠助聽器改善生活質(zhì)量，重度或極重度以上的耳聾患者就只能選擇人工耳蝸[7]，但人工耳蝸不僅售價(jià)昂貴，而且對(duì)聾啞人的身體也有特殊要求。這些因素極大地限制了聽障人群對(duì)人工耳蝸的選擇。

1.2問題所在

造成聽障人群各種社會(huì)困難的根本原因是言語溝通技能的缺失[3]。但實(shí)際上絕大部分聽障人群的語言系統(tǒng)良好，具備發(fā)音和表達(dá)言語的物理?xiàng)l件和生理?xiàng)l件[2]。很多聽障人士在經(jīng)過訓(xùn)練之后普遍具備單向言語表達(dá)的能力，即通過言語表達(dá)自身意圖[5]。但是由于無法聽見，導(dǎo)致無法實(shí)現(xiàn)雙向溝通，同時(shí)聽障人群也無法判斷自身言語的語音大小是否合適，無法準(zhǔn)確判斷自己的言語內(nèi)容是否符合自己的真實(shí)意圖[4]，即缺乏實(shí)時(shí)校正系統(tǒng)。

1.3解決方案

皮膚聽覺補(bǔ)償系統(tǒng)+近眼文字顯示系統(tǒng)。皮膚聽覺補(bǔ)償系統(tǒng)（也可以理解為觸覺補(bǔ)償）可以實(shí)現(xiàn)聲波導(dǎo)入[2]，但無法在短期內(nèi)實(shí)現(xiàn)聽懂的目的;語音文字轉(zhuǎn)換系統(tǒng)可以實(shí)現(xiàn)實(shí)時(shí)的文字轉(zhuǎn)換，但無法獲得對(duì)聲波的感知;兩者結(jié)合可以實(shí)現(xiàn)優(yōu)勢(shì)補(bǔ)充。光譜與音頻的自動(dòng)轉(zhuǎn)換技術(shù)可以實(shí)現(xiàn)不同的人說出來的文字顏色不同[8] ，能夠有效實(shí)現(xiàn)復(fù)雜背景下的多人交流，多人同時(shí)說話的情況下所轉(zhuǎn)化出來的文字不會(huì)出現(xiàn)邏輯混亂。實(shí)現(xiàn)兩者結(jié)合的載體是近眼顯示系統(tǒng)，近眼顯示技術(shù)的優(yōu)勢(shì)是不需要做手術(shù)，即戴即用，使用方便，基本不受年齡限制。

1.4方案原理

聽障人士在與健聽人士語音交流時(shí)，可以實(shí)現(xiàn)觸覺補(bǔ)償系統(tǒng)與視覺系統(tǒng)的雙重補(bǔ)償，一方面通過皮膚聽覺補(bǔ)償系統(tǒng)感知對(duì)方和自己的語音存在及聲音的大小，另一方面通過視覺獲得同步的文字信息[6]，獲得交流對(duì)象和自己的語音含義，即實(shí)時(shí)校正系統(tǒng)得以建立。

通過圖1和圖2可以看出人類的言語機(jī)制（圖1）與朗讀機(jī)制（圖2）受聽覺皮層功能的影響較小[1]，觸覺與視覺的聯(lián)合補(bǔ)償機(jī)制可以幫助言語機(jī)制和朗讀機(jī)制克服聽障阻礙，實(shí)現(xiàn)聽障人群與健聽人群的言語交流。

1.5技術(shù)瓶頸

本方案的核心是近眼顯示不能遮擋現(xiàn)實(shí)情景，近眼顯示屏幕的透光率和虛擬文字系統(tǒng)的色飽和度以及畫面響應(yīng)時(shí)間是關(guān)鍵。由于近眼顯示技術(shù)本身尚不成熟，以下通過論證幾種近眼顯示方案的對(duì)聽障人群的不足，并出新的近眼顯示方案。

2光波導(dǎo)AR近眼顯示對(duì)聽障人群的不足

（1）在使用場(chǎng)合方面，現(xiàn)有的光波導(dǎo)近眼顯示產(chǎn)品中，“HoloLens和DAQRI Smart Glasses的亮度約為300尼特，而Magic Leap One亮度約為200尼特”（數(shù)據(jù)源自網(wǎng)絡(luò)，https：//t.cj.sina.com.cn/articles/view/5868123755/15dc4766b00100k2ff？from=digit），其他大多數(shù)AR眼鏡的亮度則僅適合在室內(nèi)使用，在室外幾乎無法用，OLED 或microLED方案也同樣存在無法在外界強(qiáng)光下使用的問題。這種缺陷對(duì)聽障人群的使用是致命性的，會(huì)導(dǎo)致室外無法溝通，這對(duì)于大多數(shù)生活場(chǎng)景和工作場(chǎng)景在室外的聽障人群尤其無法容忍。

（2）在視場(chǎng)角方面，現(xiàn)有光學(xué)波導(dǎo)方案的FOV視場(chǎng)角缺陷明顯，一般只能達(dá)到40°×40°的視場(chǎng)角，目前市場(chǎng)上混合光波導(dǎo)方案的最大視場(chǎng)角也僅為51°×51°。視場(chǎng)角小也就意味著可用于呈現(xiàn)文字的空間有限，也就是芯片在進(jìn)行文字轉(zhuǎn)換時(shí)可以調(diào)整的空間有限。在語音文字轉(zhuǎn)換過程中，軟件需要根據(jù)足夠的語音信息來判斷和組織文字信息，這個(gè)過程中需要對(duì)前面已經(jīng)呈現(xiàn)的文字進(jìn)行必要的修改，如果呈現(xiàn)文字的可視窗口太小，就會(huì)使軟件調(diào)整后的文字無法呈現(xiàn)，這樣帶來的后果是邏輯混亂，無法滿足有效交流的需求。

（3）在透光率方面，現(xiàn)有工業(yè)端的光波導(dǎo)近眼顯產(chǎn)品中，“HoloLens的透光率大約在40%左右，Magic Leap One的透光率約為15%，2019年初展示的Nreal機(jī)型大約具備25%左右的透光率”（數(shù)據(jù)源自網(wǎng)絡(luò)）。較低的透光率必然導(dǎo)致清晰度和舒適度的下降，這樣的場(chǎng)景對(duì)聽障人群必須依賴文字進(jìn)行交流帶來了不小的挑戰(zhàn)，沒有足夠的透光率，投射型的文字呈現(xiàn)是無法滿足文字識(shí)別的需求。

（4）在光學(xué)干擾方面，現(xiàn)有的光學(xué)波導(dǎo)方案中，存在“光暈、彩虹斑等”現(xiàn)象，這種現(xiàn)象是由AR眼鏡側(cè)面或后面透入的雜散光造成的，雜散光會(huì)導(dǎo)致顯示問題。類似方案的衍射光波導(dǎo)也會(huì)導(dǎo)致了色散問題的存在，這是由于衍射過程對(duì)于入射光的角度和波長具有選擇性選，相同色彩的衍射效率會(huì)隨著入射角度的不同而浮動(dòng)，這種情況下整個(gè)視場(chǎng)角（FOV）內(nèi)的紅黃藍(lán)三色光的配比出現(xiàn)變動(dòng)導(dǎo)致“彩虹效應(yīng)”。對(duì)于需要將文字根據(jù)音頻轉(zhuǎn)換成有色文字的軟件來說，如何避免“彩虹效應(yīng)”至關(guān)重要，因?yàn)橛猩淖质锹犝先巳号袛辔淖謥碓从谡l的重要依據(jù)，“彩虹效應(yīng)”會(huì)擾亂聽障人群的文字歸屬判斷。

3 LCD近眼顯示技術(shù)對(duì)聽障人群的不足

LCD理論上可以實(shí)現(xiàn)透明型或半反半透型近眼顯示系統(tǒng)。但缺陷也很明顯，色飽和度、透光率嚴(yán)重不足，遮蔽現(xiàn)象明顯。

（1）在透射型條件下，如果沒有第三方光源，則透光率明顯不足，只能在正午日光下實(shí)現(xiàn)透明顯示，室內(nèi)條件下的聽障人群得不到滿意的體驗(yàn)。

（2）色彩飽和度需求高，透射條件下每單位需要800流明（實(shí)驗(yàn)數(shù)據(jù)）以上才能達(dá)到色彩飽和度需求，雖然聽障人群對(duì)畫面沒有特殊要求，但只有強(qiáng)光環(huán)境下才能看清文字的使用條件顯然無法滿足聽障人群的需求。

（3）半反半透型的LCD方案可以滿足室內(nèi)和室外的應(yīng)用場(chǎng)景需求，當(dāng)自有光源亮度超過外部環(huán)境光時(shí)，會(huì)出現(xiàn)虛擬信息遮蔽現(xiàn)實(shí)場(chǎng)景情況（實(shí)驗(yàn)檢測(cè)結(jié)果），影響聽障人群對(duì)現(xiàn)實(shí)場(chǎng)景的觀察。

（4）半反半透型LCD方案需要背光源，這就導(dǎo)致設(shè)備具有發(fā)熱性，關(guān)鍵在于熱源距離眼球太近（不足2cm），需要散熱風(fēng)扇（風(fēng)扇距離眼球約2cm），長期使用會(huì)導(dǎo)致眼球干澀，不利于聽障人群的長期佩戴。

4 OLED 近眼顯示技術(shù)對(duì)聽障人群的不足

透明型OLED 屏幕具有自發(fā)光的特點(diǎn)，在室內(nèi)和室外都能良好地呈現(xiàn)畫面，除色散問題外，這項(xiàng)技術(shù)的缺點(diǎn)跟光波導(dǎo)很相似。OLED 屏幕還具有“燒屏”（像素衰減）和發(fā)熱的特征，屏幕本身的發(fā)熱對(duì)眼球的近距離觀察極為不利，透明度與清晰度均不理想，同樣不利于聽障人群的長期佩戴。

5電潤濕（Electrowetting，EW）近眼顯示方案的潛在優(yōu)勢(shì)

電潤濕的近眼顯示方案主要通過油膜反射實(shí)現(xiàn)，在電潤濕顯示器中包含水和油兩種不相溶的介質(zhì)，其中水的透明性和油膜的非透明特征是構(gòu)成電潤濕近眼顯示的關(guān)鍵，通過透明電極的作用可以控制油膜的收縮度[9]。沒有電壓作用的時(shí)候，水和油是相互不溶的，結(jié)構(gòu)是一層水一層油。遇到電壓時(shí)，油膜收縮一個(gè)點(diǎn)[9]。通過對(duì)油膜染色就能夠?qū)崿F(xiàn)反射型的近眼顯示結(jié)構(gòu)，由于反射結(jié)構(gòu)不需要第三方光源，且電潤濕的反射效率超過50%，這就使得電潤濕結(jié)構(gòu)的近眼顯示方案對(duì)聽障人群是一個(gè)比較理想的文字顯示方案。以下分析電潤濕方案對(duì)聽障人群的特殊優(yōu)勢(shì)。

（1）反射原理實(shí)現(xiàn)的油膜像素成像[9]?？梢暂p松實(shí)現(xiàn)任何色彩的渲染。這使得音頻信號(hào)和光譜信號(hào)有較大的匹配空間，可以實(shí)現(xiàn)任意范圍的個(gè)性音色與文字顏色的轉(zhuǎn)換。聽障人群可以通過文字色彩變化輕松實(shí)現(xiàn)語音歸屬的識(shí)別。

（2）光源采用的是自然光源，對(duì)光源的要求低，適用范圍廣，能夠在室外使用，并且由于使用的是自然光源，其優(yōu)點(diǎn)恰恰是只要可見光足夠就行。這就保障了聽障人群可以在復(fù)雜勞動(dòng)條件下的對(duì)設(shè)備的依賴。

（3）實(shí)現(xiàn)了擴(kuò)大視場(chǎng)角的效果，接近人的自然視場(chǎng)角，可以輕松實(shí)現(xiàn)120°×120°的視場(chǎng)角。這樣就能夠在更大的視角內(nèi)呈現(xiàn)文字信息，減輕短時(shí)記憶的負(fù)擔(dān)，還可以及時(shí)呈現(xiàn)軟件對(duì)文字的修正，防止誤解或邏輯混亂。

（4）電潤濕的反射原理使得虛擬信息成像不受外界光線強(qiáng)弱的干擾，室內(nèi)弱光環(huán)境和室外強(qiáng)光環(huán)境均能實(shí)現(xiàn)優(yōu)良的色彩飽和度，室外光和室內(nèi)光表現(xiàn)一致。對(duì)使用者的眼睛沒有副作用，有利于聽障人群長期使用。

（5）由于是光反射原理，不存在光波導(dǎo)方案中出現(xiàn)的光折射缺陷和雜散光干擾現(xiàn)象。雜散光在電潤濕（EW）單元成像時(shí)呈現(xiàn)反射效果，是主要的反射光來源，是EW成像的光源之一（若油膜被設(shè)計(jì)成為半透明狀態(tài)是，透射光也能幫助EW單元成像，形成半透明現(xiàn)象）。

6結(jié)語

毋庸置疑能夠使聽障人群獲得聲波感知和識(shí)別的人工耳蝸方案是理想方案，但由于年齡因素、身體因素和價(jià)格因素，目前還不能使大多數(shù)聽障人群接受人工耳蝸的方案。在這樣的背景下視覺與觸覺相結(jié)合重建聽障人群的言語機(jī)制成為未來有效的替代方案。筆者通過對(duì)聽障康復(fù)技術(shù)方案的論證和對(duì)近眼顯示技術(shù)的分析，得出目前康復(fù)聽障人群較為理想的技術(shù)方案和技術(shù)組合。筆者認(rèn)為電潤濕方案極有可能成為改善聽障人群交流的技術(shù)突破口。

參考文獻(xiàn)

[1] 【美】貝爾，【美】柯勒斯，【美】帕羅蒂斯.神經(jīng)科學(xué).探索腦[M].費(fèi)城：利平科特威廉姆斯.威爾金斯出版社，2005.

[2] 【美】David L. Felten，Ralph F.Jozefowicz.奈特人體神經(jīng)解剖彩色圖譜[M].崔益群，譯.北京：北京人民衛(wèi)生出版社，2009.

[3] 崔剛.神經(jīng)語言學(xué)[M].北京：清華大學(xué)出版社，2015.

[4] 羅國剛，李公正.聽力障礙后智能結(jié)構(gòu)的改變和評(píng)估[J].中國行為醫(yī)學(xué)科學(xué)，2001（5）：114-115.

[5] 王楓，胡旭君，秦艷玲，等.聽力障礙兒童視覺記憶能力在言語訓(xùn)練中的作用[J].中國聽力語言康復(fù)科學(xué)雜志，2005（4）：19-20.

[6] 邢丹.聽力障礙兒童篇章閱讀的眼動(dòng)特征[D].大連：遼寧師范大學(xué)，2005.

[7] 曹克利，魏朝剛.亟待加強(qiáng)兒童人工耳蝸植入術(shù)后效果的評(píng)估[J].中華耳鼻咽喉頭頸外科雜志，2010（10）：798-799.

[8] 鄧勇，唐彪，郭媛媛，等.電潤濕顯示彩色油墨材料研究進(jìn)展[J].華南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，48（5）：31-36.

[9] 錢明勇，林珊玲，曾素云，等.電潤濕電子紙的實(shí)時(shí)動(dòng)態(tài)顯示驅(qū)動(dòng)系統(tǒng)實(shí)現(xiàn)[J].光電工程，2019，46（6）：87-95.

收稿日期：2020-08-18

基金項(xiàng)目：江蘇省社會(huì)教育規(guī)劃課題：聽障人士的康復(fù)培訓(xùn)與就業(yè)培訓(xùn)方式研究（JSS-B-2019001）

作者簡介：汪勇（1971—），男，安徽舒城人，碩士，研究方向：神經(jīng)語言學(xué)。

Effect of Near Eye Display Technology on Speech Compensation Mechanism of Hearing Impaired People

WANG Yong1，2

（1.Wuxi Vocational College of Science and Technology， Wuxi? Jiangsu? 214000;

2.Jiangsu Lijun Intelligent Technology Co.， Ltd.， Wuxi? Jiangsu? 214000）

Abstract：Among the 27.8 million hearing-impaired people in China， the vast majority have the ability to read， and many of them who have been trained in special education schools have the ability to pronounce. Through the research of near eye display technology， this project analyzes and demonstrates the compensation mechanism of tactile and visual for speech communication. After comparing several mainstream near eye display technologies， this paper points out their disadvantages in the rehabilitation of hearing-impaired people. This paper also demonstrates the role of electrowetting technology in the rehabilitation of adult hearing-impaired people， and points out that the joint compensation mechanism of touch and vision can improve the labor ability of hearing-impaired people， improve their quality of life and reduce the social burden.

Keywords：hearing impaired; rehabilitation; communication; near eye display; electrowetting