【】劉捷，張竹茂，任秋實(shí)，柴新禹

上海交通大學(xué)生命科學(xué)技術(shù)學(xué)院生物醫(yī)學(xué)工程系，上海，200240

基于電觸覺替代視覺系統(tǒng)的漢字識(shí)別

【作 者】劉捷，張竹茂，任秋實(shí)，柴新禹

上海交通大學(xué)生命科學(xué)技術(shù)學(xué)院生物醫(yī)學(xué)工程系，上海，200240

利用自行設(shè)計(jì)研制的電觸覺替代視覺系統(tǒng)，通過(guò)簡(jiǎn)單的圖像處理算法以及多通道分時(shí)復(fù)用技術(shù)，實(shí)現(xiàn)了在由16×16個(gè)電極組成的觸摸電極陣列上的電觸覺漢字顯示。并以此為基礎(chǔ)，進(jìn)行了簡(jiǎn)單漢字的識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，電觸覺替代視覺是一種幫助盲人進(jìn)行簡(jiǎn)單漢字閱讀的可行方法。同時(shí)該實(shí)驗(yàn)也為進(jìn)一步開展復(fù)雜圖像識(shí)別的研究打下了基礎(chǔ)。

電觸覺；電觸覺替代視覺；漢字識(shí)別

早在1969年，美國(guó)威斯康星大學(xué)生物醫(yī)學(xué)工程系Bach-y-Rita、Collins等人在Nature中首次提出利用觸覺替代視覺可以幫助盲人重新獲取視覺信息的設(shè)想[1]。第二年，Collins科研小組便發(fā)明了這種觸覺替代視覺的裝置。該小組將400個(gè)微型震動(dòng)器構(gòu)成的觸覺陣列安置于受試者背部，通過(guò)震動(dòng)產(chǎn)生觸覺，來(lái)感受CCD攝像頭獲取的圖像信息，而該系統(tǒng)被取名為觸覺替代視覺系統(tǒng)（TVSS）[2]。隨后，國(guó)際上的相關(guān)研究主要利用機(jī)械裝置來(lái)產(chǎn)生觸覺感受，但是由于基于該構(gòu)架的TVSS有成本高、笨重和能量轉(zhuǎn)換率低等缺點(diǎn)，很難進(jìn)入便攜實(shí)用。近二十年來(lái)，TVSS的研究重心逐漸轉(zhuǎn)向了利用電刺激來(lái)產(chǎn)生觸覺感受[3-12]。通過(guò)大量的研究表明，電觸覺顯示裝置具有成本低、分辨率高、功耗低、便于集成和小型化等一系列優(yōu)點(diǎn)，被廣泛用作TVSS的顯示終端。在前人的研究基礎(chǔ)上，我們課題組研制了作用于手指的電觸覺替代視覺系統(tǒng)（ETVSS）[13]、[14]，具有電觸覺顯示陣列大和功耗低等特點(diǎn)。本文將著重介紹基于該系統(tǒng)實(shí)現(xiàn)的電觸覺漢字顯示，以及相應(yīng)的漢字識(shí)別實(shí)驗(yàn)。

1 ETVSS的硬件組成

ETVSS主要由圖像采集、圖像處理、刺激器和電極陣列四個(gè)部分組成，其原理框圖如圖1所示，系統(tǒng)的實(shí)物圖如圖2所示。

圖1 ETVSS系統(tǒng)原理框圖Fig .1 Main block diagram of ETVSS

圖2 ETVSS實(shí)物圖[13]Fig.2 The object of the ETVSS[13]

1.1 圖像采集和圖像處理

圖像處理部分包括數(shù)字信號(hào)處理芯片（DSP）、模擬/數(shù)字轉(zhuǎn)換器、同步動(dòng)態(tài)存儲(chǔ)器（SDRAM）和閃速存儲(chǔ)器（FLASH）。圖像采集部分將采集到的原始圖像經(jīng)模擬/數(shù)字轉(zhuǎn)換后存放在SDRAM中，DSP讀取存放在SDRAM中的數(shù)字圖像信號(hào)并對(duì)其有選擇地進(jìn)行圖像去噪、圖像增強(qiáng)、邊緣檢測(cè)和像素降低等處理，所得的圖像信息也存放在SDRAM中。圖像處理策略的程序和DSP對(duì)圖像采集部分等的控制程序都存放在FLASH中。

1.2刺激器

刺激器部分包括ARM微型控制單元、手動(dòng)調(diào)節(jié)模塊、電極驅(qū)動(dòng)模塊和刺激電源模塊。ARM微型控制單元與前端的圖像處理部分通訊，接收DSP處理后的圖像信息；與手動(dòng)調(diào)節(jié)模塊連接，接收由手動(dòng)調(diào)節(jié)的刺激脈沖信息；與電極驅(qū)動(dòng)模塊連接，控制電極驅(qū)動(dòng)模塊產(chǎn)生需要的刺激。

電極驅(qū)動(dòng)模塊包括多路復(fù)用和光電耦合電路。多路復(fù)用電路主要實(shí)現(xiàn)256路刺激通道的分時(shí)輸出，從結(jié)構(gòu)上降低了系統(tǒng)的復(fù)雜性。光電耦合電路隔絕刺激電源模塊與前端多路復(fù)用和處理控制模塊，以防止高壓電源損壞前端電路。

刺激電源模塊輸出恒定的電壓0-300V，供應(yīng)刺激脈沖相應(yīng)的刺激幅值。

1.3電極陣列

刺激電極陣列由16×16個(gè)電極組成，受電極驅(qū)動(dòng)模塊驅(qū)動(dòng)。當(dāng)手指指尖直接觸摸電極陣列時(shí)，會(huì)產(chǎn)生電觸覺感受。電極采用鎳材料的球型突起電極，電極的直徑約為0.9 mm，具有良好的導(dǎo)電性、焊接性和耐腐蝕性，電極之間的中心間距約為2.5 mm。在電極陣列上，除凸起球形電極外，其余部分表面全部敷銅，作為接地網(wǎng)絡(luò)。

2 電觸覺漢字顯示的軟件實(shí)現(xiàn)

漢字，也可以被視作為一種圖像，通過(guò)攝像頭將其采集進(jìn)來(lái)，進(jìn)行一系列簡(jiǎn)單的圖像處理，最終可以點(diǎn)陣的形式在電觸覺顯示陣列上顯示出來(lái)。圖3便是利用DSP和ARM來(lái)實(shí)現(xiàn)圖像處理、傳輸與控制的程序流程圖。對(duì)DSP與ARM芯片分別編寫運(yùn)行程序，然后將編譯鏈接轉(zhuǎn)換成的二進(jìn)制文件，分別燒錄到DSP的片外Flash與ARM的片內(nèi)Flash中。

圖3 利用ETVSS顯示漢字的程序流程圖Fig.3 Program flow chart of displaying Chinese character using ETVSS

對(duì)于實(shí)時(shí)采集的漢字圖像，利用中值濾波去噪、降低其像素和閾值化一系列的方法對(duì)原圖進(jìn)行圖像處理，將生成的16×16二值化圖像按行以數(shù)組Uint16 OutputImage[16]的形式存放在DSP的SDRAM中。然后，在數(shù)組OutputImage全部被賦值后，DSP將改寫引腳信號(hào)，ARM通過(guò)查詢?cè)撘_得知，通過(guò)HP I接口將數(shù)組OutputImage讀取到自己的內(nèi)存中并釋放DSP總線。用HPI接口對(duì)圖像數(shù)據(jù)的讀取的好處是不影響到DSP的處理進(jìn)程，使ARM能夠與DSP并行的工作，從而保證了刺激信號(hào)的實(shí)時(shí)性。ARM中運(yùn)行的程序分為后臺(tái)任務(wù)和前臺(tái)中斷兩部分，后臺(tái)任務(wù)不斷地查詢HPI接口，負(fù)責(zé)更新輸出圖像；前臺(tái)中斷為定時(shí)器的中斷服務(wù)程序，將接收的圖像信息轉(zhuǎn)換控制波形，通過(guò)ARM的10條通用輸出口將控制波形傳遞給電極驅(qū)動(dòng)模塊。

圖4 漢字“也”的刺激分布圖Fig.4 Stimulation distribution of Chinese character “也”

圖5 ARM控制信號(hào)Fig.5 ARM control signal

圖4為漢字“也”的電觸覺刺激在電極陣列上的分布圖。我們將256電極劃分為4個(gè)區(qū)，ARM的6條通用輸出口作為地址線AD0-AD5，每個(gè)區(qū)共用這6條地址線，同時(shí)對(duì)各個(gè)區(qū)的64路通道實(shí)現(xiàn)分時(shí)掃描，而另外4條通用輸出線作為數(shù)據(jù)線OUTPUT0-OUTPUT3，分別向每個(gè)區(qū)上的相應(yīng)通道傳送通道開關(guān)信息。圖5上顯示的ARM控制信號(hào)控制電極驅(qū)動(dòng)電路在電極陣列上顯示如圖4所示的漢字“也”。

3 簡(jiǎn)單漢字的識(shí)別實(shí)驗(yàn)

6名來(lái)自上海交通大學(xué)的志愿者參與了本實(shí)驗(yàn)，其中3名男性和3名女性，年齡范圍為23到30，具有正常的電觸覺感受閾值。實(shí)驗(yàn)前每個(gè)被試者都被告知實(shí)驗(yàn)?zāi)康暮筒襟E。他們均為第一次參加本實(shí)驗(yàn)。

漢字識(shí)別實(shí)驗(yàn)的漢字素材由三組組成，它們分別為漢字?jǐn)?shù)字（一二三四五六七八九十）、根據(jù)中華人民共和國(guó)1988年頒布的《現(xiàn)代漢語(yǔ)常用字頻度統(tǒng)計(jì)表》中的最常用漢字二畫高頻字（了人十二又力兒九幾八）以及最常用漢字三畫高頻字（上大個(gè)子小下也工三于），共30個(gè)漢字。

實(shí)驗(yàn)中的采用的電刺激脈沖（圖6）選用已有研究中對(duì)手指刺激的最佳參數(shù)[8]、[15]，脈寬設(shè)置為50 μs，脈沖周期為4.17 ms，脈沖串周期為33.33 ms，其中脈沖幅值需要通過(guò)測(cè)試適合的工作電壓來(lái)確定。

圖6 作用于指尖的刺激波形Fig .6 Stimulating waveform on the fingertips

本實(shí)驗(yàn)內(nèi)容包括適合的工作電壓幅值的測(cè)量、訓(xùn)練和正式實(shí)驗(yàn)三個(gè)部分。在這三部分開始之前，我們將向被試者介紹實(shí)驗(yàn)?zāi)康?、?shí)驗(yàn)步驟、實(shí)驗(yàn)時(shí)間以及實(shí)驗(yàn)方法等，同時(shí)讓被試者先清潔手指，去除污垢，再用70%酒精棉花擦拭電極陣列，并在手指上涂抹少許導(dǎo)電膏，以減小手指移動(dòng)的摩擦力，同時(shí)以減小皮膚阻抗，提高電觸覺感受質(zhì)量，并防止手指皮膚脫水。適合的工作電壓幅值的測(cè)量目的是為了確定適合于不同被試者的刺激脈沖幅值。訓(xùn)練的目的是為了讓被試者熟悉通過(guò)觸摸電極陣列來(lái)識(shí)別漢字的實(shí)驗(yàn)過(guò)程。

適合的工作電壓幅值的測(cè)量 由于每個(gè)人的指尖的皮膚特性不同，因而導(dǎo)致皮膚的阻抗特性因人而異，所以每個(gè)人對(duì)于電觸覺的感受閾值是存在一定差別的。所謂的適合的工作電壓幅值是指在該狀態(tài)下，電觸覺刺激的電壓幅值不強(qiáng)也不弱，比較適中，從而適合在長(zhǎng)時(shí)間的工作中使用。具體測(cè)試方法是受試者先后兩次觸摸電極陣列中心，每次觸摸10 s，隨機(jī)地在其中一次時(shí)間內(nèi)在電極陣列的中心位置上顯示3×3實(shí)心矩形，讓受試者判斷是前后哪一個(gè)時(shí)間段出現(xiàn)的。如果判斷錯(cuò)誤，電壓上升30 V；如果兩次判斷正確下降30 V。每次下降后，增減的步長(zhǎng)為原先的一半，如此往復(fù)，直至找到電觸覺感受閾值。然后，從閾值開始逐漸升高電壓值，電觸覺感受會(huì)經(jīng)歷微弱震動(dòng)感 → 強(qiáng)震動(dòng)感 → 針刺痛感。微弱震動(dòng)感無(wú)不舒適感，但對(duì)單個(gè)點(diǎn)的感受比較不清晰；針刺感會(huì)帶來(lái)不適，但對(duì)單個(gè)點(diǎn)的感受相對(duì)集中。適合的工作電壓幅值所產(chǎn)生的是沒有達(dá)到針刺痛感之前的強(qiáng)震動(dòng)感，它將作為受試者進(jìn)行漢字識(shí)別實(shí)驗(yàn)的刺激脈沖幅值。

正式實(shí)驗(yàn)共分為4組：漢字?jǐn)?shù)字識(shí)別，常用漢字二畫高頻字識(shí)別；常用漢字三畫高頻字識(shí)別和三組漢字的混合識(shí)別。

訓(xùn)練在前三組正式實(shí)驗(yàn)開始前進(jìn)行，在電觸覺陣列上逐個(gè)顯示該組中的10個(gè)漢字，讓受試者逐個(gè)體驗(yàn)與學(xué)習(xí)，每個(gè)漢字顯示60 s。

在每組正式實(shí)驗(yàn)過(guò)程中，電觸覺陣列上會(huì)隨機(jī)顯示出一個(gè)在該組范圍內(nèi)的漢字，要求被試者盡可能快地做出準(zhǔn)確的判斷，判斷結(jié)果和判斷時(shí)間會(huì)被記錄下來(lái)，共隨機(jī)顯示20個(gè)漢字。最后一組混合漢字的實(shí)驗(yàn)沒有訓(xùn)練的過(guò)程。

表1 電觸覺漢字識(shí)別實(shí)驗(yàn)結(jié)果Tab.1 Result of Chinese character recognition experiment

圖7 電觸覺漢字識(shí)別實(shí)驗(yàn)結(jié)果圖Fig.7 Result chart of Chinese character recognition experiment

實(shí)驗(yàn)結(jié)果考察 電觸覺漢字識(shí)別的識(shí)別時(shí)間和準(zhǔn)確率。這四組實(shí)驗(yàn)最終得到的平均識(shí)別時(shí)間和平均識(shí)別準(zhǔn)確率，如表1和圖7所示。

4 討論與展望

從圖7的統(tǒng)計(jì)結(jié)果中我們可以發(fā)現(xiàn)，漢字?jǐn)?shù)字由于較常用且結(jié)構(gòu)特異性比較強(qiáng)，所以平均識(shí)別時(shí)間比較短；隨著漢字筆畫的增多，判斷時(shí)間也在增加；三組混合后的時(shí)間最長(zhǎng)，因?yàn)樾枰R(shí)別的漢字范圍增大了。同樣，雖然漢字?jǐn)?shù)字中不乏筆畫數(shù)較多的漢字，但是由于漢字?jǐn)?shù)字的結(jié)構(gòu)差異性比較強(qiáng)，所以其平均識(shí)別準(zhǔn)確率卻很高。從二畫漢字到三畫漢字，平均識(shí)別準(zhǔn)確率稍有減少，而三組混合漢字的平均識(shí)別準(zhǔn)確率最低。但從錯(cuò)誤的結(jié)果中我們可以發(fā)現(xiàn)，出現(xiàn)識(shí)別錯(cuò)誤的主要原因是一些字形相近的字的混淆，如“了”和“下”，“六”和“大”，“幾”和“兒”等。這可能是因?yàn)樵诙虝r(shí)間的電觸覺漢字學(xué)習(xí)之后，受試者還沒有能夠完全熟悉電觸覺刺激的環(huán)境，對(duì)電觸覺顯示的漢字的大體輪廓可以識(shí)別出來(lái)，但是細(xì)節(jié)部分卻不能分辨出來(lái)。

從實(shí)驗(yàn)結(jié)果可知，在沒有長(zhǎng)時(shí)間訓(xùn)練的情況下，ETVSS的受試者已經(jīng)能夠通過(guò)電觸覺識(shí)別漢字的大體輪廓、結(jié)構(gòu)，并有較高的識(shí)別準(zhǔn)確率。如果加以時(shí)日，就如盲人的聽覺、觸覺比一般人靈敏一樣，電觸覺漢字的識(shí)別時(shí)間可以進(jìn)一步的縮短，而對(duì)于電觸覺顯示的漢字的細(xì)節(jié)的感受也能更加靈敏與清晰。不僅是漢字，利用相同的方法，使ETVSS給盲人提供實(shí)時(shí)的圖像信息也成為了可能。隨著科技的發(fā)展，我們堅(jiān)信，感覺替代理論將不再僅僅停留在理論的層面，通過(guò)大家的努力一定能夠改善盲人的生活質(zhì)量。

[1] P. Bach-y-Rita, C. C. Collins, F. A. Saunders, et al. Vision substitution by tactile image projection[J], Nature. 1969, 221(8): 963-964.

[2] C. CC. Tactile television-mechanical and electrical image projection[J]. IEEE Trans on Man-Machine Systems, 1970, 11:65-71.

[3] K. A. Kaczmarek, M. E. Tyler, and P. Bachyrita. Electrotactile Haptic Display on the Fingertips - Preliminary Results[A]. Engineering in Medicine and Biology Society, Engineering Advances: New Opportunities for Biomedical Engineers, Proceedings of the 16th Annual International Conference of the IEEE[C]. 1994, 2: 940-941.

[4] K. A. Kaczmarek, M. E. Tyler, and P. Bach-y-Rita. Pattern identification on a fingertip-scanned electrotactile display[A]. Engineering in Medicine and Biology Society,. Proceedings of the 19th Annual International Conference of the IEEE [C]. 1997,4:1694-1696 .

[5] P. Bach-y-Rita, K. A. Kaczmarek, M. E. Tyler, et al. Form perception with a 49-point electrotactile stimulus array on the tongue: A technical note[J]. Journal of Rehabilitation Research and Development, 1998, 35(10): 427-430.

[6] K. A. Kaczmarek. Electrotactile adaptation on the abdomen: Preliminary results[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 12(8): 499-505.

[7] K. A. Kaczmarek and S. J. Haase. Pattern identification as a function of stimulation current on a fingertip-scanned electrotactile display[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering 2003, 11(9):269-275.

[8] K. A. Kaczmarek and S. J. Haase. Pattern identification and perceived stimulus, quality as a function of stimulation waveform on a fingertip-scanned electrotactile display[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(3): 9-16.

[9] W. Liu and H. Tang. Preliminary study on electrotactile sensitivity of the lips[A]. Engineering in Medicine and Biology Society, 26th Annual International Conference of the IEEE[C]. 2004, 2: 4811-4814.

[10] M. C. Pereira and F. Kassab. An electrical stimulator for sensory substitution[A]. Engineering in Medicine and Biology Society, 28th Annual International Conference of the IEEE [C].2006,1: 6061-6020.

[11] Y. P. Danilov, M. E. Tyler, and K. A. Kaczmarek. Electrotactile vision: Achievements, problems and perspective[J]. International Journal of Psychophysiology, 2008, 69(9): 162-163.

[12] O. Cakrt, P. Kolar, R. Cerny, et al. Electrotactile stimulation of the tongue: a new option in the rehabilitation of postural stability - a case report[J]. Ceska a Slovenska Neurologie a Neurochirurgie, 2009, 72:364-367.

[13] 張竹茂, 劉捷, 趙瑛, 等. 基于手指的觸覺替代視覺系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J], 中國(guó)醫(yī)學(xué)物理學(xué)雜志, 2009, 26: 1293-1298.

[14] 柴新禹, 陸燕玉, 張竹茂, 等. 基于電刺激的觸覺-替代視覺系統(tǒng)[P]. 公開號(hào): 200810200430.2.

[15] H. Tang and D. Beebe. An oral tactile interface for two-way communication[A]. Microtechnologies in Medicine & Biology, 1st Annual International Conference on 2000[C], 2000, 1: 639-643.

Recognition of Chinese Character on Electrotactile Vision Substitution System

【W(wǎng)riters】Liu Jie, Zhang Zhumao, Ren Qiushi, Chai Xinyu
Inst. of Laser Medicine and Bio-Photonics, Shanghai Jiaotong University, Shanghai, 200240, China

Electrotactile, electrotactile vision substitution system, recognition of Chinese characters

】In this paper, we used the eletrotactile vision substitution system designed by ourselves to display Chinese characters on the 16x16 electrode array through some simple image processing algorithms and multiplexing technology. Based on this, simple Chinese character recognition experiment was conducted. The result of the experiment shows that the electrotactile vision substitution is a feasible solution for the blind to read simple Chinese characters and the result also solidi fi es the foundation of further study about more complex real-time image electrotactile display.

1671-7104(2010)05-0313-04

2010-05-21

國(guó)家高科技研究發(fā)展計(jì)劃（2009AA04Z326）；國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（2005CB724302/3）；國(guó)家科技支撐計(jì)劃（2007BAK27B04, 2008BAI65B03）；國(guó)家自然科學(xué)基金（60871091）；教育部111項(xiàng)目（B08020）

柴新禹（1963-），男，上海交通大學(xué)教授，博士生導(dǎo)師，從事

生物醫(yī)學(xué)工程研究 E-mail: xychai@sjtu.edu.cn

R318.6

A

10.3969/j.isnn.1671-7104.2010.05.001

【