【作 者】史靜茹，陸燕玉，顧柳君，柴新禹

上海交通大學(xué)生命科學(xué)技術(shù)學(xué)院生物醫(yī)學(xué)工程系，上海，200240

作為人類最為重要的感官，視覺為人類提供了超過80%的外界信息，因此失明通常被認(rèn)為是人類最嚴(yán)重的殘障。據(jù)世界衛(wèi)生組織2002年報(bào)告，全球視覺殘疾人1.4億，其中4500萬為盲人，我國約有550萬盲人。視網(wǎng)膜色素變性(Retinitis Pigmentosa, RP)、老年性黃斑病變（Age-Related Macular Degeneration,AMD）是主要的不可治愈的致盲疾病。傳統(tǒng)藥物治療僅能減緩病程，若采用視網(wǎng)膜色素上皮細(xì)胞移植等方法也存在免疫排斥等問題，所以至今為止還未能有徹底治愈的療法。隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，新興的電子科學(xué)和計(jì)算機(jī)技術(shù)得到廣泛應(yīng)用，生物醫(yī)學(xué)工程、仿生學(xué)等各個(gè)學(xué)科領(lǐng)域不斷進(jìn)展，人工視覺假體成為當(dāng)今國際上對RP和AMD患者進(jìn)行視覺修復(fù)的研究熱點(diǎn)。

視覺假體是利用大多數(shù)盲人僅視覺通路的某一部分發(fā)生病變，而其余部分神經(jīng)組織的結(jié)構(gòu)和功能尚且完好，通過對視覺通路完好部位的神經(jīng)組織施加特定的人工電刺激而誘發(fā)出“光幻視”，使盲人產(chǎn)生視覺感受。近年來，國際上多個(gè)團(tuán)隊(duì)深入地開展了視覺假體的研究工作[1-4]，已經(jīng)在臨床實(shí)驗(yàn)上通過電極刺激成功誘發(fā)光幻視，使失明患者獲得光感。但是，視覺假體的研究目前還處于臨床實(shí)驗(yàn)階段，參與實(shí)驗(yàn)的志愿者數(shù)量還很少，難以廣泛開展在體研究，而且，受到電極制造技術(shù)的限制，用于植入的電極數(shù)目非常有限，在研究中無法大范圍的調(diào)整實(shí)驗(yàn)參數(shù)。

在人工耳蝸（cochlear implant）聽覺感知的研究過程中，心理物理學(xué)實(shí)驗(yàn)方法曾發(fā)揮了重要的作用，人工耳蝸從單通道到多通道的研制成功，就是建立在心理物理學(xué)實(shí)驗(yàn)基礎(chǔ)上的。在視覺假體研究領(lǐng)域，基于仿真假體視覺的心理物理學(xué)研究，可為假體視覺的視覺建模和視覺表達(dá)提供一種有效的方法。已經(jīng)有很多研究小組基于這一方法，在假體視覺最小信息需求方面展開研究，例如閱讀[5-8]，，物體識別[9-10]，場景識別[10]，眼手協(xié)調(diào)[11-12]和導(dǎo)航[13-14]等。

在上述基于心理物理學(xué)的仿真假體視覺研究中，包括靜止圖像的識別（物體、場景識別等）和基于實(shí)時(shí)處理的動態(tài)圖像識別（眼手協(xié)調(diào)、導(dǎo)航等）。在假體視覺中，視覺圖像是由不連續(xù)的光幻視點(diǎn)組成的，即像素化視覺[15]。視覺假體的初期目標(biāo)并不是將攝像頭獲得的豐富圖像信息全部提供給假體植入者，而是通過數(shù)量有限的微電極將其中有用的最小信息提供給患者[16]。

許多問題還圍繞在如何最優(yōu)的使用有限的信息為盲人提供可理解的視覺感受，一個(gè)密切相關(guān)的問題就是在假體視覺下哪些因素會對圖像的識別率產(chǎn)生影響。許多研究小組基于仿真假體視覺開展了相關(guān)研究。本文將主要針對心理物理學(xué)方面的研究做一個(gè)綜述。

1 分辨率對圖像識別的影響

在現(xiàn)有的研究中，用于人體實(shí)驗(yàn)的電極數(shù)目非常有限，在視網(wǎng)膜上假體植入實(shí)驗(yàn)中先后用到的電極陣列為4 × 4，5 × 5和6×10[3,17-18]；視網(wǎng)膜下假體中電極數(shù)為1000個(gè)左右[19]；在視神經(jīng)假體的植入實(shí)驗(yàn)中使用一個(gè)電極數(shù)為4的cuff電極[2]；視皮層假體的電極數(shù)為81個(gè)[1]。這些有限數(shù)量的刺激點(diǎn)，只能形成由光幻視點(diǎn)構(gòu)成的非常低分辨率的假體視覺。由圖1可以看到，分辨率過低時(shí)，圖像很難識別，隨著分辨率增高，圖像的信息量增加，可以保留原圖的一些形狀輪廓特征。

圖1 基于仿真光幻視陣列的不同分辨率圖像Fig.1 Images of various resolution based on simulated phosphene array

國際上多個(gè)小組針對分辨率對圖像識別的影響進(jìn)行了仿真研究。

C h a等人[20]針對皮層視覺假體，使用從100(10×10)到1024(32×32)個(gè)點(diǎn)的不同尺寸的仿真光幻視陣列進(jìn)行了一些研究，他們發(fā)現(xiàn)由每個(gè)像素點(diǎn)占據(jù)1.7o視野的625個(gè)(25×25)像素點(diǎn)組成的仿真光幻視陣列可以達(dá)到20/30的視覺敏銳度。而且，這些像素點(diǎn)構(gòu)成的陣列，可提供30o的視野幫助假體植入者在熟悉環(huán)境中進(jìn)行移動。

Boyle等人[21]研究了識別或感知物體及某一場景（如椅子，階梯等圖像）所需的信息量和信息類型，研究表明高分辨率是提高識別率的重要因素。

Dagnelie等人[12]針對視網(wǎng)膜假體，研究了在4×4，6×10和16 × 16分辨率下的物體識別。他們將16個(gè)物體按照形狀分成4類，經(jīng)過攝像機(jī)獲取圖像實(shí)時(shí)處理為仿真光幻視陣列組成的低像素化圖像，由正常視力受試者進(jìn)行描述和識別。結(jié)論是：對于實(shí)心圓點(diǎn)組成的仿真光幻視陣列表示的圖像，能夠準(zhǔn)確識別物體的分辨率閾值為16×16。

Zhao等人[10]基于仿真假體視覺，研究了在不同分辨率下低像素化的常見物體和簡單場景的識別率，隨著像素?cái)?shù)的增加圖像的平均識別準(zhǔn)確率呈上升趨勢。在32×32分辨率下，不需要先驗(yàn)信息即可準(zhǔn)確識別大多數(shù)物體。分辨率從16×16增加到24×24時(shí)，平均識別準(zhǔn)確率增加了三倍。可以看出，常見物體的識別閾值應(yīng)該在這兩個(gè)分辨率之間。隨著圖像模式復(fù)雜度的增加，該閾值也隨之增加。對于簡單場景而言，其識別的分辨率閾值應(yīng)該在32×32和48×48之間。

假體視覺的諸多特征中，最容易被注意到的是光幻視的不連續(xù)性，與正常視覺中可感知的連續(xù)視覺圖像不同，植入假體的盲人所感知的圖像是由不連續(xù)的光幻視點(diǎn)構(gòu)成的，因此分辨率是影響圖像識別的重要因素。提高分辨率可以為盲人提供更多的圖像信息，幫助盲人識別圖像。以上的諸多研究表明，隨著分辨率的提高，圖像識別率也會隨之顯著增高。

2 灰度級對圖像識別的影響

灰度對于圖像是非常重要的參數(shù)。Veraart[2]和Humayun[3]等人的研究表明，植入假體可分辨出不同等級亮度的光幻視點(diǎn)，通常為4到8個(gè)亮度等級。同時(shí)，一些基于仿真假體視覺的研究[7]，[13]也表明，灰度是一個(gè)影響實(shí)驗(yàn)結(jié)果的參數(shù)。但是，由攝像頭采集的圖像通常具有256級或更高的灰度，遠(yuǎn)遠(yuǎn)超過目前假體視覺中所能表達(dá)的灰度級，這就需要通過圖像處理策略來降低圖像的灰度級。以256級灰度的圖像為例，將其降到2級灰度和8級灰度的效果圖如圖2所示?？梢钥闯?級灰度圖像無法體現(xiàn)圖像的細(xì)節(jié)信息，因此較難識別。

圖2 基于仿真光幻視陣列的不同灰度級的低像素化圖像Fig.2 Images of various gray level based on simulated phosphene array

Boyle等人[21]的研究結(jié)果表明，在不同分辨率(10×10，16×16，25×25)下，三級灰度的圖像均比黑白兩級灰度的圖像具有更高的識別率。

Thompson等人[22]采用像素化視覺，研究了灰度對面部識別的影響。他們比較了2、4、6和8四級灰度的面部識別率，如果假體裝置可以產(chǎn)生由4個(gè)灰度級以上的光幻視點(diǎn)組成的圖像，可大大提高識別率。

有研究表明，通過調(diào)節(jié)電極陣列的刺激參數(shù)可以調(diào)整光幻視的亮度，從而實(shí)現(xiàn)圖像的多級灰度[23-24]。多級灰度可以為圖像提供更加豐富的信息，有效提高圖像識別率，因此在視覺假體的圖像處理過程中，可以保留圖像的部分灰度信息，幫助盲人識別低像素化的圖像。

3 邊緣提取對圖像識別的影響

邊緣是圖像最基本的特征。所謂邊緣是指圖像周圍像素灰度有階躍變化或屋頂狀變化的像素的集合，一般存在于目標(biāo)與背景、目標(biāo)與目標(biāo)、區(qū)域與區(qū)域、基元與基元之間。基于邊緣對于圖像的重要性，研究人員希望可以將邊緣檢測算法應(yīng)用于視覺假體的圖像處理過程中，利用有限的電極數(shù)目，為植入假體的盲人提供更為重要的圖像信息。圖3是低像素化圖像及其邊緣圖的示意圖（Sobel算法）。

圖3 基于仿真光幻視陣列的低像素化圖像及經(jīng)邊緣提取后的圖像Fig 3 Low resolution image and edge extraction image based on simulated phosphene array

目前，在視覺假體圖像處理中，用到的邊緣提取算法主要有Sobel 和Canny 算子[25]。Sobel 算子強(qiáng)調(diào)空間頻率高的區(qū)域?qū)?yīng)于邊緣，用來進(jìn)行圖像二維空間的梯度測量。Canny 算子是John F. Canny 于1986年開發(fā)出來的一個(gè)多級邊緣檢測算法[26]，該算子能夠盡可能多的標(biāo)識出圖像中的實(shí)際邊緣。從計(jì)算復(fù)雜度的角度而言，Canny 算子較Sobel 算子更為復(fù)雜。然而，在Dowling 等人[27]的研究中發(fā)現(xiàn)，兩種算法在基于仿真假體視覺的圖像處理算法研究中并沒有顯著性的差異。

Zhao等人[10]討論了日常生活中影響物體和場景圖像識別的主要因素。他們采用二值化閾值和邊緣提取兩種圖像處理方法和兩種常用像素點(diǎn)形狀（方形和圓形），在6種分辨率（8 × 8，16 × 16，24 × 24，32 × 32，48 × 48和64 × 64）下研究圖像識別的情況，表明在較低分辨率時(shí)，不同圖像處理策略顯著影響著識別的結(jié)果。邊緣提取方法可以將物體的輪廓提取出來，但其只是圖像的局部信息[28]，而采用二值化閾值和膨脹算法，可以保留圖像中物體的主要部分。由于局部信息會在接近識別閾值分辨率時(shí)扭曲得較為嚴(yán)重，而膨脹算法在低分辨率情況下可以保留物體的形狀和特征，從而更適合應(yīng)用于視覺假體。

與此不同的是，Boyle等人[21]研究了識別或感知物體及某一場景（如椅子或階梯等圖像）所需的信息量和信息類型，他們得出邊緣提取對圖像的識別率并沒有幫助。

以上研究結(jié)果的差異可能源于采用的算法不同，以及用于識別的物體和場景不同，因此對于邊緣提取這一基本的圖像處理策略在視覺假體領(lǐng)域的應(yīng)用還應(yīng)進(jìn)行進(jìn)一步的深入研究。假如經(jīng)過邊緣提取的圖像其識別率并沒有顯著的下降，那么在未來假體裝置中為盲人提供經(jīng)過邊緣檢測的圖像將大大減少需要施加刺激的電極數(shù)目，從而節(jié)省電能消耗及很多未知的由電刺激帶來的組織損傷。

4 特征整合模型對圖像識別的影響

視覺注意(Visual Attention)是人類視覺的一項(xiàng)重要的心理調(diào)節(jié)機(jī)制[29-32]。視感覺過程所提供的信息量，遠(yuǎn)大于視知覺過程所能處理的信息量，將這兩個(gè)嚴(yán)重失調(diào)的過程聯(lián)系起來的橋梁就是視覺注意機(jī)制。人類視覺系統(tǒng)會根據(jù)圖像本身的特性，以及有關(guān)場景、目標(biāo)和其關(guān)系的知識，選擇和過濾視覺信息[33]。但是，攝像機(jī)與人眼的視覺功能不同，只能將外部信息客觀的反映出來，盲人無法利用視覺注意機(jī)制選擇有用的信息。研究人員希望可以在圖像處理中依照視覺注意機(jī)制確定感興趣區(qū)域，再對圖像進(jìn)行進(jìn)一步的信息提取和離散化顯示，從而充分利用有限數(shù)目的光幻視點(diǎn)呈現(xiàn)圖像中的重要信息，提高圖像的識別率。

Li等人[34]提出了一個(gè)應(yīng)用于假體視覺的圖像處理模型，依照現(xiàn)有的視覺處理機(jī)制和選擇注意機(jī)制原理，對場景進(jìn)行分析，找到圖像的“突出區(qū)域”(prominent area)進(jìn)行處理，通過仿真實(shí)驗(yàn)評估這一模型的有效性。仿真實(shí)驗(yàn)的評估結(jié)果表明，特征提取模型可以有效地突出顯示人體視覺的感興趣特征，經(jīng)過模型處理的圖像識別率要高于未經(jīng)此法處理的圖像識別率。

圖4 數(shù)碼變焦示意圖[35]Fig 4 Image preparation for digital zoom[35]

Boyle等人[35]也基于視覺注意機(jī)制的原理，研究了應(yīng)用于假體視覺的圖像處理算法。他們將多種提取圖像感興趣區(qū)域（region-of-interest）的算法應(yīng)用于低像素化圖像中，利用正常視力受試者進(jìn)行實(shí)驗(yàn)，經(jīng)比較得出，利用數(shù)字變焦（如圖4）提取感興趣區(qū)域進(jìn)行局部顯示的方法要比顯示整幅圖并凸出感興趣區(qū)域的方法更好。他們使用了兩種數(shù)字變焦的感興趣區(qū)域的提取算法：一是Trim method，通過設(shè)定閾值，對IM圖像（importance map，結(jié)合圖像的多種特征，計(jì)算圖像不同區(qū)域的重要性值，形成特征整合圖）選取高于閾值的區(qū)域作為感興趣區(qū)域；二是scope box method，通過一個(gè)包含IM最高灰度級的128×128的窗口對256×256得到IM圖像進(jìn)行逐像素掃描，得到的感興趣區(qū)域?yàn)樵瓐D的1/4。比較得出，前一種算法優(yōu)于后一種算法。此實(shí)驗(yàn)還表明，調(diào)整特征值權(quán)重及直方圖均衡化，對低像素化圖像的顯示沒有幫助。

視覺假體利用非常少的信息量為盲人提供部分有效視覺，因此通過視覺注意機(jī)制來去除圖像中的冗余信息，保留對盲人有用的圖像信息，在視覺假體研究中具有重大意義。引入視覺注意機(jī)制，對圖像進(jìn)行特征提取和整合后再進(jìn)行顯示，可以克服由于像素?cái)?shù)目不足而引起的對圖像識別的影響，使視覺假體裝置利用非常有限的電極數(shù)為盲人提供最有幫助的視覺圖像。

5 總結(jié)

視覺假體為失明患者帶來了重獲視覺的希望，但現(xiàn)有技術(shù)的局限性，導(dǎo)致我們無法在視覺感受野內(nèi)隨意誘發(fā)光幻視，有限數(shù)量的刺激點(diǎn)只能形成由光幻視點(diǎn)組成的非常低分辨率的視覺。許多研究都圍繞在如何使用這種低分辨率的視覺，來為假體植入者提供最有效的像素化圖像信息方面。研究人員希望通過應(yīng)用最適合假體視覺的圖像處理策略，最大程度優(yōu)化識別率，為盲人重建視覺。

在視覺假體研究領(lǐng)域，基于仿真假體視覺的心理物理學(xué)研究發(fā)揮了重要作用，已經(jīng)得到了廣泛的認(rèn)可，并確實(shí)解決了很多問題。本文針對圖像識別的影響因素展開討論，對此方面的心理物理學(xué)研究做了綜述。這些研究對視覺假體在低象素化圖像識別方面具有重要的意義，可以為應(yīng)用于視覺假體的圖像處理策略提供參考，為將來視覺假體的信息處理與編碼作個(gè)基礎(chǔ)和提供理論依據(jù)。

[1] Brindley G S. Lewin. W S. The sensations produced by electrical stimulation of the visual cortex[J]. J Physiol, May, 1968, 196 (2):479-493.

[2] Veraart C, Raftopoulos C, Mortimer J T, et al. Visual sensations produced by optic nerve stimulation using an implanted self-sizing spiral cuff electrode[J]. Brain Res, 1998, 813 (1): 181-186.

[3] Humayun M S, Weiland J D, Fujii G Y, etc. Visual perception in a blind subject with a chronic microelectronic retinal prosthesis[J].Vision Res, 2003, 43 (24): 2573-2581.

[4] Dagnelie, G. Psychophysical evaluation for visual prosthesis[J].Annu Rev Biomed Eng, 2008, 10： 339-368.

[5] Sommerhalder J, Rappaz B, de Haller R, et al. Simulation of artificial vision: II. Eccentric reading of full-page text and the learning of this task[J]. Vision Res, 2004, 44 (14): 1693-1706.

[6] Fornos A P,Sommerhalder J, Rappaz B, et al. Simulation of artificial vision, III: do the spatial or temporal characteristics of stimulus pixelization really matter?[J]. Invest Ophthalmol Vis Sci,2005, 46 (10): 3906-3912.

[7] Dagnelie G, Barnett D, Humayun, M S, et al. Paragraph text reading using a pixelized prosthetic vision simulator: parameter dependence and task learning in free-viewing conditions[J]. Invest Ophthalmol Vis Sci, 2006, 47 (3): 1241-1250.

[8] Zhao Y, Lu Y, Zhou C, et al. Chinese character recognition using simulated phosphene maps[J]. Invest Ophthalmol Vis Sci, 2010, In press.？

[9] Boyle J R, Maeder A J, Boles W W. Challenges in digital imaging for artificial human vision[J]. Human Vision and Electronic Imaging Vi, 2001, 4299：533-543.

[10] Zhao, Y. Image processing based recognition of images with a limited number of pixels using simulated prosthetic vision[J].Information Sciences, 2010, 180 (16): 2915-2924

[11] Srivastava N R,Troyk P R, Dagnelie G. Detection, eye-hand coordination and virtual mobility performance in simulated vision for a cortical visual prosthesis device[J]. J Neural Eng, 2009, 6 (3):035008.

[12] Hayes J S, Yin V T, Piyathaisere D, et al. Visually guided performance of simple tasks using simulated prosthetic vision[J].Artif Organs, 2003, 27 (11): 1016-1028.

[13] Dagnelie G, Keane P, Narla V, et al. Real and virtual mobility performance in simulated prosthetic vision[J]. J Neural Eng, 2007,4 (1): S92-101.

[14] Cha K, Horch K W, Normann R A. Mobility performance with a pixelized vision system[J]. Vision Res, Jul, 1992, 32 (7): 1367-1372.

[15] Chen S C, Suaning G J, Morley J. W, et al. Rehabilitation regimes based upon psychophysical studies of prosthetic vision[J]. J Neural Eng, 2009, 6 (3): 035009.

[16] Maynard E M. Visual prostheses[J]. Annu Rev Biomed Eng, 2001,3：145-168.

[17].Humayun M S, de Juan E, Jr, Weiland J D, et al. Pattern electrical stimulation of the human retina[J]. Vision Res, Jul, 1999, 39 (15):2569-2576.

[18] Chader G J, Weiland J, Humayun M S. Artificial vision: needs,functioning, and testing of a retinal electronic prosthesis[J]. Prog Brain Res, 2009, 175：317-332.

[19] Zrenner, A. Restoring neuroretinal function by subretinal microphotodiode arrays[J]. ARVO, 2007. Presentation at ARVO,Fort Lauderdale, USA 2007.

[20] Cha K, Horch K, Normann R A. Simulation of a phosphene-based visual field: visual acuity in a pixelized vision system[J]. Ann Biomed Eng, 1992, 20 (4): 439-49.

[21] Boyle J R, Maeder A J, Boles W W. Challenges in Digital Imaging for Arti fi cial Human Vision[A]. In Proceedings of SPIE[C], 2001.

[22] Thompson R W, Jr, Barnett G D, Humayun M S, et al. Facial recognition using simulated prosthetic pixelized vision[J]. Invest Ophthalmol Vis Sci, 2003, 44 (11): 5035-5042.

[23] Henderson D C, Evans J R, Dobelle W H. The relationship between stimulus parameters and phosphene threshold/brightness, during stimulation of human visual cortex[J]. Trans Am Soc Artif Intern Organs, 1979, 25(1): 367-371.

[24] Schmidt E M, Bak M J, Hambrecht F T, et al. Feasibility of a visual prosthesis for the blind based on intracortical microstimulation of the visual cortex[J]. Brain, 1996, 119 ( Pt 2)：507-522.

[25] Snaith M, Lee D, Probert P. A low-cost system using sparse vision for navigation in the urban environment[J]. Image Vision Comput,1998, 16 (4): 225-233.

[26] Canny J F. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

[27] Dowling J, Maeder A, Boles W. Mobility enhancement and assessment for a visual prosthesis[A]. In Proceedings of SPIE:Medical Imaging[C], San Jose CA, USA, 2004; 780-791.

[28] Privitera C M, Stark L W. Algorithms for de fi ning visual region of interest: comparison with eye fixations[J]. IEEE T Pattern Anal,2000, 22 (9): 970-981.

[29] Yantis S. To see is to attend[J]. Science, 2003, 299 (5603): 54-56.

[30] Kanwisher N, Wojciulik E. Visual attention: insights from brain imaging[J]. Nat Rev Neurosci, 2000, 1 (2): 91-100.

[31] Wolfe J, Horowitz T S. What attributes guide the deployment of visual attention and how do they do it?[J]. Nat Neurosci, 2004, 51-57.

[32] Itti L, Koch C. Computational modeling of visual attention[J]. Nat Neurosci, 2001, 2 194-2203.

[33] Walther D, Rutishauser U, Koch, C, et al. On the usefulness of attention for object recognition[M]. Czech, 2004.

[34] Li R N, Zhang X D, Hu G S. A computational pixelization model based on selective attention for artiricial visual prosthesis[J].Advances in Natural Computation, Pt 3, Proceedings, 2005, 3612：654-662.

[35] Boyle J R, Maeder A J, Boles W W. Region-of-interest processing for electronic visual prostheses[J]. Journal of Electronic Imaging,2008, 17 (1): Journal of Electronic Imaging 17(1), 013002 (Jan–Mar 2008)