趙瑛　翟璐　耿秀琳　谷宇

摘 要： 為了研究視覺(jué)假體佩戴者完成拼圖任務(wù)時(shí)所需時(shí)間與原始圖像復(fù)雜度、被試性別、光幻視的分辨率以及是否能夠識(shí)別實(shí)驗(yàn)圖片之間的關(guān)系，借助計(jì)算機(jī)編程技術(shù)，將仿真假體視覺(jué)下的拼圖任務(wù)呈現(xiàn)給視力正常的被試者，并在實(shí)驗(yàn)過(guò)程中調(diào)整實(shí)驗(yàn)圖片的復(fù)雜度（分為簡(jiǎn)單，中等，復(fù)雜三組）和不同的仿真光幻視的分辨率（16×16，24×24，32×32，48×48，64×64，128×128六個(gè)分辨率）等參數(shù)。實(shí)驗(yàn)結(jié)果表明，中等難度組的實(shí)驗(yàn)用時(shí)最多，從簡(jiǎn)單組到中等難度組識(shí)別時(shí)間有增長(zhǎng)的趨勢(shì)，從中等難度組到復(fù)雜組，識(shí)別時(shí)間有減少的趨勢(shì)。男性的平均識(shí)別情況好于女性，且隨著分辨率的增加，用時(shí)整體呈現(xiàn)減少的趨勢(shì)。

關(guān)鍵詞： 圖像處理； 視覺(jué)假體； 拼圖任務(wù)； 圖像復(fù)雜度

中圖分類號(hào)： TN911?34； R318.6； R318.18 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）20?0104?04

Abstract： In order to study the relationships among the needing time when the visual prosthesis wearer conducts jigsaw task， original image complexity， gender of the tested staff and resolution of pseudopsy， and whether experiment images can be recognized， the jigsaw task in visual prosthesis simulation is presented to the testee with normal eyesight by means of computer programming technique. The parameters are adjusted in the experiment process， including the low， medium and high complexities of the experiment images and resolutions （16×16， 24×24， 32×32， 48×48， 64×64， 128×128） of the simulated pseudopsy. The experimental results show that the experiment with medium complexity consumes the longest time； the recognition time from the low complexity to medium complexity presents the trend of increase； the recognition time from the medium complexity to high complexity presents the trend of decrease； the average recognition effect for male is better than that for female； the whole time consumption appears the trend of decrease while the resolution is increasing.

Keywords： image processing； visual prosthesis； jigsaw task； image complexity

人們接受的外部信息超過(guò)70%是來(lái)源于視覺(jué)[1]，視覺(jué)早已成為了人們認(rèn)識(shí)和理解客觀世界的前提和基礎(chǔ)，并且能夠幫助人們進(jìn)行日常的生活。然而，對(duì)于老化、疾病、意外事故等原因造成的視力下降目前仍缺乏有效的治療措施。科學(xué)家們?cè)谌斯ざ伒难兄坪蛻?yīng)用中找到了靈感，開(kāi)發(fā)出一種植入式電子裝置來(lái)幫助盲人恢復(fù)視力，這就是視覺(jué)假體[1?8]。在本文中，借助計(jì)算機(jī)編程技術(shù)，模擬了假體視覺(jué)下的視覺(jué)效果，邀請(qǐng)被試完成一系列的拼圖實(shí)驗(yàn)。并在實(shí)驗(yàn)中調(diào)整一些參數(shù)，研究這些參數(shù)對(duì)任務(wù)完成時(shí)間的影響。

1 實(shí)驗(yàn)準(zhǔn)備工作

1.1 實(shí)驗(yàn)平臺(tái)

一臺(tái)Dell臺(tái)式電腦（型號(hào)：OptiPlex7010，Intel[?] Core（TM） i5?3470 CPU@3.20 GHz）；一個(gè)雙頭轉(zhuǎn)接口（DVI?VGA）；一臺(tái)頭戴式顯示器（800×600解析度，48萬(wàn)像素，18位元色階顯示，單色顯示頻率120 Hz，可提供最大40°對(duì)角的真實(shí)視野），錄音軟件（GoldWave），鼠標(biāo)，鍵盤，耳機(jī)。實(shí)驗(yàn)平臺(tái)示意圖見(jiàn)圖1。

1.2 實(shí)驗(yàn)場(chǎng)所

準(zhǔn)備一間安靜且明亮度較為舒適的房間作為實(shí)驗(yàn)場(chǎng)所。

1.3 篩選被試

本次實(shí)驗(yàn)被試均篩選自視覺(jué)正常的在校大學(xué)生，共4名（男女各2名），其接觸過(guò)拼圖游戲但并不熟悉拼圖規(guī)律，且之前未接觸過(guò)仿真假體視覺(jué)類的行為學(xué)實(shí)驗(yàn)。

1.4 復(fù)雜度分類

關(guān)于圖像的復(fù)雜度分類[9]，國(guó)內(nèi)外學(xué)者對(duì)其早有研究，這些研究也因研究的目的不同而有所側(cè)重。針對(duì)圖像數(shù)據(jù)本身的特點(diǎn)及拼圖任務(wù)實(shí)驗(yàn)的特點(diǎn)，并綜合考慮灰度級(jí)出現(xiàn)情況（由信息熵表示）、像素分布（由邊緣比例表示）及灰度空間復(fù)雜性（由能量、慣性矩和相關(guān)性表示）三個(gè)因素對(duì)本文實(shí)驗(yàn)圖片進(jìn)行了復(fù)雜度分類[10]。

（1） 灰度級(jí)出現(xiàn)情況。其中灰度級(jí)反映的是圖像灰度級(jí)的個(gè)數(shù)以及每個(gè)灰度級(jí)像素的出現(xiàn)情況，具體對(duì)應(yīng)于廣義集合內(nèi)部狀態(tài)的復(fù)雜度，可由信息熵這個(gè)量來(lái)描述[11]。信息熵H的計(jì)算公式為：

式中，C為廣義集合內(nèi)部狀態(tài)復(fù)雜度。從廣義集合引出的N個(gè)個(gè)體的復(fù)雜度和從信息論中引入的一次抽樣時(shí)得到的信息熵是成正比例關(guān)系的兩個(gè)物理量，其比例系數(shù)是個(gè)體總數(shù)N。對(duì)應(yīng)圖像的信息熵，N為灰度級(jí)的個(gè)數(shù)，ni為每個(gè)灰度級(jí)出現(xiàn)的個(gè)數(shù)。實(shí)驗(yàn)素材如圖2所示。

（2） 像素分布。目標(biāo)對(duì)象的出現(xiàn)情況主要反映圖像中目標(biāo)個(gè)數(shù)的多少，其可以直接反映圖像的復(fù)雜程度。如果目標(biāo)個(gè)數(shù)較多，則該圖像一般比較復(fù)雜，反之亦然。圖像中對(duì)象的出現(xiàn)情況，可以用邊緣比率來(lái)描述，因?yàn)檫吘壥悄繕?biāo)的顯著特征[13]。邊緣比率R的計(jì)算為：

[R=PedgeM×N]

式中：M和N分別為圖像的行數(shù)和列數(shù)；Pedge為圖像中邊緣像素的個(gè)數(shù)。圖像中目標(biāo)的邊緣表現(xiàn)為圖像灰度顯著變化的地方，可以由差分算法來(lái)求得，一般通過(guò)邊緣檢測(cè)算子即可求出圖像中邊緣像素的個(gè)數(shù)。圖像中對(duì)應(yīng)目標(biāo)邊緣的多少可以直接用來(lái)反映圖像中目標(biāo)物的多少及其復(fù)雜程度，因此可以用來(lái)描述圖像的復(fù)雜程度。但是此方法易受噪聲和邊緣檢測(cè)算法提取邊緣準(zhǔn)確程度的影響。

在求取邊緣像素個(gè)數(shù)之前，需要進(jìn)行邊緣提取，本文選取的是經(jīng)典的索貝爾算子（Sobel operator）進(jìn)行邊緣提取，如圖3所示。在技術(shù)上，它是一離散性差分算子，用來(lái)運(yùn)算圖像灰度的近似值。在圖像的任何一點(diǎn)使用此算子，將會(huì)產(chǎn)生對(duì)應(yīng)的灰度矢量或是其法矢量。該算子包含兩組3×3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，然后選取合適的閾值以提取邊緣，采用3×3鄰域可以避免在像素之間內(nèi)插點(diǎn)上計(jì)算梯度。Sobel算子也是一種梯度幅值，即：

公式中的偏導(dǎo)數(shù)Sx和Sy可以用卷積模板來(lái)實(shí)現(xiàn)。Sobel算子根據(jù)像素點(diǎn)上下、左右鄰點(diǎn)灰度加權(quán)差，在邊緣處達(dá)到極值這一現(xiàn)象檢測(cè)邊緣。對(duì)噪聲具有平滑作用，提供較為精確的邊緣方向信息，邊緣定位精度不夠高。當(dāng)對(duì)精度要求不是很高時(shí)，是一種較為常用的邊緣檢測(cè)方法。

（3） 灰度空間復(fù)雜性?；叶鹊目臻g分布是圖像特有的，對(duì)于二維圖像而言，涉及到空間位置關(guān)系是不可避免的。由于灰度分布規(guī)律可以反映圖像中各灰度級(jí)像素的空間分布情況，因此可以用于描述圖像中灰度斑塊的大小和多少及其空間分布狀態(tài)。從另外一個(gè)角度來(lái)說(shuō)，灰度的空間分布狀況也能用來(lái)描述圖像的相關(guān)性和對(duì)稱性等，具體可以反映灰度分布是集中還是分散，灰度一致性怎樣，是否存在重復(fù)性，對(duì)稱性如何等。

對(duì)于灰度空間復(fù)雜性的描述，選取慣性矩和紋理特征這兩個(gè)量來(lái)表述，其中紋理特征又可以用能量和相關(guān)性這兩個(gè)物理量來(lái)表示。圖像的紋理計(jì)算方法有很多種，其中基于灰度共生矩陣提取紋理特征的方法是一個(gè)經(jīng)典的統(tǒng)計(jì)分析方法，也是目前公認(rèn)的一種圖像紋理分析方法[12]。本文中圖像的特征主要由灰度共生矩陣來(lái)進(jìn)行統(tǒng)計(jì)分析，用以描述圖像的整體復(fù)雜度和灰度的空間分布情況。能量是一種表示灰度分布一致性的統(tǒng)計(jì)量，是圖像灰度分布均勻性的度量。當(dāng)灰度共生矩陣中圖像的灰度分布比較均勻時(shí)，此時(shí)元素p（i，j）分布較集中于主對(duì)角線附近。從圖像整體看紋理較細(xì)，J值相應(yīng)較大；反之，J值較小。能量的公式為：

在這5個(gè)量中，前2個(gè)影響因素（信息熵和邊緣比率）對(duì)于圖像復(fù)雜度而言為正相關(guān)因素，而后3個(gè)影響因素（能量、相關(guān)性和慣性矩）對(duì)于圖像復(fù)雜度而言為負(fù)相關(guān)影響因素。所以當(dāng)算出一個(gè)圖片的信息熵及邊緣比率后以加權(quán)值為1相加，當(dāng)計(jì)算出圖像的能量、相關(guān)性和慣性矩時(shí)，則以-1為加權(quán)值。將5個(gè)量求加權(quán)和，就得到了圖像復(fù)雜度值，將復(fù)雜度為0～3的圖像分到簡(jiǎn)單組，復(fù)雜度值在3～6的分到中等組，復(fù)雜度值在6以上的分到復(fù)雜組。圖像復(fù)雜度分類數(shù)據(jù)表見(jiàn)表1。

1.5 圖像處理

圖像處理的過(guò)程主要是對(duì)分類后的圖像進(jìn)行低像素化處理。將分組后的圖片，每組分別匹配16×16，24×24，32×32，48×48，64×64，128×128的方形光幻視模版。模版編寫時(shí)，保證點(diǎn)的大小不改變，僅改變點(diǎn)間距，即僅使模版的點(diǎn)密度發(fā)生變化。圖4為簡(jiǎn)單組的圖案匹配完模版后的示意圖，匹配完模版后的3組圖像就是最后的實(shí)驗(yàn)用圖。

2 實(shí)驗(yàn)過(guò)程

2.1 預(yù)實(shí)驗(yàn)部分

請(qǐng)2名被試（1男1女），在實(shí)驗(yàn)環(huán)境下，先統(tǒng)計(jì)被試對(duì)實(shí)驗(yàn)圖片的識(shí)別程度。實(shí)驗(yàn)前讓被試練習(xí)兩次拼圖（與實(shí)際實(shí)驗(yàn)環(huán)境完全相同，所用圖片為光幻視效果，但與實(shí)驗(yàn)用圖不同）。然后，分別在簡(jiǎn)單組、中等組、復(fù)雜組進(jìn)行實(shí)驗(yàn)，并注意每次的時(shí)間間隔，防止學(xué)習(xí)效應(yīng)產(chǎn)生，統(tǒng)計(jì)被試完成任務(wù)的時(shí)間。根據(jù)預(yù)實(shí)驗(yàn)來(lái)調(diào)整實(shí)驗(yàn)計(jì)劃，準(zhǔn)備開(kāi)始正式實(shí)驗(yàn)。

2.2 正式實(shí)驗(yàn)

4名被試（2男2女）每人在實(shí)驗(yàn)平臺(tái)下，在3個(gè)實(shí)驗(yàn)圖片組（簡(jiǎn)單組、中等組、復(fù)雜組）內(nèi)分別完成各分辨率下的拼圖實(shí)驗(yàn)。由實(shí)驗(yàn)員利用計(jì)時(shí)軟件記錄完成任務(wù)的時(shí)間，每一組實(shí)驗(yàn)都是從低分辨率開(kāi)始，嚴(yán)格按照分辨率從低到高進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)過(guò)程全程由錄音軟件記錄，當(dāng)被試準(zhǔn)備好后，語(yǔ)音示意實(shí)驗(yàn)員實(shí)驗(yàn)開(kāi)始，實(shí)驗(yàn)過(guò)程中被試通過(guò)鍵盤上下左右四個(gè)鍵進(jìn)行操作。實(shí)驗(yàn)界面里有一個(gè)3×3塊的拼圖模塊，如圖5所示，左邊為原圖，右邊為模塊，操作模塊中有8塊圖案正常顯示，1塊為空白，用于移動(dòng)其他圖案塊。實(shí)驗(yàn)開(kāi)始時(shí)由實(shí)驗(yàn)員點(diǎn)擊界面上方相應(yīng)按鈕選擇實(shí)驗(yàn)圖片，開(kāi)始實(shí)驗(yàn)。當(dāng)被試認(rèn)為完成任務(wù)時(shí)，自行點(diǎn)擊界面上的對(duì)應(yīng)判別按鈕，若拼圖正確，空白的一塊將自動(dòng)填充，復(fù)原完整的實(shí)驗(yàn)圖，否則提示錯(cuò)誤，繼續(xù)計(jì)時(shí)。當(dāng)程序確認(rèn)任務(wù)完成時(shí)，實(shí)驗(yàn)員提示實(shí)驗(yàn)結(jié)束。

在實(shí)驗(yàn)開(kāi)始之前，所有被試先以預(yù)實(shí)驗(yàn)圖片進(jìn)行拼圖練習(xí)，當(dāng)實(shí)驗(yàn)過(guò)程熟練后，再開(kāi)始正式的實(shí)驗(yàn)。在實(shí)驗(yàn)過(guò)程中，為了避免學(xué)習(xí)效應(yīng)，同一個(gè)被試每次的實(shí)驗(yàn)圖片均不相同。且除第一次實(shí)驗(yàn)前，其他時(shí)間不再預(yù)留時(shí)間給被試進(jìn)行實(shí)驗(yàn)環(huán)境的熟悉。

3 實(shí)驗(yàn)結(jié)果及討論

本文所述實(shí)驗(yàn)主要通過(guò)統(tǒng)計(jì)完成任務(wù)的時(shí)間來(lái)探究在仿真假體視覺(jué)下，完成拼圖這一行為學(xué)任務(wù)和圖像復(fù)雜度、受試者性別、實(shí)驗(yàn)圖像的識(shí)別程度以及模板分辨率之間的關(guān)系。在實(shí)驗(yàn)結(jié)束后，將實(shí)驗(yàn)平臺(tái)中的頭戴式顯示器換成筆記本電腦，利用眼動(dòng)儀監(jiān)測(cè)了實(shí)驗(yàn)中被試的眼動(dòng)軌跡。

從圖6中可看出每個(gè)被試都是在中等復(fù)雜度的圖像組中，完成任務(wù)所需的時(shí)間最長(zhǎng)，從簡(jiǎn)單組到中等組，完成任務(wù)的時(shí)間有增加的趨勢(shì)，而從中等難度組到復(fù)雜組，完成任務(wù)的時(shí)間整體有所降低。圖中的數(shù)據(jù)均為多次實(shí)驗(yàn)取平均值得出，以1號(hào)被試為例，一號(hào)被試在簡(jiǎn)單組的完成任務(wù)時(shí)間，由該被試在簡(jiǎn)單組的所有分辨率下的實(shí)驗(yàn)完成時(shí)間取平均值得到，其余數(shù)據(jù)同理。

圖7描述了隨著分辨率的變化，完成任務(wù)的時(shí)間的情況。圖中的數(shù)據(jù)由4個(gè)被試取平均值得到，從圖中可以看出隨著分辨率的增加，完成任務(wù)所需的時(shí)間先是減少，在達(dá)到48×48后，有所增加。但是總體的趨勢(shì)是，隨著分辨率的提高，完成任務(wù)所需的時(shí)間是在減少的。

實(shí)驗(yàn)數(shù)據(jù)表明，男性被試完成一個(gè)實(shí)驗(yàn)的平均時(shí)間為115 s，女性被試平均需要154 s，經(jīng)顯著性檢驗(yàn)具備顯著性差異（P<0.05），說(shuō)明女性被試完成任務(wù)所需要的平均時(shí)間比男性被試明顯多。在實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)被試者能夠識(shí)別實(shí)驗(yàn)圖像時(shí)，平均的識(shí)別時(shí)間為203 s。當(dāng)由于分辨率過(guò)低等原因不能識(shí)別實(shí)驗(yàn)圖像時(shí)，完成任務(wù)的平均時(shí)間為300 s。證明能夠正確識(shí)別實(shí)驗(yàn)圖像對(duì)于完成拼圖任務(wù)，是有幫助的。在后期的眼動(dòng)儀實(shí)驗(yàn)中，發(fā)現(xiàn)被試在實(shí)驗(yàn)的后半程，眨眼次數(shù)較前半程而言較多，這可能是由于疲勞和被試的心理情緒造成的。而出現(xiàn)掃視的情況基本分為兩種類型，一種是在拼圖界面的左右兩個(gè)部分之間掃視，第二種是在右邊的未復(fù)原的9個(gè)模塊之間掃視，定點(diǎn)注視多發(fā)生在拼圖界面右邊未完成的區(qū)域的中心塊，及右下角的空白塊處。

4 結(jié) 語(yǔ)

本文在圖像的復(fù)雜度分析中主要依據(jù)影響比較大的兩個(gè)因素，信息熵及邊緣比率。但是由于在計(jì)算過(guò)程中各個(gè)步驟積累起來(lái)的不可避免的誤差，加入了能量、慣性矩、相關(guān)性這三個(gè)影響較小的因素來(lái)減小誤差，在眼動(dòng)儀的使用上也還有很大的改進(jìn)空間，這將在后續(xù)的工作中，做進(jìn)一步的探究。

參考文獻(xiàn)

[1] 任秋實(shí).視覺(jué)假體的研究進(jìn)展與面臨的挑戰(zhàn)[J].生命科學(xué)，2009，21（2）：234?240.

[2] NORMANN R A， MAYNARD E M， ROUSCHE P J， et al. A neural interface for a cortical vision prosthesis [J]. Vision research， 1999， 39（15）： 2577?2587.

[3] DOBELLE W H. Artificial vision for the blind by connecting a television camera to the visual cortex [J]. ASAIO journal， 2000， 46（1）： 3?9.

[4] RIZZO J， WYATT J L， LOEWENSTEIN J， et al. Perceptual efficacy of electrical stimulation of human retina with a microelectrode array during short?term surgical trials [J]. Investigative ophthalmology & visual science， 2003， 44（12）： 5362?5369.

[5] HUMAYUN M S， WEILAND J D， FUJII G Y， et al. Visual perception in a blind subject with a chronic microelectronic retinal prosthesis [J]. Vision research， 2003， 43（24）： 2573?2581.

[6] BOYLE J R， MAEDER A J， BOLES W W. Region?of?interest processing for electronic visual prostheses [J]. Journal of electronic imaging， 2008， 17（1）： 1?12.

[7] THOMPSON R， BARNETT G， HUMAYUN M， et al. Facial recognition using simulated prosthetic pixelized vision [J]. Investigative ophthalmology & vision science， 2003， 44（11）： 5035?5042.

[8] ALAN R， LI P， STRICKLAND R N. Image complexity metrics for automatic target recognizers [C]// Proceedings of 1990 Automatic Target Recognition System and Technology Conference. USA： Naval Surface Warfare Center， 1990： 1?17.

[9] 高振宇，楊曉梅，龔劍明，等.圖像復(fù)雜度描述方法研究[J].中國(guó)圖象圖形學(xué)報(bào)，2010，15（1）：129?135.

[10] CARDACI M， DI GESU V， PETROU M， et al. On the valuation of images complexity： a fuzzy approach [J]. Fuzzy logic and applications， 2006（3849）： 305?311.

[11] MARIO I， CHACON M， ALMA D， et al. Image complexity measure： a human criterion free approach [C]// Proceedings of 2005 IEEE Annual Meeting of the North American Fuzzy Information Processing Society. Detroit： IEEE， 2005： 241?246.

[12] 馮建輝，楊玉靜.基于灰度共生矩陣提取紋理特征圖像的研究[J].北京測(cè)繪，2007（3）：19?22.

[13] 陳彥燕，王元慶.基于慣性矩的圖像融合算法[J].計(jì)算機(jī)測(cè)量與控制，2009（6）：1190?1191.