趙瑛 李琦 王冬暉 于愛萍 谷宇

摘? 要： 盡管已有多種圖像處理策略被應(yīng)用到視覺假體的仿真研究中并提高了被試的識別表現(xiàn)，但在植入電極數(shù)量有限的情況下，如何保證盲人獲得足夠的拓?fù)湫畔⑹且曈X假體仍需解決的問題。在此背景下，本文將兩種神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到仿真假體視覺中對圖像進(jìn)行前景目標(biāo)提取和像素化處理，首先利用圖像分割數(shù)據(jù)集訓(xùn)練一個U?net網(wǎng)絡(luò)得到前景提取后的結(jié)果，將其像素化之后與提取前的原圖配對，再利用配對后的數(shù)據(jù)集訓(xùn)練一個Pix2Pix網(wǎng)絡(luò)從而實(shí)現(xiàn)了將彩色圖像“翻譯”為像素化圖像的目標(biāo)。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)圖像處理算法相比U?net網(wǎng)絡(luò)具有更準(zhǔn)確的目標(biāo)提取效果，且經(jīng)Pix2pix網(wǎng)絡(luò)“翻譯”后的圖像也與標(biāo)簽圖像更相似，有助于提高假體佩戴者的識別準(zhǔn)確率。

關(guān)鍵詞： 仿真假體視覺; 神經(jīng)網(wǎng)絡(luò)算法; 前景目標(biāo)提取; 像素化處理; 數(shù)據(jù)集訓(xùn)練; 圖像配對

中圖分類號： TN911.34?34; TP391.4? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）04?0164?03

Application of neural networks algorithm in artificial prosthesis vision

ZHAO Ying1， LI Qi1， WANG Donghui1， YU Aiping1， GU Yu1，2

（1. Inner Mongolia Key Laboratory of Pattern Recognition and Intelligent Image Processing， School of Information Engineering， Inner Mongolia University of Science and Technology， Baotou 014010， China; 2. School of Computer Engineering and Science， Shanghai University， Shanghai 200444， China）

Abstract： A variety of image processing strategies have been applied to the simulation study of visual prosthesis and improved the recognition performance of the subjects， but how to ensure that blind people get enough topological information with limited electrodes is still a problem to be solved in visual prosthesis. On this background， two kinds of neural network algorithm are applied to the artificial prosthesis vision to perform foreground object extraction and pixel processing for images. A U?net network is trained with the image segmentation dataset to acquire the extracted results of foreground， which are matched with the original image after its pixel processing. A Pix2pix network was trained with the matched datasets to achieve the goal of “translating” color images into pixelated images. The experimental results showed that in comparison with the traditional image processing algorithm， the U?net network has more accurate object extraction effect， and the image translated by the Pix2Pix network is more similar to the ground truth. It is helpful to improve the recognition accuracy of prosthesis wearers.

Keywords： artificial prosthesis vision; neural networks algorithm; foreground object extraction; pixel processing; dataset training; image matching

人類對外界信息的獲取約有80%來自于視覺，視力殘疾或失明對人的正常生命活動造成的影響是災(zāi)難性的。對于由視網(wǎng)膜色素變性（Retinal Pigmentosa）和老年性黃斑變性（Age?related Macular Degeneration）造成視力殘疾或失明的患者[1]，他們病變的視網(wǎng)膜組織中仍然有近80%的內(nèi)層神經(jīng)細(xì)胞和近30%的神經(jīng)節(jié)細(xì)胞的形態(tài)和功能處于正常狀態(tài)，并保持一定的功能性連接，視覺假體可應(yīng)用于這類患者的視覺恢復(fù)和重建過程中[2]。通過在他們的視網(wǎng)膜、視覺皮層或視神經(jīng)等位置植入微電極并對其施加合適的電刺激，可使患者感知到光幻視點(diǎn)。而進(jìn)一步傳遞有用的外界信息，還需要利用圖像處理策略對電刺激的拓?fù)湮恢眉右钥刂?。目前，得益于視網(wǎng)膜假體技術(shù)快速發(fā)展，已經(jīng)有盲人能夠借助視覺假體在日常生活中完成一些字母閱讀、物體識別、尋路等任基本任務(wù)[3]。

然而在臨床實(shí)驗(yàn)中，測量所得即使是最好的視覺敏銳度也仍然很低，Argus Ⅱ和Alpha?IMS視網(wǎng)膜假體系統(tǒng)可提供的視覺敏銳度[3]分別只有20/1260和20/546。針對這種情況，許多研究者企圖通過更有效的圖像處理策略來改善視覺假體的表現(xiàn)，從而為盲人提供更好的重建視力。Sheng Li等人將小波分析方法與k?means聚類結(jié)合并應(yīng)用于圖像中目標(biāo)的輪廓提取與像素化重構(gòu)過程中，并通過仿真假體視覺下的心理物理學(xué)實(shí)驗(yàn)討論了正確識別簡單物體的最小信息需求[4]。Li Heng等人基于圖的生物顯著性運(yùn)用GrabCut的自適應(yīng)分割算法提取前景目標(biāo)后進(jìn)行再像素化[5]，相較于直接像素化得到了更高的目標(biāo)識別準(zhǔn)確率和識別效率。此外還有多種顯著性提取算法被證明在提高假體視覺下的識別準(zhǔn)確率是有效的。

本文提出將U?net卷積神經(jīng)網(wǎng)絡(luò)與Pix2Pix生成對抗網(wǎng)絡(luò)這兩種深度學(xué)習(xí)圖像處理技術(shù)應(yīng)用于仿真假體視覺下的前景目標(biāo)提取與圖像像素化過程中。經(jīng)過在分割訓(xùn)練集和像素化訓(xùn)練集上的參數(shù)調(diào)整，可以得到最優(yōu)的兩種模型。之后，在圖像分割測試集上對比U?net網(wǎng)絡(luò)模型與傳統(tǒng)顯著性目標(biāo)提取方法的效果差異，同時在像素化測試集中對Pix2Pix模型生成的測試結(jié)果進(jìn)行對比。

1? 數(shù)據(jù)集與方法

1.1? 數(shù)據(jù)集

使用ETH?80數(shù)據(jù)集[6]作為訓(xùn)練與測試神經(jīng)網(wǎng)絡(luò)模型的圖像集，其中包含蘋果，汽車，牛，杯子，狗，馬，梨，和番茄8種常見的自然或人造物體，每種物體包含410張RGB圖像和對應(yīng)的經(jīng)過分割后的標(biāo)簽（Ground Truth），對于每種物體從中隨機(jī)選取307張圖像作為訓(xùn)練圖像，剩下的103張圖像作為測試圖像，最終的數(shù)據(jù)集包含2 456張訓(xùn)練圖像和824張測試圖像。

1.2? 前景目標(biāo)提取

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）借鑒了人體視覺系統(tǒng)的特點(diǎn)，網(wǎng)絡(luò)的前幾層在輸入圖像上重復(fù)使用卷積的方式來提取小的、局部化的邊緣特征，然后通過激活函數(shù)和池化操作即下采樣將這些邊緣特征組合成更復(fù)雜的表示[7]。池化操作會導(dǎo)致經(jīng)過整個網(wǎng)絡(luò)的信息流縮減，這使得傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不能很好地應(yīng)用于圖像分割任務(wù)中。U?net[8]是全卷積網(wǎng)絡(luò)（Fully?Convolutional Networks）概念的擴(kuò)展，適合在訓(xùn)練圖像較少時對模型進(jìn)行訓(xùn)練并可以產(chǎn)生精確的分割結(jié)果。如圖1所示，U?net的體系結(jié)構(gòu)由下采樣和上采樣兩條路徑組成。下采樣路徑是一種典型的層疊狀卷積結(jié)構(gòu)，每個層疊結(jié)構(gòu)包含兩個連續(xù)的卷積層（使用3×3卷積核）和一個池化層（使用2×2最大池化），激活函數(shù)為線性整流單元（ReLU）。上采樣路徑對稱地將卷積層改為反卷積層并去掉池化層，每一個反卷積層得到的特征圖與下采樣路徑中對應(yīng)卷積層得到的特征圖會進(jìn)行拼接，再對拼接后的特征圖進(jìn)行反卷積，經(jīng)過兩個反卷積層疊結(jié)構(gòu)后，到達(dá)最后一層對特征圖進(jìn)行1×1反卷積得到二值分割結(jié)果。

1.3? 圖像翻譯

圖像翻譯是一種相對較新的計(jì)算機(jī)視覺處理任務(wù)，其目標(biāo)是在圖像X轉(zhuǎn)化為另一種表示Y的過程中得到一種映射關(guān)系。這種關(guān)系可以通過具有半監(jiān)督學(xué)習(xí)能力的生成對抗網(wǎng)絡(luò)中的生成器來表示和實(shí)現(xiàn)。經(jīng)過訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型能夠利用一張從未見過的圖像[Xnew]預(yù)測并生成一張新的圖像[G（Xnew）]，即最有可能表示訓(xùn)練數(shù)據(jù)中的映射關(guān)系。Pix2Pix[9]生成對抗網(wǎng)絡(luò)是在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上為了實(shí)現(xiàn)圖像翻譯任務(wù)而加入了半監(jiān)督學(xué)習(xí)能力的一種條件生成對抗網(wǎng)絡(luò)。當(dāng)需要處理彩色圖像直接得到像素化圖像時，輸入生成器的訓(xùn)練數(shù)據(jù)應(yīng)是帶有標(biāo)簽的樣本{（[v1]，[r1]），（[v2]，[r2]），…，（[vn]，[rn]）}，因此生成器需要完成的任務(wù)是從配對的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到可以使生成的圖像[G（vi）]與真實(shí)圖像[ri]最相似的映射，而判斷生成圖像與真實(shí)圖像是否相似的任務(wù)需要判別器來完成。這樣在學(xué)習(xí)和優(yōu)化的過程中，不僅生成器試圖生成與真實(shí)圖像越來越相似的[G（vi）]表示來欺騙判別器，判別器也能更好地分辨[G（vi）]是否是真實(shí)圖像，最終在對抗學(xué)習(xí)的過程中提高了生成器的“翻譯”能力，這一過程如圖2所示。U?net模型經(jīng)過調(diào)參后可以精確地輸出包含前景目標(biāo)的二值圖像，然后對這些圖像進(jìn)行輪廓提取后匹配32×32大小的像素化模板，再將這些經(jīng)過像素化之后的圖像與原RGB圖配對形成新訓(xùn)練集來訓(xùn)練Pix2Pix生成對抗網(wǎng)絡(luò)模型，從圖3中可以看到這一過程的整個流程。由圖割方法（GrabCut）可以得到前景目標(biāo)的提取結(jié)果[13]。

在TensorFlow深度學(xué)習(xí)框架中訓(xùn)練了一個對稱型U?net網(wǎng)絡(luò)結(jié)構(gòu)，利用NVIDIA GTX1080Ti GPU在分辨率為256×256像素的訓(xùn)練圖像集上訓(xùn)練200次迭代，得到了損失函數(shù)達(dá)到最小，并保持穩(wěn)定的模型。圖4中展示了不同前景目標(biāo)提取方法的結(jié)果。

同時利用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）兩種評價標(biāo)準(zhǔn)對三種方法進(jìn)行了量化比較，在測試圖像集中計(jì)算了每種方法得到的結(jié)果，如表1所示。相較于傳統(tǒng)方法，U?net神經(jīng)網(wǎng)絡(luò)的前景提取結(jié)果相對于標(biāo)簽圖像有更高的PSNR值，且SSIM值也更接近1，因此具有更好的表現(xiàn)。

1.4? 像素化結(jié)果評估

在利用傳統(tǒng)方法提取前景目標(biāo)后的測試結(jié)果中，對其進(jìn)行輪廓提取并匹配32×32分辨率的像素化模板，得到了經(jīng)過傳統(tǒng)像素化方法處理后的結(jié)果。隨后通過PyTorch深度學(xué)習(xí)框架構(gòu)建了一個的Pix2Pix神經(jīng)網(wǎng)絡(luò)，輸入由原圖與像素化圖像的配對訓(xùn)練集并調(diào)試參數(shù)，在訓(xùn)練400次迭代后得到一個最優(yōu)的生成器，利用該生成器可以在測試圖像集中直接由RGB原圖得到像素化后的結(jié)果，各方法得到的像素化結(jié)果示例如圖5所示。

同時利用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）兩種評價標(biāo)準(zhǔn)對三種像素化方法進(jìn)行了量化比較，在測試圖像集中計(jì)算了每種方法得到的結(jié)果，并展示在表2中。相較于傳統(tǒng)方法，Pix2Pix生成對抗網(wǎng)絡(luò)的像素化結(jié)果相對于標(biāo)簽圖像有更高的PSNR值，且SSIM值也更接近1，因此具有更好的表現(xiàn)。