胡江濤，黃 峰，張 雛，劉秉琦，王元鉑

(軍械工程學(xué)院電子與光學(xué)工程系，石家莊050003)

引 言

高分辨率圖像包含更多的圖像細節(jié)，為圖像分析等提供更加準(zhǔn)確的信息，因此在遙感、定位、監(jiān)控、醫(yī)學(xué)等領(lǐng)域有廣泛的應(yīng)用前景?，F(xiàn)階段，受到應(yīng)用環(huán)境和制造工藝的限制，通過增大光學(xué)鏡頭尺寸或成像器件像元密度來獲取高分辨率圖像的方法，已不滿足系統(tǒng)小型化的要求。仿生復(fù)眼以其體積小、質(zhì)量輕、視場大、分辨率高等特點，為解決這一問題提供了新的思路［1-5］。其在全視角成像、目標(biāo)定位、信息提取、多譜成像等領(lǐng)域得到廣泛研究，復(fù)眼的研究成果已應(yīng)用到微型復(fù)眼相機、機器人視覺等領(lǐng)域［5-9］?；诔直媛手貥?gòu)的復(fù)眼成像系統(tǒng)是將超分辨率重構(gòu)技術(shù)應(yīng)用到復(fù)眼成像系統(tǒng)中，復(fù)眼成像系統(tǒng)獲取低分辨圖像序列，超分辨率重構(gòu)算法獲取最終的高分辨率圖像。其中基于超分辨率圖像重構(gòu)的平面復(fù)眼成像系統(tǒng)是復(fù)眼成像系統(tǒng)的研究熱點之一，如VIKRANT等人提出的采用結(jié)合光學(xué)的薄光學(xué)成像模塊(thin observations module by bound optics，TOMBO)［10］、ESMAEIL 研究小組的采用奈奎斯特有限觀測處理陣列的薄光電傳感器的成像系統(tǒng)(processing arrays of nyquist-limited observations to produce a thin elector-optic sensor，PANOPTES)［11］和GUILLEM等人提出的使用商業(yè)相機面陣復(fù)眼成像系統(tǒng)［12］。CHAN等人對超分辨率圖像重構(gòu)復(fù)眼成像也有較為深入的研究［13］。

本文中分析了復(fù)眼圖像超分辨率重構(gòu)的基本理論與方法。結(jié)合現(xiàn)階段的研究成果，介紹基于復(fù)眼圖像超分辨率重構(gòu)的理論基礎(chǔ)。結(jié)合成像模型介紹在實際測試系統(tǒng)中應(yīng)用的超分辨率重構(gòu)算法，分析了基于復(fù)眼超分辨率重構(gòu)結(jié)果中的誤差來源以及評價方法。結(jié)合研究現(xiàn)狀，闡述了該技術(shù)存在的問題和發(fā)展方向。

1 復(fù)眼超分辨率重構(gòu)技術(shù)

從一系列低分辨率圖像中恢復(fù)出1幅高分辨率圖像的方法稱為超分辨率圖像重構(gòu)(super resolution reconstruction，SRR)，如圖1所示。圓、三角、方形分別代表互補信息，通過超分辨率重構(gòu)算法估計低分辨圖像間的亞像素位移，最后將亞像素位移信息融合到1幅圖像中而獲得高分辨圖像。

圖1 超分辨率圖像重構(gòu)原理示意圖

基于復(fù)眼圖像的超分辨率重構(gòu)是將復(fù)眼結(jié)構(gòu)與超分辨率重構(gòu)技術(shù)相結(jié)合。圖2是復(fù)眼圖像超分辨率重構(gòu)的基本流程圖:首先，復(fù)眼成像系統(tǒng)對同一目標(biāo)物體成像獲取多幅低分辨率圖像，然后通過超分辨率重構(gòu)技術(shù)獲取最終的高分辨率圖像。為使系統(tǒng)小型化，使用小孔徑光學(xué)鏡頭或微透鏡陣列代替大孔徑光學(xué)鏡頭;為減小成本，使用小面陣電荷耦合器件(charge coupled device，CCD)/互補金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor，CMOS)代替大面陣CCD/COMS;復(fù)眼成像系統(tǒng)獲取的低分辨率圖像間不存在時間差，便于實現(xiàn)實時性;因此，復(fù)眼超分辨率重構(gòu)技術(shù)在諸多領(lǐng)域有廣闊的應(yīng)用前景。

圖2 復(fù)眼圖像超分辨率圖像重構(gòu)流程圖

從整體結(jié)構(gòu)上，基于超分辨率重構(gòu)的復(fù)眼重構(gòu)系統(tǒng)可以分為兩種:一種是采用微透鏡陣列結(jié)合大面陣成像器件，如圖3a所示，是VIKRANT提出的TOMBO成像系統(tǒng)［10］;一種是采用商業(yè)化的成像器件，如圖3b所示，是GUILLEM為使用商業(yè)化COMS成像器件設(shè)計的基于超分辨率的復(fù)眼成像系統(tǒng)［12］。

圖3 a—采用微透鏡陣列的TOMBO系統(tǒng) b—采用商業(yè)COMS器件的復(fù)眼成像系統(tǒng)

2 成像模型的建立

低分辨率圖像的觀測模型一般分為靜態(tài)圖像觀測模型和視頻序列觀測模型。超分辨率圖像重構(gòu)復(fù)眼成像采用的圖像是在同一時間對同一場景拍攝獲取的，因此各個低分辨率圖像間不存在時間差，屬于靜態(tài)圖像觀測模型。實際圖像在獲取過程中受到諸多因素的影響，主要是運動變形、光學(xué)模糊、傳感器模糊、圖像下采樣等［14-22］，成像過程如圖4所示。

圖4 成像模型

序列圖的成像過程可以用下面的數(shù)學(xué)式表示:

式中，g表示輸出，即低分辨率圖像序列;S表示運動變形矩陣，包括圖像旋轉(zhuǎn)、圖像平移和仿射;F表示為模糊矩陣，主要包括光學(xué)模糊、運動模糊、傳感器模糊等;C表示采樣矩陣，主要單儀器模數(shù)轉(zhuǎn)換(analogue to-digital，A/D)過程模擬信號的數(shù)字化;f表示輸入，即原始高分辨率圖像;n表示噪聲，主要來源于光電轉(zhuǎn)換器件自身缺陷、電子電子電路噪聲以及環(huán)境噪聲等。一般地，將運動變形矩陣、模糊矩陣和采樣矩陣表示為大型稀疏矩陣B，則(1)式可以表示為:

在該成像模型的基礎(chǔ)上，多種重構(gòu)算法應(yīng)運而生，推動了超分辨率重構(gòu)算法的發(fā)展。

3 常用重構(gòu)算法分析

復(fù)眼圖像超分辨重構(gòu)算法受復(fù)眼成像系統(tǒng)的影響較大，因此不同的復(fù)眼成像系統(tǒng)所采用的重構(gòu)算法也不盡相同。但總的來講，復(fù)眼超分辨率沖算法基本步驟大致可以分為4步:(1)通過復(fù)眼成像系統(tǒng)，獲取低分辨率圖像序列;(2)通過算法估計各低分辨率圖像相對于參考圖像的亞像素位移［23-24］，即配準(zhǔn)參量;(3)通過配準(zhǔn)參量獲取獲取高分辨率圖像;(4)后續(xù)濾波等圖像處理。

通常情況下，配準(zhǔn)參量估計和高分辨率圖像獲取交叉進行，知道結(jié)果誤差達到評價范圍為止。常用的重構(gòu)方法如下。

3．1 最大后驗概率法

最大后驗概率法(maximum a posteriori，MAP)的數(shù)學(xué)基礎(chǔ)是貝葉斯公式，對于超分辨重構(gòu)，可以用下面簡單的數(shù)學(xué)表達描述:

式中，fk是原始圖像，d是運動估計，o是觀測圖像，P(o，d)是觀測模型的似然估計，k是迭代次數(shù)。概率論的乘法法則很容易得到在觀測結(jié)果和運動估計下的超分辨力圖像:

這個方程在求解的過程中是病態(tài)的，通常使用圖像的先驗信息對病態(tài)方程正則化。OU等人提出使用最大似然估計來估計低分辨率圖像間的亞像素位移［22］;AGGELOS等人假定噪聲為高斯噪聲，結(jié)合Huber-Markov Gibbs觀測模型，通過迭代獲取配準(zhǔn)參量，并將水平位移和垂直位移在迭代中更新到高分辨率圖像中，并使重構(gòu)結(jié)果唯一［25］。

3．2 迭代反投影法

迭代反投影法(iterate back projection，IBP)的基本思想是:給原始圖像一個給定的圖像退化模型，并據(jù)此產(chǎn)生一系列的低分辨圖像;然后將這些低分辨力圖像通過反投影算子與實際觀測到的低分辨力圖像進行誤差反投影，如此迭代不斷接近超分辨圖像的估計。

式中，t是迭代次數(shù)，XBP是反投影算子，算法的精度取決于退化模型Y和A。為獲突出邊緣和細節(jié)，獲取更好的視覺效果，PANOPTES復(fù)眼圖像超分辨率重構(gòu)系統(tǒng)將鈍化掩膜超分辨力(super-resolution with unsharpenning mask，SRUM)算法加入到 IBP 迭代算法中［11］。該算法是將一個拉普拉斯算子加入到IBP迭代的每一步中，等價于在每一次迭代中加入了一個高通濾波器，這樣沒更新一次高分辨率圖像，都會有一個更高對比度的低分辨率圖像投影帶低分辨率像面上，最終當(dāng)滿足給定的評價函數(shù)時，重構(gòu)結(jié)束。但是這種算法的主要缺點是:收斂速率較慢，同時很難找到合適的反投影算子，且求解過程是病態(tài)的結(jié)果不唯一，另外也不能很好地利用圖像的先驗信息。

3．3 凸集投影法

凸集投影法(projection onto convex sets，POCS)的數(shù)學(xué)基礎(chǔ)是集合理論。該理論將影響成像過程的各個因素分割在一定集合，同時限定這些因素的前提條件，例如:正定、能量有限、平滑等，最后將這些限定條件作用到超分辨力圖像的解函數(shù)中，就是這些集合的交集就是最終的超分辨圖像。

式中，X0為迭代起點，Pi(i=1～m)為投影算子。通過迭代使結(jié)果在圖像的交集里。這種算法的理論簡單，較充分地利用圖像的先驗信息，但是缺點是迭代的率和迭代起點的選擇有很大的關(guān)系，收斂速率慢、計算量大、解的不唯一性等等。對于上述存在的問題，參考文獻［26］中將各個凸集按照不同的性質(zhì)進行分割，同時改進初始估計的生成方式，將原來的低分辨力圖像填充到和理想高分辨力圖像具有相同像素的高分辨力網(wǎng)格中，從而提高了收斂速率，并展示出較好的重構(gòu)效果;參考文獻［27］中從經(jīng)典的POCS算法出發(fā)找到了引起圖像產(chǎn)生邊緣模糊的原因，考慮了各種影響POCS算法恢復(fù)效果的因素，從初值的選取入手，使用基于梯度的插值算法來代替?zhèn)鹘y(tǒng)的雙線性算法，從而提出了一種保留邊緣信息的改進的POCS算法。

3．4 像素重組法

TOMBO成像系統(tǒng)采用微透鏡整列獲取低分辨率圖像序列，由于每個透鏡成像的變動、各個結(jié)構(gòu)的未校準(zhǔn)和信號在模擬電力中的的扭曲，在實際實驗過程中其它方法的重構(gòu)結(jié)果不理想，因此針對TOMBO成像系統(tǒng)中針對成像系統(tǒng)的特點，作者提出了像素重組法作為重構(gòu)算法［10］，如圖5所示。

圖5 像素重構(gòu)法原理圖

像素重組法基本可以概括為:在忽視像素的物理尺寸和成像系統(tǒng)的點擴散函數(shù)空間性的前提下，對于每個像素映射，可以描述成單元像面上的像素和實際景物之間的對應(yīng)關(guān)系，依據(jù)配準(zhǔn)參量的估計值將圖像單元上的像素點和實際景物上的像素點在不進行比例縮放的情況下一一對應(yīng)。

3．5 最大似然估計法

在觀測模型中，假定不同低分辨率觀測模型的噪聲相互獨立，且噪聲為獨立同分布的高斯噪聲，則依據(jù)(2)式，噪聲E的自相關(guān)矩陣W為:

則高分辨率圖像的最大似然估計為:

該方程為病態(tài)方程，通常通過正則化將該方程轉(zhuǎn)化為求方程最小二乘解問題。在GUILLEM等人采用商業(yè)化的COMS成像器件設(shè)計復(fù)眼成像系統(tǒng)中，采用了最大似然估計法(maximum likelihood，ML)獲取高分辨率圖像。該成像系統(tǒng)對于成像器件并未做過多的校正，如果直接采用以上算將會出現(xiàn)較大錯誤。為解決該問題，作者采用尺度不變特征變換(scale invariant feature transform，SIFT)對個通道低分辨率圖像進行配準(zhǔn)，由于SIFT對圖像旋轉(zhuǎn)、縮放保持不變性，對光照和相機角度改變有部分不變性，通過該方法消除成像器件為校正帶來的圖像偏差;最終采用最大后驗概率法獲得高分辨率圖像［12］。

4 重構(gòu)結(jié)果評價

4．1 誤差來源

依據(jù)(2)式可知高分辨率估計為:

采用POCS法迭代過程中一般要根據(jù)噪聲特性對迭代余量進行定義，定義余量r為:

式中，H為降質(zhì)矩陣估計。

通過迭代獲得的高分辨率圖像f′為:

則迭代后的誤差為:

整理后:

式中，雙豎線表示向量的模?？梢妶D像的噪聲來源包含兩部分:一部分來自圖像估計過程中的余量，定義為算法引入噪聲，用E1表示;另一部分是原始圖像噪聲的放大，定義為原始圖像噪聲，用E2表示。參考文獻［28］中重點研究了余量估計與重構(gòu)結(jié)果的關(guān)系，實驗結(jié)果表明，余量估計越大，實際測量得到的噪聲越大，即圖像質(zhì)量越差。

4．2 評價方法

圖6 a—平行靶板 b—圓形靶板 c—復(fù)合靶板

4.2.1 靶板法 分辨力靶板作為檢驗成像系統(tǒng)成像質(zhì)量的主要方法，在評價基于超分辨率重構(gòu)的復(fù)眼系統(tǒng)成像質(zhì)量同樣適用。在實際測試過程中主要采用的有圓形靶板［13］、平行靶板［10］、以及復(fù)合靶板［29］。如圖6所示。無論哪種靶板，通過重構(gòu)前后能夠區(qū)分線對的等級來判讀重構(gòu)改善情況。平行靶板區(qū)分明顯、判讀簡單，缺點是各分辨率等級是間斷的;圓形靶板通過測量重構(gòu)前后能分辨半徑判定重構(gòu)改善情況，判讀過程較為復(fù)雜，但圓形靶板測量數(shù)據(jù)連續(xù);復(fù)合靶板最初是測試數(shù)碼相機成像質(zhì)量的，屬于綜合測量方法，且能夠直接讀取測量等級，使用方便;另外采用文字、視力測試表等也屬于靶板測試的范疇。

4.2.2 信噪比評價方法 信噪比(signal-to-noise ratio，SNR)作為評價圖像質(zhì)量的一個指標(biāo)，在仿真實驗中應(yīng)用較多。通過將重構(gòu)結(jié)果與原始高分辨率圖像作比較，計算獲取重構(gòu)結(jié)果的信噪比，信噪比越高，圖像越接近原始圖像。該方法在仿真實驗中能夠較好地反映重構(gòu)改善情況，但在實際測試過程中高分辨率圖像是未知的，因此該方法不再適用。

4.2.3 視覺評價 在實際測試過程中，視覺評價是最直接、最接近實際的評價方法。一種方法是無參考的評價，即直接通過個人的主觀感覺對重構(gòu)前后進行評價;另一種是有參考評價，首先通過其它方法(如大口徑、高質(zhì)量相機)獲取目標(biāo)景物的高分辨圖像，并將該高分辨率圖像作為參考圖像與重構(gòu)結(jié)果做對比，進而從視覺角度對重構(gòu)圖像進行評價。

5 總結(jié)與展望

超分辨重構(gòu)復(fù)眼成像是數(shù)字圖像超分辨率重構(gòu)與眼成像系統(tǒng)結(jié)合而成的新技術(shù)。作為在不改變現(xiàn)有成像器件水平就能改善圖像分辨率的一種方法，超分辨率重構(gòu)復(fù)眼成像技術(shù)將復(fù)眼結(jié)構(gòu)的輕、薄、小等特點與超分辨率重構(gòu)技術(shù)的高分辨率特點結(jié)合在一起，實現(xiàn)了成像系統(tǒng)的小型化和平面化，大大增強了系統(tǒng)適用應(yīng)用環(huán)境的能力。

目前，復(fù)眼超分辨率重構(gòu)技術(shù)實現(xiàn)的主要難點集中在重構(gòu)算法上。重構(gòu)算法大多采用多次迭代的方式尋找最優(yōu)高分辨率圖像，計算過程需要消耗大量時間，使得超分辨率重構(gòu)很難滿足實時性要求，未來算法改進主要體現(xiàn)在兩個方面:一是減少運算量，提高運算速度;另外一個是使用硬件實現(xiàn)算法運算，比如數(shù)字信號處理器和現(xiàn)場可編程門陣列芯片等。從長遠上看，超分辨率重構(gòu)復(fù)眼成像技術(shù)是一個極具發(fā)展?jié)摿Φ难芯糠较?，其研究成果在軍事偵察、安防監(jiān)控、定位等許多領(lǐng)域有廣闊的應(yīng)用前景。

［1］ TANG Ch X，WU Zh Ch，LIANG Zh.Design and experiment of artificial compound eye receiving system［J］Optics and Precision Engineering，2011，19(5):992-997(in Chinese).

［2］ JIANG X P.A GRIN micro lens array with hexagonal aperture simulated compound eyes buried in a convex［D］.Suzhou:Soochow University，2011:11-18(in Chinese).

［3］ LIU J.Imaging system of multiple aperture overlap ommateum［D］.Beijing:Beijing Institute of Technology，2012:1-12(in Chinese).

［4］ ZHANG X Y.The structural design and experimental investigations of multi-aperture overlap bionic compound eye［D］.Beijing:Beijing Institute of Technology，2012:1-11(in Chinese).

［5］ HUANG Z X，XUN G L.Research on panorama picture formation in bionic compound eye measuring system［J］.Metrology＆ Measurement Technology，2006，26(1):17-18(in Chinese).

［6］ LEE H，DALTON G B，TOSH I A J，et al.Computer-guided alignment III:description of inter-element alignment effect in circular-pupil optical system［J］.Optics Express，2008，16(15):10992-11006.

［7］ TOYGAR A，YUCEL A，RUSSELL M M.Super-resolution reconstruction of hyperspectral images［J］.IEEE Transactions on Image Processing，2005，14(11):1860-1875.

［8］ GONG Zh W，YU W X，ZHANG H X，et al.Process in design and fabrication of the artificial compound eye optics system［J］.Chinese Optics，2013，6(1):34-45(in Chinese).

［9］ PATTI A J，SEZAN M I，TEKALP A M.Super resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE Transactions on Image Processing，1997，6(8):1064-1076.

［10］ VIKRANT R B，MANJUNATH S，SCOTT C D，et al．Experimentally validated computational imaging with a adaptive multi aperture folded architecture［J］.Applied Optics，2010，B49(10):51-58.

［11］ ESMAEIL F，VIKRANT R B，DINESH R，et al.Super resolution results in PANOPTES，and adaptive multi-aperture folded architecture［C］//IEEE 17th International Conference on Image Processing.New York，USA:IEEE，2010:2833-2836.

［12］ GUILLEM C，JAMES D，ANDREW R H.Super-resolution imaging using a camera array［J］.Optics Letters，2014，39(7):1-5.

［13］ CHAN W S，MICHAEL K N，EDMUND Y L，et al.Super-resolution reconstruction in a computational compound-eye imaging system［J］.Multidimensional Systems Signal Processing，2007，18(2/3):83-101.

［14］ YU H，CHEN H W.Research progress of image super-resolution technology［J］.Optics＆ Optoelectronic Technology，2012，10(5):45-50(in Chinese).

［15］ WANG N.Reconstruction of super-resolution depth image based on compressive and development of camera array［D］.Guangzhou:South China University of Technology，2010:8-15(in Chinese).

［16］ XU P Y.Research on the super resolution reconstruction［D］.Shanghai:Shanghai Jiaotong University，2009:1-10(in Chinese).

［17］ ZHANG Y.Research on the superresolution image reconstruction technique in space domain［D］.Beijing:China University of Information Engineering，2007:11-23(in Chinese).

［18］ HOU T X.Study of super-resolution image reconstruction algorithm［D］.Taiyuan:Shanxi University，2011:11-26(in Chinese).

［19］ DONG L.Study of super-resolution image reconstruction algorithm［D］.Taiyuan:Shanxi University，2011:10-20(in Chinese).

［20］ SHI W，TIAN Y，LIU J.A fast super-resolution reconstruction from image-sequence［J］.Wuhan University Journal of Natural Sciences，2006，11(2):399-404.

［21］ CHEN Y.Research on super resolution image reconstruction algorithm based on nonuniform/uncontrolled micro-scanning［D］.Beijing:Beijing Institute of Technology，2011:22-36(in Chinese).

［22］ OU P，LIU X，SUN M J，et al.A large step method of optical micro scanning［J］.Laser Technology，2013，37(3):293-296(in Chinese).

［23］ LEONID A，EVGENII N，JACOB K.Super-resolution imaging via spatiotemporal frequency shifting and coherent detection［J］.Optics Express，2011，19(22):22350-22357.

［24］ BOWEN A，BINGBIN X，SHENGDA P，et al.Sub-pixel processing for super-resolution scanning imaging system with fiber bundle coupling［J］.Chinese Optics Letters，2011，9(8):081001.

［25］ AGGELOS K K，RAFAEL M，JAVIER M.Super resolution of images and video［R］.Houston，Texas，USA:Morgan ＆ Claypool，2007:87-89.

［26］ LIU Ch Y，NI L.Improved block-matching and initial estimation for POCS image reconstruction［J］.Journal of Data Acquisition ＆ Processing，2013，28(1):47-52(in Chinese).

［27］ XIAO J X.A POCS Algorithm for super-resolution image reconstruction［D］.Shanghai:Shanghai Jiaotong University，2009:11-23(in Chinese).

［28］ ZHANG D，PENG H.Noise analysis and reduction in the super-resolved image［J］.Journal of Shaoguan University(Natural Science Edition)，2006，27(12):31-34(in Chinese).

［29］ CHEN B Y，GUO Q，CHEN G L，et al.Amplificatory noise raised by super resolution reconstruction and filter［J］.Infrared Millimeter Waves，2011，30(1):15-20(in Chinese).