楊 欣，唐庭閣，費(fèi)樹岷，周大可

(1.南京航空航天大學(xué)自動(dòng)化學(xué)院，江蘇南京210016;2.東南大學(xué)自動(dòng)化學(xué)院，江蘇南京210096)

數(shù)字圖像的獲取受硬件設(shè)備，外界環(huán)境以及成像技術(shù)等因素的影響，圖像質(zhì)量下降，分辨率不高.因此，超分辨率技術(shù)應(yīng)運(yùn)而生.所謂的超分辨率技術(shù)(super resolution，SR)［1］，就是通過(guò)將多幅模糊，變形，空間微位移，頻譜混疊的低分辨率圖像(或視頻序列)中有用信息的抽取，融合估計(jì)出一幅較高分辨率圖像.其在醫(yī)學(xué)診斷，交通管理，視頻監(jiān)控，遠(yuǎn)程遙感以及獲取軍事情報(bào)等方面有著廣泛的應(yīng)用.

20世紀(jì)60年代，超分辨率重建技術(shù)最早是由Harris和Goodman基于單幅圖像復(fù)原的概念提出.后續(xù)的研究分為2類［2］:頻域法和空域法.空域算法主要包括迭代反向投影法［3］(iterative back projection，IBP)，鄰域嵌套方法［4］(neighbor embedding，NE)，凸集投影法［5］(projections onto convex sets，POCS)等.

空域方法中，POCS算法是一種廣泛使用的重建方法.Xie Wei等［6］提出估計(jì)子像素位移并進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)腜OCS盲圖像復(fù)原算法.陳光盛等［7］將MAP方法和POCS方法結(jié)合起來(lái)，獲得了較好的效果.肖創(chuàng)柏等［8］提出改進(jìn)PSF系數(shù)的POCS算法，有效地抑制了邊緣Gibbs現(xiàn)象.田敬北等［9］引入時(shí)空聯(lián)合自適應(yīng)機(jī)制設(shè)計(jì)自適應(yīng)殘差閾值，有效減緩了錯(cuò)誤運(yùn)動(dòng)估計(jì)信息對(duì)重建圖像的影響.

傳統(tǒng)POCS算法中殘差閾值通常選為常數(shù)，點(diǎn)擴(kuò)散函數(shù)通常選為單一的高斯模糊函數(shù)，對(duì)全局的迭代投影采用相同程度的一致性約束，造成某些位置出現(xiàn)欠投影或過(guò)投影，從而形成邊緣振蕩效應(yīng)，即Gibbs效應(yīng).

文中提出一種采用投影修正抑制Gibbs效應(yīng)的超分辨率重建算法.該算法在傳統(tǒng)POCS重建算法的基礎(chǔ)上，通過(guò)在每一次的迭代過(guò)程中結(jié)合邊緣約束和前后重建圖像的差值獲得能夠反映欠投影和過(guò)投影信息的投影修正算子，利用該算子對(duì)殘差閾值和點(diǎn)擴(kuò)散函數(shù)進(jìn)行修正，從而實(shí)現(xiàn)投影修正的POCS算法.試驗(yàn)證明文中算法能夠在保持邊緣細(xì)節(jié)信息的前提下，有效抑制Gibbs效應(yīng)，獲得更好的重建效果.

1 POCS算法

低分辨率圖像的超分辨率重建可表達(dá)［10］為

式中:yk表示大小r1×r2的LR圖像;z表示大小為r1N×r2N的HR圖像，為采樣因子;H表示點(diǎn)擴(kuò)散函數(shù)(point spread function，PSF)，即退化矩陣;nk為噪聲.

POCS算法將待求高分辨率圖像^z看做成像空間Rr1×r2中的未知向量，先驗(yàn)信息和約束條件被描述為成像空間中的一個(gè)凸集 Ci∈Rr1×r2，i=1，2，…，m.對(duì)于每一個(gè)凸集Ci定義相應(yīng)的凸集投影算子Pi.POCS的基本思想就是利用凸集投影算子Pi對(duì)高分辨率圖像的初始估計(jì)^z0進(jìn)行反復(fù)迭代投影，獲得理想高分辨率圖像.通常采用插值法構(gòu)造高分辨率圖像的初始估計(jì)^z0，利用觀測(cè)序列的約束集修正^z0，直至滿足迭代終止條件.由POCS算法重建高分辨率圖像^z的基本表達(dá)式為

2 基于投影修正的POCS重建算法

2.1 邊緣約束算子E

設(shè)^z0為初始高分辨率圖像，^z0(s，t)為位于(s，t)的像素值.文中算法對(duì)^z0計(jì)算2階方向差分，得到圖像的邊緣約束算子E.2階方向差分法如下:

式中:Ev(s，t)和Eh(s，t)分別是垂直和水平方向的差分算子Ev和Eh相應(yīng)位置的像素值，令邊緣約束算子E為二者之和.算子E以數(shù)值的大小呈現(xiàn)圖像的邊緣結(jié)構(gòu)特征，較小值對(duì)應(yīng)平緩區(qū)域，較大值對(duì)應(yīng)邊緣區(qū)域.

2.2 投影修正算子M

POCS算法中每一次投影前后重建結(jié)果的差值反映了本次投影信息，即凸集約束集合對(duì)^zn所作的修正.傳統(tǒng)POCS算法的投影方法采用固定的殘差閾值和單一的點(diǎn)擴(kuò)散函數(shù)，不能對(duì)所有位置做出適當(dāng)?shù)男拚?，某些位置可能出現(xiàn)欠投影或過(guò)投影，從而導(dǎo)致了Gibbs效應(yīng).由于Gibbs效應(yīng)主要發(fā)生在邊緣位置附近，因此將全部投影與邊緣約束算子E作用的投影進(jìn)行“差運(yùn)算”，即可分離出欠投影與過(guò)投影.為標(biāo)識(shí)這些不恰當(dāng)投影的位置與程度信息，文中算法定義投影修正算子M如下:

式中:M(s，t)和E(s，t)分別是修正算子M和邊緣約束算子E位于(s，t)的值;‘·’運(yùn)算符代表‘矩陣點(diǎn)乘’;^zn+1(s，t)和 ^zn(s，t)分別表示第n+1 次重建圖像和第n次重建圖像;ε為修正因子，作用是令M中的數(shù)據(jù)取值范圍為［0，1］;max(M)表示矩陣M中最大值.

2.3 投影修正過(guò)程

POCS算法中常見(jiàn)的約束集有數(shù)據(jù)一致性約束，幅值約束等.令^zn(s，t)表示當(dāng)前估計(jì)的高分辨率圖像 ^zn中位于(s，t)處的像素值，yk(i，j)表示低分辨率圖像yk中位于(i，j)處的像素值，數(shù)據(jù)一致性約束集可定義為

式中:R(i，j)為殘差;δ0為殘差閾值，傳統(tǒng) POCS算法δ0常設(shè)為常數(shù).

1)修正殘差閾值δM

在數(shù)據(jù)一致性約束中，殘差閾值大小與修正的程度成反比，考慮算子M每個(gè)位置的值標(biāo)志著該處錯(cuò)誤投影的程度，對(duì)于這些位置應(yīng)該相應(yīng)的進(jìn)行不同程度的修正，因此文中算法對(duì)殘差閾值進(jìn)行修正.定義新的殘差閾值矩陣δM為

式中:δM(s，t)為 δM中位于(s，t)的值;δ(s，t)為與M相同尺寸的矩陣中位于(s，t)的值，且 δ(s，t)中元素均為殘差閾值δ0;參數(shù)α用于調(diào)節(jié)殘差閾值的修正程度，通常α可取20～30.

2)修正點(diǎn)擴(kuò)散函數(shù)HM

假設(shè)低分辨率圖像yk中的某像素(i，j)映射到高分辨率圖像^zn中相應(yīng)位置為(s'，t')，則殘差R(i，j)的定義式為

式中:H(s，t;i，j)為點(diǎn)擴(kuò)散函數(shù)H相應(yīng)位置的值;H通常選為高斯模糊核函數(shù);ω為模板尺寸.式(7)中等式右側(cè)第1部分為低分辨率圖像真實(shí)值，第2部分為根據(jù)降質(zhì)過(guò)程獲得的模擬值.若殘差R(i，j)為正且大于殘差閾值δ0，說(shuō)明當(dāng)前估計(jì)值^zn(s，t)偏小，應(yīng)對(duì)^zn(s，t)增大修正，反之減小修正.由殘差R(i，j)和殘差閾值δ0的關(guān)系定義數(shù)據(jù)一致性約束的投影算子PD如下:

傳統(tǒng)POCS算法中點(diǎn)擴(kuò)散函數(shù)H通常選用高斯模糊核函數(shù)，而單一的選擇模糊核函數(shù)無(wú)法對(duì)現(xiàn)實(shí)世界中圖像模糊化過(guò)程進(jìn)行全面模擬，文獻(xiàn)［10］中采用模糊核函數(shù)庫(kù)遍歷的方法獲得較好的恢復(fù)效果.圖像重建研究中，常用的模糊核函數(shù)有高斯模糊，離焦模糊等，表達(dá)形式為

文中針對(duì)POCS算法分別采用兩種模糊核函數(shù)進(jìn)行試驗(yàn)，對(duì)結(jié)果分析發(fā)現(xiàn)采用高斯模糊核函數(shù)重建結(jié)果邊緣細(xì)節(jié)較清晰，但是Gibbs效應(yīng)明顯，而采用離焦模糊核函數(shù)重建結(jié)果能較好地抑制Gibbs效應(yīng).基于此，文中算法通過(guò)對(duì)投影修正算子M進(jìn)行基于局部方差的區(qū)域分析，從而修正點(diǎn)擴(kuò)散函數(shù)，局部均值mM和局部方差σ2M(i，j)的計(jì)算方法如下:

通過(guò)試驗(yàn)觀察，局部方差σ2M(i，j)和Gibbs效應(yīng)密切相關(guān)，σ2M(i，j)越大，Gibbs效應(yīng)越明顯，這說(shuō)明區(qū)域局部方差σ2M(i，j)越大，錯(cuò)誤投影程度越大.因此在算子M中錯(cuò)誤投影嚴(yán)重的區(qū)域點(diǎn)擴(kuò)散函數(shù)選用離焦模糊核函數(shù)，其余則選用高斯模糊核函數(shù).具體形式如下:

式中:HM(s，t;i，j)為修正的點(diǎn)擴(kuò)散函數(shù)HM相應(yīng)位置的值;β為調(diào)節(jié)兩種模糊核函數(shù)所占比重的參數(shù)，通常取0.8～1.2，決定了點(diǎn)擴(kuò)散函數(shù)的形式后，在實(shí)際應(yīng)用中還應(yīng)對(duì)其進(jìn)行歸一化處理.

2.4 圖像重建

獲得修正后的殘差閾值δM和點(diǎn)擴(kuò)散函數(shù)HM之后，將其代入式(7)和式(8)即可得到修正的殘差閾值RM(i，j)和數(shù)據(jù)一致性約束投影算子PDM，如下:

另根據(jù)先驗(yàn)知識(shí)“8 bit圖像的取值范圍為［0，255］”可定義幅值約束凸集CA為

其相應(yīng)的幅值約束投影算子PA為

完成相應(yīng)約束凸集及其投影算子的定義之后，代入式(2)即可得到具體的投影修正POCS重建方法:

2.5 詳細(xì)算法

1)初始化:最大迭代次數(shù)nMAX，點(diǎn)擴(kuò)散函數(shù)H，殘差閾值δ0，由配準(zhǔn)法進(jìn)行運(yùn)動(dòng)估計(jì)，獲得配準(zhǔn)參數(shù)，雙線性插值獲得初始高分辨率圖像^z0，根據(jù)式(3)計(jì)算邊緣約束算子E.

2)根據(jù)式(7)，計(jì)算殘差R(i，j)，根據(jù)式(8)和(15)，分別對(duì)模擬高分辨率圖像進(jìn)行數(shù)據(jù)一致性約束投影修正和幅值約束投影修正，獲得模擬高分辨率圖像^zn+1.

3)根據(jù)式(4)，(6)，(11)及當(dāng)前HR圖像^zn+1，前次模擬高分辨率圖像^zn，計(jì)算投影修正算子M，修正殘差閾值δM，修正點(diǎn)擴(kuò)散函數(shù)HM.

4)根據(jù)式(12)，(13)，利用修正的殘差閾值δM和點(diǎn)擴(kuò)散函數(shù)HM計(jì)算一致性約束投影算子PDM，代入式(16)獲得高分辨率圖像^zn+1.

5)若n+1＜nMAX，轉(zhuǎn)到步驟3)，否則程序結(jié)束，最終的^zn+1即為重建圖像zn+1.

3 試驗(yàn)結(jié)果與分析

根據(jù)文中提出的基于投影修正的POCS算法，選用6幅大小為256×256像素的圖像作為試驗(yàn)對(duì)象進(jìn)行測(cè)試，并對(duì)所有試驗(yàn)對(duì)象做平移，模糊，降采樣等處理，分別生成5幅低分辨率圖像.模糊函數(shù)采用尺寸為3×3，方差為1的高斯模糊，降采樣采用1/2的行列抽樣，運(yùn)動(dòng)估計(jì)采用keren配準(zhǔn)方法.為衡量算法性能，在客觀評(píng)判標(biāo)準(zhǔn)方面選用常用的峰值信噪比(peak signal to noise ratio，PSNR)［10］進(jìn)行評(píng)判.在試驗(yàn)中取迭代次數(shù)nMAX=5，殘差閾值調(diào)節(jié)參數(shù)α=30，點(diǎn)擴(kuò)散函數(shù)調(diào)節(jié)參數(shù)β=1，初始?xì)埐铋撝郸脑O(shè)置較低時(shí)，有利于圖像恢復(fù)，但是同噪聲及Gibbs效應(yīng)也更嚴(yán)重，因此，文中以δ=3和δ=5分別進(jìn)行兩組試驗(yàn)，試驗(yàn)所得的峰值信噪比數(shù)據(jù)如表1所示.

表1 算法改進(jìn)前后峰值信噪比

由表1的數(shù)據(jù)可知，在δ=3和δ=5兩種情況下，文中算法的客觀數(shù)據(jù)均優(yōu)于傳統(tǒng)POCS算法.為了進(jìn)一步驗(yàn)證試驗(yàn)效果，列出在δ=3和δ=5兩種情況下，3幅圖像的視覺(jué)效果對(duì)比如圖1所示.

圖1的2個(gè)子圖中第1排3幅圖是傳統(tǒng)POCS算法重建結(jié)果，第2排是文中算法重建結(jié)果，可以看出，傳統(tǒng)POCS算法重建結(jié)果在圖像邊緣附近有明顯的Gibbs效應(yīng)，而文中算法對(duì)Gibbs效應(yīng)取得了不錯(cuò)的抑制效果，重建圖像質(zhì)量更好.

由上述試驗(yàn)可知，文中算法中的殘差閾值調(diào)節(jié)參數(shù)α和點(diǎn)擴(kuò)散函數(shù)調(diào)節(jié)參數(shù)β的選取會(huì)對(duì)試驗(yàn)結(jié)果產(chǎn)生影響，具體分析如下.

1)殘差閾值調(diào)節(jié)參數(shù)α的影響

參數(shù)α用于調(diào)節(jié)殘差閾值δ的修正程度，若α太小，則起不到對(duì)δ的修正作用，無(wú)法實(shí)現(xiàn)Gibbs的抑制;若α過(guò)大，導(dǎo)致殘差閾值整體過(guò)大，則式(13)中POCS算法對(duì)真實(shí)值與模擬值的數(shù)據(jù)一致性投影修正失去意義.

2)點(diǎn)擴(kuò)散函數(shù)調(diào)節(jié)參數(shù)β的影響

參數(shù)β用于調(diào)節(jié)高斯模糊核函數(shù)和離焦模糊核函數(shù)在點(diǎn)擴(kuò)散函數(shù)的選取中所占的比重，它根據(jù)算子M相應(yīng)區(qū)域錯(cuò)誤投影程度決定模糊核函數(shù)的選取.β過(guò)小或過(guò)大都會(huì)導(dǎo)致某一種模糊核函數(shù)的過(guò)度使用用，造成重建圖像Gibbs效應(yīng)嚴(yán)重或是過(guò)度模糊.

圖1 算法改進(jìn)前后視覺(jué)效果對(duì)比

4 結(jié)論

1)算法在傳統(tǒng)POCS重建算法的基礎(chǔ)上做出改進(jìn)，獲得能夠反映欠投影和過(guò)投影信息的投影修正算子.

2)對(duì)殘差閾值和點(diǎn)擴(kuò)散函數(shù)進(jìn)行修正，有效抑制了Gibbs效應(yīng).仿真試驗(yàn)證明了文中算法在客觀數(shù)據(jù)和視覺(jué)效果方面都優(yōu)于傳統(tǒng)POCS算法.

3)文中算法尚存在一些問(wèn)題，譬如算法復(fù)雜程度增加，導(dǎo)致程序運(yùn)行時(shí)間變長(zhǎng);一些參數(shù)的選取不當(dāng)會(huì)導(dǎo)致重建效果變差，這些問(wèn)題都會(huì)在以后的研究中解決.

References)

［1］ Farsiu S，Robinson D，Elad M，et al.Advances and challenges in super-resolution［J］.International Journal of Imaging Systems and Technology，2004，14(2):47-57.

［2］ van Ouwerkerk JD.Image super-resolution survey［J］.Image and Vision Computing，2006，24(10):1039-1052.

［3］ Qin Fengqing，He Xiaohai，Chen Weilong，et al.Video super-resolution reconstruction based on subpixel registration and iterative back projection ［J］.Journal of Electronic Imaging，2009，doi:10.1117/1.3091936.

［4］ Chang Hong，Yeung D Y，Xiong Yimin.Super-resolution through neighbor embedding［C］∥Proceedings of the2004IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE Computer Society，2004:1275-1282.

［5］ Tian B，Sclabassi R J，Hsu JT，et al.POCS superresolution image reconstruction using wavelet transform［C］∥Proceedings of2004International Symposium on Intelligent Signal Processing and Communication Systems.Seoul:IEEE，2004:67-70.

［6］ Xie Wei，Zhang Feiyan，Chen Hao，et al.Blind superresolution image reconstruction based on POCSmodel［C］∥Proceedings of2009International Conference on Measuring Technology and Mechatronics Automation.Zhangjiajie，China:IEEE Computer Society，2009:437-440.

［7］ 陳光盛，李樹濤.MAP和POCS算法實(shí)現(xiàn)超分辨率圖像的重建［J］.科學(xué)技術(shù)與工程.2006，6(4):396-399.Chen Guangsheng，Li Shutao.Reconstruction of superresolution image using MAP and POCS algorithms［J］.Science Technology and Engineering，2006，6(4):396-399.(in Chinese)

［8］ 肖創(chuàng)柏，段 娟，禹 晶.序列圖像的POCS超分辨率重建方法［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2009，35(1):108-113.Xiao Chuangbai，Duan Juan，Yu Jing.POCS super-resolution reconstruction from image sequences［J］.Journal of Beijing University of Technology，2009，35(1):108-113.(in Chinese)

［9］ 田敬北，侯天峰，李夢(mèng)和.基于POCS框架的時(shí)空聯(lián)合自適應(yīng)視頻超分辨率重建算法［J］.計(jì)算機(jī)應(yīng)用研究，2011，28(7):2778-2781.Tian Jingbei，Hou Tianfeng，Li Menghe.Spatio-temporal adaptive super-resolution reconstruction of video based on POCS frame ［J］.Application Research of Computers，2011，28(7):2778-2781.(in Chinese)

［10］ 楊 欣，王從慶，費(fèi)樹岷.基于最大后驗(yàn)概率的SAR圖像自適應(yīng)超分辨率盲重建［J］.宇航學(xué)報(bào)，2010，31(1):217-221.Yang Xin，Wang Congqing，F(xiàn)ei Shumin.An adaptive technology for SAR image blind super-resolution based on MAP［J］.Journal of Astronautics，2010，31(1):217-221.(in Chinese)