干宗良，粱秀聚

（南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003）

在圖像采集處理中，為了提高圖像的分辨力，最直接的辦法是提高硬件設(shè)備的采集能力或圖像增強(qiáng)技術(shù)[1-2]。但這種方式不僅成本高，還受到物理極限的限制。超分辨力重建是一種基于信號(hào)處理理論的軟件技術(shù)，能在不改變硬件設(shè)備的情況下有效地提高圖像分辨力，增加細(xì)節(jié)和信息[3-4]。它已成為圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)。現(xiàn)有的超分辨力重建技術(shù)可分為兩類：基于約束集的算法和學(xué)習(xí)算法?；诩s束集的算法就是對(duì)圖像獲取過程中的降質(zhì)過程建立先驗(yàn)?zāi)Ｐ停ㄟ^求解模型的逆問題來重建高分辨力圖像（例如反向迭代投影算法[5]，雙邊濾波反向投影算法[6]）。然而，要達(dá)到較好的效果，這類方法不僅需要解決一個(gè)圖像亞像素的對(duì)齊問題，同時(shí)還受到放大倍數(shù)的制約。因此，這種傳統(tǒng)的基于約束集的算法繼續(xù)發(fā)展的潛力有限。學(xué)習(xí)算法被認(rèn)為是很有潛力的超分辨力重建算法，得到了很多學(xué)者的關(guān)注[7-10]。它是通過學(xué)習(xí)高低分辨力圖像塊之間的關(guān)系，指導(dǎo)圖像的高頻信息重建。

基于圖像稀疏冗余模型的算法，通過學(xué)習(xí)訓(xùn)練集中低分辨力圖像與相應(yīng)的高分辨力圖像之間的關(guān)系，利用這種關(guān)系來指導(dǎo)其他圖像的超分辨力重建，在放大倍數(shù)較大時(shí)仍有較好的重建效果。Jianchao Yang等在2008年提出了基于稀疏描述的圖像超分辨力重建技術(shù)[9]，此算法基于壓縮感知理論，信號(hào)的稀疏描述可由其下采樣后的信號(hào)精確恢復(fù)。在解決圖像超分辨力重建問題中可描述為：高分辨力圖像塊的稀疏表示系數(shù)可由相應(yīng)的低分辨力圖像塊精確恢復(fù)。在建立一個(gè)合適的過完備圖像塊庫后，計(jì)算出輸入的低分辨力圖像塊的稀疏線性表示系數(shù)，然后利用這些系數(shù)結(jié)合高分辨力圖像庫，重建相應(yīng)的高分辨力圖像塊?；谙∈杳枋龇椒ǖ娜秉c(diǎn)是計(jì)算復(fù)雜度較大。Jianchao Yang等在2010年又對(duì)此方法做出了改進(jìn)，加入了字典訓(xùn)練過程，并且為確保高、低分辨力圖像塊表示系數(shù)的一致性，對(duì)采集到的高、低分辨力圖像塊進(jìn)行聯(lián)合訓(xùn)練[10]。相比之前直接利用原圖像塊集，此方法獲得的字典更緊致，在很大程度上降低了重建的計(jì)算復(fù)雜度。

在實(shí)際應(yīng)用中，評(píng)價(jià)一個(gè)圖像超分辨力重建算法的好壞，除比較其重建圖像的主客觀質(zhì)量外，還要考慮其重建的時(shí)間消耗?；谙∈杓s束的算法在重建時(shí)需要對(duì)每個(gè)小圖像塊進(jìn)行稀疏線性表示系數(shù)的計(jì)算，其計(jì)算復(fù)雜度較高。并針對(duì)其計(jì)算復(fù)雜度高的問題，本文提出了一種基于K均值聚類的自適應(yīng)快速重建方法。所提算法從兩個(gè)方面降低其計(jì)算復(fù)雜度：1）分類訓(xùn)練字典，對(duì)圖像塊歸類重建，降低每個(gè)圖像塊所用字典的大?。?）對(duì)圖像塊的特征進(jìn)行分析，自適應(yīng)地選擇重建方法。實(shí)驗(yàn)結(jié)果表明，本文提出的快速重建方法在重建質(zhì)量與原算法相當(dāng)?shù)那疤嵯?，可以較大程度地降低重建時(shí)間。

1 基于稀疏約束的超分辨力重建算法[8]

稀疏約束是假定高分辨力圖像塊能由一個(gè)合適的過完備字典中的原子稀疏線性表示，且其表示系數(shù)能由相對(duì)應(yīng)的低分辨力圖像塊獲得

式中：x為高分辨力圖像X中的某圖像塊，為一維向量；Dh為由訓(xùn)練集中高分辨力圖像塊訓(xùn)練得到的字典；a為稀疏表示系數(shù)，為一維向量，可由輸入的低分辨力圖像Y中相應(yīng)的圖像塊y，結(jié)合低分辨力圖像塊字典Dl獲得，其中要求字典Dh與Dl通過聯(lián)合訓(xùn)練獲得。式（1）是一個(gè)NP難問題，可以通過松弛算法，將L0范數(shù)問題轉(zhuǎn)換為L(zhǎng)1范數(shù)問題。

對(duì)于輸入的低分辨力圖像塊y，其稀疏表示系數(shù)a可由式（2）獲得

式中：F是一個(gè)特征值提取操作符，用于提取標(biāo)識(shí)本圖像塊的特征。式（2）還可由拉格朗日乘子轉(zhuǎn)換為一個(gè)等價(jià)的公式

式中：參數(shù)λ用來平衡解的稀疏度與低分辨力圖像塊Y的重建誤差。為實(shí)現(xiàn)相鄰圖像塊之間的兼容，需要在對(duì)圖像分塊處理時(shí)進(jìn)行一定的重疊，則上述最優(yōu)化問題可轉(zhuǎn)化為

式中：矩陣P提取當(dāng)前重建塊中與已重建部分的重疊像素；w是重疊區(qū)域的已重建的像素。

式（4）同樣可由拉格朗日乘子轉(zhuǎn)換為一個(gè)等價(jià)的公式

通過上式求出最優(yōu)解a*后，結(jié)合相應(yīng)的高分辨力字典Dh，即可重建出高分辨力圖像塊

2 基于K均值聚類的自適應(yīng)稀疏描述的快速超分辨力重建方法

2.1 問題描述

首先建一個(gè)高、低分辨力圖像塊樣本庫，訓(xùn)練成大小分別為250，500，1 000，2 000，4 000的字典，然后對(duì)同一幅圖像進(jìn)行重建，記錄其重建消耗的時(shí)間。圖1是對(duì)兩幅大小不同的圖像重建消耗的時(shí)間進(jìn)行統(tǒng)計(jì)的結(jié)果。

從圖1中可以看出，重建消耗的時(shí)間與字典的大小近似成線性關(guān)系，因此，有效地降低字典的大小能降低重建消耗的時(shí)間。而對(duì)樣本圖像塊分類可以有效地降低字典的大小。

在不影響重建效果的前提下，可以用計(jì)算復(fù)雜度低的算法取代高復(fù)雜度的算法。對(duì)圖像進(jìn)行分塊，分別比較雙立方插值與基于稀疏約束模型的重建算法的重建效果，如圖2所示。其中，白色的點(diǎn)標(biāo)識(shí)代表基于稀疏約束的算法優(yōu)于雙立方插值算法，黑色的點(diǎn)標(biāo)識(shí)代表兩個(gè)重建效果相差不大，以PSNR值為衡量標(biāo)準(zhǔn)。

圖1 不同大小的字典重建圖像消耗的時(shí)間

圖2 雙立方插算法與基于稀疏約束模型的重建算法的比較

從圖2中可以看出，在圖像的平滑區(qū)域，兩種算法的重建效果相差不大，可以用復(fù)雜度低的雙立方插值算法取代基于稀疏約束模型的重建算法。因此，在重建過程中，可以根據(jù)圖像塊的特征自適應(yīng)地選擇重建方法，降低算法的計(jì)算復(fù)雜度。

2.2 算法描述

綜上所述，本文的算法框圖如圖3所示。針對(duì)一個(gè)待重建的圖像塊：1）首先判斷圖像塊的方差，如果小于預(yù)定門限，則直接進(jìn)行雙立方內(nèi)插，如果大于門限，則進(jìn)行基于稀疏字典約束的SR重建；2）對(duì)于需要進(jìn)行基于稀疏字典約束的SR重建的圖像塊，根據(jù)分類結(jié)果，選擇合適的字典庫，進(jìn)行相應(yīng)稀疏約束的重建，如式（5）。

2.2.1 基于K均值聚類的字典庫訓(xùn)練

在字典訓(xùn)練階段，先利用K-Means聚類算法[9]對(duì)樣本圖像塊進(jìn)行分類。然后，對(duì)每個(gè)聚類的圖像塊單獨(dú)進(jìn)行字典訓(xùn)練，生成K個(gè)子字典。其與原訓(xùn)練字典方法的區(qū)別如圖4所示，圖4b中要求K個(gè)聚類子字典大小之和等于未分類字典D的大小。

在圖像的重建過程中，首先對(duì)圖像進(jìn)行分塊，然后對(duì)每個(gè)待重建的圖像塊進(jìn)行歸類，選擇其所屬聚類的字典進(jìn)行重建。其中，對(duì)圖像塊的歸類方法是：計(jì)算此圖像塊的特征向量與K個(gè)聚類的中心點(diǎn)的歐氏距離，比較K個(gè)距離的大小，將其歸為距離最小的聚類，如式（7）及式（8）所示

圖4 字典訓(xùn)練流程圖

式中：y表示圖像塊的特征向量；ci表示第i聚類的中心點(diǎn)。

本文將樣本圖像塊分為8類，圖5是分類前后高分辨力圖像塊的字典。其中，原字典展示的是前80個(gè)原子，而分類字典展示的是每一類的前10個(gè)原子。

選擇5個(gè)圖像塊用上述兩個(gè)字典進(jìn)行重建時(shí)的稀疏表示原子進(jìn)行了跟蹤，如圖6所示。其中，圖6a是低分辨力圖像塊特征放大3倍的結(jié)果，圖6b及圖6c分別是原字典及分類后的字典中用來稀疏線性表示相應(yīng)低分辨力圖像塊的原子，圖中只顯示了稀疏表示系數(shù)較大的前5個(gè)原子。

從圖6可以看出，對(duì)一個(gè)低分辨力圖像塊，在分類后的子字典中找到的稀疏線性表示原子與在原字典中找到的原子的紋理相近，從而可以確保使用分類的子字典進(jìn)行圖像重建的效果。

2.2.2 自適應(yīng)內(nèi)容的超分辨力重建

對(duì)圖像分塊后，先計(jì)算每塊圖像的方差，然后根據(jù)方差大小自適應(yīng)地選擇重建方法。如果小于設(shè)定的門限值，則利用雙立方插值進(jìn)行重建。

在具體實(shí)現(xiàn)過程中，由于不同的算法重建的圖像是有一定區(qū)別的，對(duì)圖像塊使用不同的重建算法具有一定的拼接效應(yīng)。因此，需要加入局部重建約束，平滑兩種算法的結(jié)合處。

局部重建約束是通過加強(qiáng)基于稀疏約束算法重建的圖像塊與雙立方算法重建結(jié)果的相似性，降低重建圖像的拼接效應(yīng)，其約束條件為

式中：xSR與xBic分別表示基于稀疏約束重建圖像塊的特征向量與雙立方算法重建的圖像塊特征向量；γ為常量。

3 實(shí)驗(yàn)結(jié)果

在仿真實(shí)驗(yàn)中，基于K均值聚類的算法與原算法使用相同的圖像訓(xùn)練集。圖7是實(shí)驗(yàn)所使用的圖像訓(xùn)練集，圖8是實(shí)驗(yàn)所使用的測(cè)試圖像。與原未分類的算法進(jìn)行兩方面的比較：1）重建消耗的時(shí)間；2）重建圖像的主客觀質(zhì)量。對(duì)于原算法，從圖像訓(xùn)練集中選取20 000個(gè)高、低分辨力圖像塊對(duì)，然后將其訓(xùn)練成大小為2 000的字典，其中低分辨力圖像塊大小為3×3，高分辨力圖像塊大小為9×9。對(duì)于K均值聚類的算法，在從圖像訓(xùn)練集中選取樣本圖像塊對(duì)后，首先要利用K-Means聚類算法對(duì)其分類，本文共分為8類；然后，分別對(duì)此8類樣本圖像塊進(jìn)行字典訓(xùn)練，其中每類子字典的大小與其所對(duì)應(yīng)的樣本庫的大小成正比，所有子字典大小之和為2 000。重建均采用全局約束方式。

對(duì)圖8a～圖8f這6幅圖像進(jìn)行了測(cè)試。首先，將原始高分辨圖像進(jìn)行高斯濾波模糊、3倍下采樣；然后，將降質(zhì)后的圖像用此兩種算法進(jìn)行重建。其中，降質(zhì)過程所用的高斯核函數(shù)的窗口為5，方差為1。并且在實(shí)驗(yàn)中只對(duì)彩色圖像的亮度通道進(jìn)行重建，而對(duì)色差信號(hào)只進(jìn)行簡(jiǎn)單的雙立方插值處理。在重建過程中，兩種算法的重建參數(shù)設(shè)置完全相同。相鄰塊之間的重疊為2，放大倍數(shù)為3，全局約束采用迭代反投影算法。

1）重建時(shí)間的比較

本文提出的算法的計(jì)算復(fù)雜度與圖像的紋理特征相關(guān)，重建效率的提高程度因圖而異，下面列出了6幅大小不同的圖像的測(cè)試結(jié)果作為參考，見表1。其中，SR算法代表原始算法，兩種算法在相同的測(cè)試環(huán)境下運(yùn)行。從表1中可以看出本文提出的算法在很大程度上縮短了重建時(shí)間，平均縮短7倍左右。

表1 兩種算法重建時(shí)間的比較

2）重建效果的比較

實(shí)驗(yàn)分別從主觀及客觀兩個(gè)方面進(jìn)行重建質(zhì)量的比較，表2中列出了3幅圖像的重建客觀質(zhì)量，以PSNR及FSIM[10]為衡量標(biāo)準(zhǔn)，并且加入了雙立方插值算法的結(jié)果作為參考，其中SR_glb算法及本文算法均加入了全局重建約束，兩種算法采用相同的全局后處理方法。從表中可以看出，本文提出的快速重建算法在客觀重建質(zhì)量上與原算法相當(dāng)。

表2 不同算法的客觀重建質(zhì)量

為給出較清晰的主觀視覺的比較，實(shí)驗(yàn)截取了3幅測(cè)試圖像的重建結(jié)果，如圖9～圖11所示。從圖中可以看出，與雙立方插值算法相比，基于稀疏約束模型重建的圖像紋理細(xì)節(jié)較清晰，且本文提出的快速重建方法保留了原算法的優(yōu)勢(shì)，在主觀視覺上與原算法相當(dāng)。

從以上兩個(gè)方面的比較可以得出，本文提出的基于K均值聚類的自適應(yīng)快速重建方法可在保證重建主、客觀質(zhì)量與原算法相當(dāng)?shù)那疤嵯拢档突谙∈杓s束模型算法的計(jì)算復(fù)雜度，從而可以縮短圖像超分辨力重建消耗的時(shí)間。

4 結(jié)論

本文首先簡(jiǎn)要介紹了基于稀疏約束的算法，并針對(duì)其計(jì)算復(fù)雜度高的問題，提出了一種基于K均值聚類的自適應(yīng)快速重建方法。所提算法從兩個(gè)方面降低其計(jì)算復(fù)雜度：1）分類訓(xùn)練字典，對(duì)圖像塊歸類重建，降低每個(gè)圖像塊所用字典的大小；2）對(duì)圖像塊的特征進(jìn)行分析，自適應(yīng)地選擇重建方法。實(shí)驗(yàn)結(jié)果表明，本文提出的快速重建方法在重建質(zhì)量與原算法相當(dāng)?shù)那疤嵯?，可以較大程度地降低重建時(shí)間。

[1]任炎輝，李僅偉，畢衛(wèi)紅.一種優(yōu)化參數(shù)的圖像增強(qiáng)算法[J].電視技術(shù)，2012，36（3）：7-10.

[2]俞志峰，張樂，江浩，等.一種提升電視圖像質(zhì)量的自適應(yīng)去隔行算法[J].電視技術(shù)，2010，34（S1）：73-75.

[3]PARK S C，PARK M K，KANG M G.Super-resolution image reconstruction:a technical review[J].IEEE Signal Processing Magazine，2003，5（21）：21-36.

[4]FARSIU S，ROBINSON M D，ELAD M.Fast and robust multiframe super resolution[J].IEEE Trans.Image Processing，2004，13（10）：1327-1344.

[3]IRANI M，PELEG S.Motion analysis for image enhancement:resolution,occlusion and transparency[J].Journal of Visual Communication and Image Representation，1993，4（4）：324-355.

[4]DAI Shengyang，HAN Mei，WU Ying，et al.Bilateral back-projection for single image super resolution[C]//Proc.IEEE Conference on Multimedia and Expo,2007.[S.l.]：IEEE Press，2007：1039-1042.

[5]FREEMAN W T，JONES T R，PASZTOR E C.Example-based super-resolution[J].IEEE Computer Graphics and Applications，2002，22（2）：56-65.

[6]CHANG Hong，YEUNG D Y，XIONG Yimin.Super-resolution through neighbor embedding[C]//Proc.IEEE conference on CVPR.[S.l.]：IEEE Press，2004：275-282.

[7]YANG Jianchao，WRIGHT J，HUANG T，et al.Image super-resolution as sparse representation of raw image patches[C]//Proc.IEEE conference on CVPR.[S.l.]：IEEE Press，2008：1-8.

[8]YANG Jianchao，WRIGHT J，HUANG T，et al.Image super-resolution via sparse representation[J].IEEE Trans.Image Processing，2010，19（11）：2861-2873.

[9]DAVID J C M.Information theory,inference and learning algorithms[M].[S.l.]：Cambridge University Press，2003：284-292.

[10]ZHANG Lin，ZHANG Lei，MOU X，et al.FSIM:A feature similarity index for image quality assessment[J].IEEE Trans.Image Processing，2011，20（8）：2378-2386.