楊 飚， 邸 苗

(北方工業(yè)大學(xué) 城市道路交通智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100144)

0 引 言

圖像超分辨率(super resolution ,SR)重建是一種利用單幅或者多幅低分辨率(low resolution,LR)圖像進(jìn)行重建從而得到高分辨率(high resolution,HR)圖像的數(shù)字信號處理技術(shù)。一般而言，多幅圖像的超分辨率重建(SR reconstruction,SRR)算法利用了多幅圖像間的互補(bǔ)信息，圖像質(zhì)量較單幅重建算法更高，因此，本文主要研究基于多幅圖像的超分辨率算法。近年來,基于學(xué)習(xí)的SRR算法成為了SRR算法的重要研究方向，其中基于稀疏理論的超分辨率算法具有良好的重建效果，已被廣泛地應(yīng)用于圖像處理的各個(gè)領(lǐng)域[1,2]。由壓縮感知(compressive sensing)理論[3,4]出發(fā)根據(jù)稀疏表示理論，Yang J C等人[5]提出了一種基于稀疏表示的單幅圖像SRR算法，其算法重建得到的圖像重建質(zhì)量較高，但重建速度較慢。針對該問題，孫玉寶等人[6]通過改進(jìn)稀疏性正則化的多幀圖像超分辨凸變分模型優(yōu)化。曹翔等人[7]提出了通過一種優(yōu)化的廣義正交匹配追蹤算法改進(jìn)稀疏表示算法。沈輝等人[8]提出了基于預(yù)測稀疏編碼的單幅圖像SRR算法。但是上述方法并未達(dá)到理想的重建效果，所以,本文提出了一種基于多幅圖像的快速SRR算法，通過改善稀疏表示算法和優(yōu)化圖像融合方法來提高圖像SRR速度。引入優(yōu)化算法加速稀疏分解獲得稀疏表示；利用多幅圖像稀疏表示后的信息進(jìn)行超分辨率圖像融合。實(shí)驗(yàn)表明：在改善圖像重建質(zhì)量的同時(shí)，本文方法顯著地提高了圖像SRR的速度。

1 稀疏表示的SRR算法

稀疏表示的多幅圖像SRR算法的一般步驟是：圖像配準(zhǔn)、基于稀疏表示的單幅圖像SRR和圖像融合。該類算法要兼顧以上三個(gè)步驟的精準(zhǔn)性，任何的不準(zhǔn)確均會(huì)導(dǎo)致重建效果變差。除此之外，先對單幅圖像進(jìn)行重建再進(jìn)行圖像融合未充分利用稀疏表示產(chǎn)生的信息致使重建速度非常慢。

2 改進(jìn)的稀疏表示SRR算法

2.1 稀疏表示重建算法相關(guān)理論

Yang J C等人首次將壓縮感知理論引入到SRR的問題中，構(gòu)建了傳統(tǒng)的稀疏表示SRR模型?；舅枷胧菍⒆匀恍盘柤僭O(shè)為可以壓縮的信號或是可以根據(jù)預(yù)定的原子進(jìn)行線性表示[9,10]。原理如下：設(shè)給定的高、低分辨率過完備字典為{Dh,Dl}，低分辨率圖像Yi中提取的第i個(gè)低分辨率子塊yli，根據(jù)式(1)求解稀疏問題

(1)

式中α為稀疏系數(shù);Dl={d1,d2,d3,…,dL}∈RN×L(L>N)為字典；di為原子。

或者等價(jià)于求解式(2)

(2)

通過式(2)求得的稀疏系數(shù)αi，根據(jù)αi重建相應(yīng)的高分辨率子塊xhi，即

xhi=Dhαi

(3)

算法通過充分利用先驗(yàn)信息提高了圖像的重建質(zhì)量，但存在重建速度慢、重建成本高等問題。

2.2 基于粒子群優(yōu)化聚類的字典學(xué)習(xí)

基于稀疏表示的SRR算法的核心在于得到字典D的稀疏表示。為加速字典訓(xùn)練，在字典訓(xùn)練過程中本文對低分辨率樣本采用主成分分析(principal component analysis,PCA)降維。本文采用K奇異值分解(singular value decomposition,SVD)算法訓(xùn)練得到相應(yīng)的高、低分辨率字典。Yang J C等人采用最小絕對收縮和選擇算子(least absolute shrinkage and selection operator,LASSO)算法稀疏分解每個(gè)低分辨率子塊時(shí)，由于全局字典中存在與其不相關(guān)的原子會(huì)影響圖像SRR質(zhì)量和重建速度。為減少不相關(guān)原子的影響，本文根據(jù)相似度將全局字典中相似的原子聚集到同一類使得每個(gè)低分辨率子塊能夠利用一個(gè)原子聚類代替相應(yīng)的全局字典。本文采用的聚類算法為粒子群優(yōu)化(particle swarm optimization,PSO)聚類算法[11，12]。

基本PSO聚類算法的流程如下:

1)隨機(jī)選擇一個(gè)簇中心對所有粒子賦值,并隨機(jī)產(chǎn)生粒子速度；2)根據(jù)最小距離原則各個(gè)粒子對數(shù)據(jù)進(jìn)行劃分,并根據(jù)式(4)計(jì)算所有粒子的適應(yīng)值,更新粒子的個(gè)體極值；3)根據(jù)所有粒子的個(gè)體極值,找出全局極值和全局極值的位置；4)根據(jù)PSO算法的速度公式更新粒子的速度,并將其限制在Vmax內(nèi)；5)根據(jù)PSO算法的位置公式更新粒子的位置，直到滿足結(jié)束條件，算法的結(jié)束條件可以是達(dá)到一定的循環(huán)次數(shù)、簇的中心變化很小或簇的成員不再改變；6)輸出最優(yōu)粒子的位置即最優(yōu)的Nc個(gè)聚類中心。

本文應(yīng)用PSO聚類算法對低分辨率字典進(jìn)行原子聚類，相較于K均值聚類(k-means)算法具有更好的聚類穩(wěn)定性，更容易得到基于全局的最優(yōu)解。

2.3 基于稀疏表示系數(shù)融合的圖像融合

首先求解每幅低分辨率圖像在低分辨率過完備字典下的稀疏表示系數(shù)，再采用模極大值規(guī)則對每幅圖像的稀疏表示系數(shù)進(jìn)行融合，用融合系數(shù)進(jìn)行SRR。方法的關(guān)鍵是過完備字典和融合規(guī)則的選取。過完備字典下的稀疏表示系數(shù)大多均為零且稀疏表示系數(shù)代表原圖像的靜態(tài)特征,所以，選取模極大值融合規(guī)則或是線性加權(quán)的融合規(guī)則的融合效果較好。經(jīng)實(shí)驗(yàn)證明該方法相較于常規(guī)的圖像融合方法提高了重建速度。

2.4 快速SRR算法

在訓(xùn)練字典時(shí)利用PSO聚類算法對字典原子進(jìn)行聚類;通過對偶字典法快速地計(jì)算稀疏表示系數(shù);在圖像融合部分采用稀疏系數(shù)融合方法減少融合計(jì)算量提高算法的重建速度。算法步驟如下：

1)利用PSO聚類算法進(jìn)行字典訓(xùn)練得到高低分辨樣本圖像的聚類字典Dh,Dl；

2)輸入多幅低分辨率圖像yl；

3)利用對偶字典法快速得到稀疏表示稀疏a，對每幅圖像稀疏表示yl=aDl；

4)得到多個(gè)稀疏系數(shù)a1,a2,…,an；

5)選取模極大值融合方法進(jìn)行系數(shù)融合，得到融合系數(shù)a；

6)稀疏表示SRRX=aDh；

7)輸出高分辨率圖像X。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)一：有無聚類的單幅圖像超分辨率算法對比

采用峰值信噪比(peak signal to noise ratio,PSNR)作為圖像客觀評價(jià)標(biāo)準(zhǔn)，定義為

通常，均方誤差(mean square error,MSE)越小或者PSNR越大，重建圖像越逼近原始圖像,即失真越少，重建圖像質(zhì)量越高。

首先采用有無聚類算法對基于稀疏表示的單幅圖像超分辨率結(jié)果進(jìn)行對比，結(jié)果如圖1所示。

圖1 單幅圖像超分辨率算法對比結(jié)果

通過對比無聚類的稀疏表示超分辨率重建(sparse representation super-resolutin reconstruction,SR-SRR)、K均值聚類的稀疏表示SRR和PSO聚類的稀疏表示SRR3種算法可得其比較結(jié)果如表1所示。由表1可以看出單純地引入聚類算法改善了基于稀疏表示的單幅圖像SRR的重建質(zhì)量，但重建速度并沒有得到明顯改善。

表1 單幅圖像超分辨率算法對比結(jié)果

實(shí)驗(yàn)二:多幅圖SRR算法對比

從標(biāo)準(zhǔn)視頻序列Miss選取第81～84幅作為原始參照序列，每幅圖像尺寸均為176×144。然后對每幅圖像添加均值為0，標(biāo)準(zhǔn)差σ=25 的高斯白噪聲，在水平和豎直方向分別2倍降噪采樣后生成低分辨圖像序列，如圖2所示。

圖2 低分辨率圖像序列

實(shí)驗(yàn)二中通過對常規(guī)多幅SRR、只引入PSO聚類算法的多幅SRR和優(yōu)化重建速度后的多幅圖超分辨率算法進(jìn)行對比，得到對比結(jié)果如圖3所示，所得相關(guān)數(shù)據(jù)統(tǒng)計(jì)如表2所示。

圖3 多幅圖像SRR算法對比結(jié)果

多幅圖像超分辨率算法多幅PCA融合SRR多幅PSO聚類SRR加速后SRRPSNR/dB30.130633.395633.3956運(yùn)行時(shí)間/s178.040042.13008.6800

由表2可以看出相比于單幅圖像的SRR利用多幅圖像進(jìn)行SRR其重建質(zhì)量得到了明顯改善。相比較于單幅粒子群SRR，多幅粒子群聚類SRR的重建質(zhì)量提高了約7 dB，重建速度提高了約2倍，加速后且大幅減少了超分辨率圖像重建的時(shí)間。本文所提出的快速超分辨率圖像重建方法提高了圖像的重建質(zhì)量并優(yōu)化了圖像的重建速度。

4 結(jié) 論

常規(guī)的基于稀疏表示的多幅圖像SRR質(zhì)量較差且重建速度較慢，本文提出的基于稀疏表示的多幅圖像快速SRR方法通過引入PSO聚類算法保證了圖像的重建質(zhì)量，同時(shí)采用了對偶字典法和稀疏系數(shù)融合來提高SRR的速度。實(shí)驗(yàn)表明:相較于多幅PCA融合SRR，本文提出的算法框架使SRR速度提高了20倍。在后續(xù)的工作中將結(jié)合GPU加速，進(jìn)一步提高本文所提出算法框架的重建速度。

[1] 江 靜，張雪松.圖像超分辨率重建算法綜述[J].紅外技術(shù)，2012(1):24-30.

[2] 喬少華,李潤鑫,劉 輝，等.基于統(tǒng)計(jì)量的加權(quán)函數(shù)圖像重建方法[J].傳感器與微系統(tǒng),2017，36(9):53-56.

[3] Candes E J.Compressive sampling[C]∥Proc of the International Congress of Mathematicians Madrid Zarich,2006:1433-1452.

[4] Candes E J,Wakin M.An introduction compressive sampling[J].IEEE signal Processing Magazine,2008,25(2):21-30.

[5] Yang J C,Wright J,Huang T,et al.Image super-resolution as sparse representation of raw image patches[C]∥Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Anchorage,USA,2008:1-8.

[6] 孫玉寶,韋志輝,肖 亮,等.基于稀疏表示的圖像超分辨率重建快速算法[J].系統(tǒng)工程與電子技術(shù),2010,30(12):2696-2700.

[7] 曹 翔,陳秀宏,潘榮華.基于稀疏表示的快速圖像超分辨率算法[J].計(jì)算機(jī)工程,2015,41(6)：211-215.

[8] 沈 輝,袁曉彤,劉青山.基于預(yù)測稀疏編碼的快速單幅圖像超分辨率重建[J].計(jì)算機(jī)應(yīng)用,2015,35(6):1749-1752.

[9] 邱紅梅,李華鋒,余正濤.基于稀疏表示的醫(yī)學(xué)圖像融合[J].傳感器與微系統(tǒng),2017,36(10):57-60.

[10] 李 民，程 建，樂 翔，等.稀疏字典編碼的超分辨重建[J].軟件學(xué)報(bào)，2012,23(5):1315-1324.

[11] Omran G M,Salman A,Engelbrechta P.Image classification using particle swarm optimization[C] //Proc of the 4th Asia-Pacific Conference on Simulated Evolution and Learning,2002:370-374.

[12] Merwe D W vander, Engelbrecht A P. Data clustering using particle swarm optimization[C]∥Proc of IEEE Congress on Evolutionary Computation,2003:215-220.