黎海雪，林海濤，姚曉誠

?

基于時空域三維約束的多幀圖像超分辨算法

黎海雪1，林海濤1，姚曉誠2

（1. 海軍工程大學(xué)電子工程學(xué)院，武漢 430033；2. 河北省國控投資管理有限公司綜合辦公室，河北石家莊 050000）

對基于時空域三維正則約束的多幀圖像超分辨算法進(jìn)行了研究，首先在基于馬爾科夫隨機(jī)場的自適應(yīng)正則約束的基礎(chǔ)上，進(jìn)一步引入多幀圖像間的時域約束，建立了時空域三維正則約束模型，并提出了相應(yīng)的超分辨方法；之后通過仿真實驗對本文方法進(jìn)行了仿真測試，結(jié)果表明本文方法能夠取得更好的超分辨效果。

時空域 三維約束 多幀圖像 超分辨算法

0 引言

單幀圖像超分辨只依賴于單幀低分辨率圖像對高分辨率圖像進(jìn)行重建，可用信息量少，重建問題的不適定性較強(qiáng)，因而重建結(jié)果經(jīng)常出現(xiàn)模糊效應(yīng)、振鈴效應(yīng)等，影響超分辨結(jié)果的視覺效果。隨著相機(jī)工藝的不斷提升，特別是智能手機(jī)等消費級相機(jī)的普及，人們可以隨時隨地隨手進(jìn)行拍攝。隨著相機(jī)CCD陣列信噪比的不斷提升，曝光時間大大縮短，使得高幀頻連續(xù)拍攝成為可能。為此人們希望通過連續(xù)拍攝的多幀低分辨率圖像重建得到原始場景的高分辨率圖像，即多幀圖像超分辨。

多幀圖像超分辨問題中的多幀低分辨率輸入圖像一般視為同一成像條件下、同一設(shè)備對同一場景在短時間內(nèi)的連續(xù)成像，由于智能手機(jī)等手持設(shè)備在連續(xù)拍攝過程中由于手部抖動等因素，造成多幀低分辨率連續(xù)成像之間存在細(xì)微的位移，如何處理多幀低分辨率圖像間的位移關(guān)系，實現(xiàn)多幀低分辨率圖像信息的有效融合，是多幀圖像超分辨的關(guān)鍵。傳統(tǒng)方法主要依賴于圖像配準(zhǔn)提供多幀低分辨率圖像間的位移關(guān)系，但光流法[1]等圖像配準(zhǔn)方法計算量較大，同時先配準(zhǔn)后融合的超分辨方法造成了兩個環(huán)節(jié)的割裂，配準(zhǔn)誤差容易造成圖像融合后產(chǎn)生振鈴等效應(yīng)；為了實現(xiàn)自適應(yīng)的多幀低分辨率圖像融合，文獻(xiàn)[2]中提出的基于馬爾科夫隨機(jī)場模型的自適應(yīng)正則約束進(jìn)一步推廣到多幀圖像超分辨問題中，實現(xiàn)了多幀低分辨率圖像的自適應(yīng)融合與超分辨。

1 基于時空域三維約束的多幀圖像超分辨算法

對于多幀圖像超分辨來說，多幀低分辨率圖像雖然提供了信息增量，與單幀圖像超分辨問題相比有一定程度的適定化，但如何實現(xiàn)多幀低分辨率圖像的融合成為影響多幀圖像超分辨性能的關(guān)鍵。傳統(tǒng)的多幀圖像超分辨多采用兩段式的處理方式，即先對多幀低分辨率圖像進(jìn)行圖像配準(zhǔn)，之后對高分辨圖像進(jìn)行迭代重建，而重建過程中的正則項只考慮單幀圖像中的空域信息，多幀圖像間的時域信息沒有得到較好的利用。針對這一問題，本節(jié)利用馬爾科夫隨機(jī)場模型描述多幀圖像中時空域局部鄰域特性，并據(jù)此建立時空域三維自適應(yīng)約束，從而在空域自適應(yīng)正則化的基礎(chǔ)上，進(jìn)一步充分利用了多幀圖像間的時域信息，提高了正則項的準(zhǔn)確性，提高了多幀圖像超分辨的性能。

2 時空域馬爾科夫隨機(jī)場模型

2.1 先驗概率模型

令圖像標(biāo)記層的標(biāo)記值表示圖像像元的局部突變特性，即像元為邊緣的可能性，為此定義N分類的圖像標(biāo)記值取值集合為：

為了提高先驗概率模型對圖像的自適應(yīng)描述能力，設(shè)計了單位置勢函數(shù)與雙位置勢函數(shù)兩種不同類型的勢函數(shù)。其中單位置勢函數(shù)主要以抑制圖像中的高頻信息為主；雙位置勢函數(shù)主要考慮到圖像三維局部鄰域空間內(nèi)的一致性。得到單位置勢函數(shù)與雙位置勢函數(shù)：

圖1 三維鄰域空間示意圖

2.2 條件似然概率模型

先驗概率模型建立了三維局部鄰域空間內(nèi)標(biāo)記值間的概率關(guān)系，參考經(jīng)典的馬爾科夫隨機(jī)場模型，得到時空域三維空間下的條件似然概率模型為：

作為一個典型的二次型問題，可以解得

2.3 生成的馬爾科夫隨機(jī)場模型

得到先驗概率模型與條件似然概率模型后，即可得到最終的馬爾科夫隨機(jī)場模型為

時空域三維馬爾科夫隨機(jī)場模型作為生成的馬爾科夫隨機(jī)場模型，同樣需要通過迭代最大化馬爾科夫隨機(jī)場模型的概率值得到最終的圖像標(biāo)記值，因此同樣需要設(shè)置收斂條件判斷迭代是否需要停止。

3 基于時空域馬爾科夫隨機(jī)場模型的三維正則約束

參考文獻(xiàn)[2]基于馬爾科夫隨機(jī)場模型的自適應(yīng)正則約束，將其進(jìn)一步推廣至?xí)r空域三維空間，得到自適應(yīng)正則約束項為：

4 基于時空域三維約束的多幀圖像超分辨算法

輸出：多幀圖像超分辨重建結(jié)果

圖2 算法流程圖

5 仿真分析

為了驗證本文提出的基于時空域三維自適應(yīng)約束的多幀圖像超分辨算法性能的有效性，本節(jié)對所提算法進(jìn)行了大量的仿真實驗。首先，利用本文所提算法與典型多幀圖像超分辨算法進(jìn)行了對比試驗；最后對本文所提算法的魯棒性進(jìn)行了分析。在對比實驗中，本節(jié)選擇了經(jīng)典的Tikhonov正則化多幀圖像超分辨方法[3]、TV正則化多幀圖像超分辨方法[4]、BTV正則化多幀圖像超分辨方法[5,6]作為典型的多幀圖像超分辨方法。

本節(jié)利用Set5與Set14中的原始圖像作為高分辨率圖像，隨機(jī)生成-1個二維偏移向量(△,△)，其中△表示方向的偏移量，且△∈(-1，1)，△表示y方向的偏移量，且△∈(-1，1)這里只考慮幀間偏移量為亞像元情況，對于偏移量超過1的情況，可以先配準(zhǔn)轉(zhuǎn)換為亞像元。之后利用Matlab自帶的imresize()函數(shù)在bicubic模式下對幀高分辨率圖像進(jìn)行縮放，得到不同縮放因子下的低分辨率圖像，并將低分辨率圖像作為輸入，對比不同算法的超分辨性能。參照其他論文中仿真設(shè)置，本節(jié)同樣只在Y通道對圖像進(jìn)行超分辨操作，對于CbCr通道只利用bicubic上采樣進(jìn)行插值放大，最后將得到Y(jié)cbCr通道重新轉(zhuǎn)換回RGB通道得到最終超分辨結(jié)果。

5.1 超分辨性能對比分析

多幀圖像超分辨中使用低分辨率圖像的幀數(shù)，空域鄰域系統(tǒng)權(quán)重s，時域鄰域系統(tǒng)權(quán)重w，參考其他論文中參數(shù)，=10，s=1，w=1，超分辨性能達(dá)到最佳。利用Tikhonov正則化、TV正則化多、BTV正則化作為多幀圖像超分辨對比方法，在Set5與Set14兩個數(shù)據(jù)集上對不同縮放因子進(jìn)行了對比試驗，得到不同情況下各超分辨方法的PSNR與SSIM如表1所示。

表1 不同方法超分辨性能對比

表2 不同噪聲強(qiáng)度下不同方法超分辨性能對比

通過表1可以看出，本文提出的多幀圖像超分辨方法的超分辨性能較其他多幀超分辨算法優(yōu)勢有明顯提高。進(jìn)一步對比同縮放因子下多幀圖像超分辨算法的性能可以看出，本文所提方法在Set5與Set14兩個數(shù)據(jù)集上均取得了較好的超分辨效果當(dāng)縮放因子為2時，在Set5數(shù)據(jù)集上，本文所提方法的PSNR/SSIM值與Tikhonov正則化方法、TV正則化方法以及BTV正則化方法相比，分別提高了0.64，0.27，0.07dB；當(dāng)縮放因子進(jìn)一步提高到3、4時，本文所提方法仍然具有性能優(yōu)勢。

當(dāng)縮放因子為4時，在Set5與Set14兩個數(shù)據(jù)集上，統(tǒng)計得到本文所提算法與多幀圖像超分辨對比算法的PSNR與運行時間對照圖3所示。

通過圖3可以看出，本文所提方法由于在超分辨過程中需要同步對馬爾科夫隨機(jī)場模型進(jìn)行迭代，每次迭代的計算量高于TV正則方法、BTV正則方法，因此運行時間略長，但本文所提方法取得了最優(yōu)的超分辨性能。整體來看，本文所提多幀圖像超分辨方法在保證較高的運行效率基礎(chǔ)上，取得了較好的超分辨效果，在實際應(yīng)用中具有較高的應(yīng)用價值。

圖3 不同方法超分辨性能與運行時間關(guān)系圖

5.2 魯棒性分析

進(jìn)一步通過上表可以看出，本文所提算法與其他對比算法相比，在不同噪聲強(qiáng)度下的PSNR/SSIM值均達(dá)到最優(yōu)。當(dāng)噪聲強(qiáng)度為2時，在Set5數(shù)據(jù)集上，本文所提方法的PSNR/SSIM值與雙三次插值方法、Tikhonov正則化方法、TV正則化方法以及BTV正則化方法相比，分別提高了0.78，0.18，0.07，0.06 dB；當(dāng)噪聲強(qiáng)度進(jìn)一步提高到4時，本文所提方法仍然具有性能優(yōu)勢。

6 總結(jié)

本文主要對多幀圖像超分辨問題進(jìn)行了研究。傳統(tǒng)的多幀圖像超分辨方法主要通過圖像配準(zhǔn)后的圖像融合實現(xiàn)超分辨，但這種兩段式的處理流程容易在圖像配準(zhǔn)環(huán)節(jié)引入誤差，影響圖像超分辨性能，同時傳統(tǒng)的正則化方法難以充分利用多幀圖像中的時空域信息，容易產(chǎn)生模糊、振鈴等效應(yīng)，影響超分辨的視覺效果。

[1] Strecha C, Gool L V, Fransens R. Optical flow b-ased super-resolution: A probabilistic approach[J]. Computer Vision & Image Understanding, 2007, 106(1): 106-115.

[2] 秦龍龍, 錢淵, 張曉燕等. 基于自適應(yīng)約束正則HL-MRF先驗?zāi)Ｐ偷腗AP超分辨率重建[J]. 計算機(jī)應(yīng)用, 2015, 35(2): 506-509.

[3] X. Zhang, E.Y. Lam, E.X. Wu, K.K. Wong. Appl-ication of Tikhonov regularization to super-resolut-ion reconstruction of brain MRI image[J]. LectureNotes in Computer Science, 2008, 4987: 51-56.

[4] M. K. Ng, H. Shen, E. Y. Lam, L. Zhang. A total variation regularization based super-resolution reconstruction algorithm for digital video [J]. EURASIP Journal on advances in signal processing, 2007, 74585: 1-16.

[5] S. Farsiu, M. D. Robinson, M. Elad, P. Milanfar. Fast and robust multi-frame superresolution [J]. IEEE Transactions on Image Processing, 2004, 13(10): 1327-1344.

[6] 路陸, 金偉其, 王霞等. 基于低分辨率圖像約束的BTV圖像去模糊算法[J]. 北京理工大學(xué)學(xué)報, 2017, 37(6): 644-649.

Multi-frame Image Super-resolution Algorithm Based on Space-time Three-dimensional Constraints

Li Haixue1, Lin Haitao1, Yao Xiaocheng2

（1. School of Electronic Engineering, Naval University of Engineering, Wuhan 430033, China；2. Integrated Office of Hebei Province State Control Investment Management, Shijiazhuang 050000, Hebei, China）

TM391.41

A

1003-4862（2019）03-0057-05

2018-08-10

黎海雪（1983-），男，助理工程師。研究方向：通信與信息系統(tǒng)技術(shù)及應(yīng)用。E-mail: 1365548@qq.com。