徐弦秋，劉宏清，黎 勇,周 翊

(重慶郵電大學(xué) 移動(dòng)通信技術(shù)重慶市市級(jí)重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

0 前 言

圖像在獲取的過(guò)程中，總是會(huì)受外界條件和周圍環(huán)境的影響，導(dǎo)致圖像質(zhì)量受損。因拍攝過(guò)程中的相機(jī)抖動(dòng)和對(duì)焦不準(zhǔn)確而產(chǎn)生的圖像模糊是最常見(jiàn)的一種圖像受損。隨著手持拍攝設(shè)備的流行，如何得到一種能夠從捕捉到的圖像中去除圖像模糊的方法已經(jīng)成為研究的關(guān)鍵。

根據(jù)受損圖像信息重建清晰圖像的方法已經(jīng)有很多，現(xiàn)存的方法中大致可以分為2類：①利用已知的模糊核函數(shù)去除圖像模糊的非盲去模糊；在模糊過(guò)程未知的情況下，估計(jì)出模糊核并重建清晰圖像的盲去模糊[1-2]。很顯然，自然圖像在獲取過(guò)程中所受到的模糊損壞，其模糊過(guò)程和原始清晰圖像信息都是未知的，如何精確地估計(jì)出模糊核函數(shù)是需要關(guān)注的主要問(wèn)題。Fergus等[3]以混合高斯模型匹配自然圖像的重尾分布特征作為先驗(yàn)知識(shí)，應(yīng)用到貝葉斯框架中進(jìn)行模糊核估計(jì)；Shan等[4]提出了一種交替優(yōu)化方法，同時(shí)對(duì)模糊核和潛在圖像信息進(jìn)行聯(lián)合估計(jì)，但是算法的復(fù)雜度相對(duì)較高；在大部分現(xiàn)有的方法中，通常都是將自然彩色圖像轉(zhuǎn)化為灰度圖像進(jìn)行模糊核提取。事實(shí)上，數(shù)字照相機(jī)獲取的彩色圖像可以看做是3個(gè)色彩分量圖的疊加，即紅色、藍(lán)色和綠色(red green and blue,RGB)分量，模糊核函數(shù)對(duì)每一個(gè)色彩分量圖的影響是不同的。忽略不同分量圖中模糊核的差異將會(huì)給接下來(lái)的圖像恢復(fù)過(guò)程帶來(lái)無(wú)法避免的失真影響。

近年來(lái)，信號(hào)的稀疏表示已經(jīng)成為研究熱點(diǎn)。文獻(xiàn)[5]利用小波框架系統(tǒng)構(gòu)造字典，對(duì)圖像信號(hào)進(jìn)行稀疏表示，建立圖像復(fù)原模型，從而獲得清晰的復(fù)原圖像。但這種由固定變換域解析得到的字典，缺乏自適應(yīng)性。傳統(tǒng)的基于自適應(yīng)字典的稀疏表示通常是以圖像塊(patch)為基本單位，這種模型把每一個(gè)圖像塊當(dāng)做獨(dú)立的對(duì)象處理進(jìn)行稀疏編碼。實(shí)際上，圖像信號(hào)在非局部區(qū)域也具有相似性的特點(diǎn)。文獻(xiàn)[6]提出一種圖像非局部中心化稀疏表示模型，充分利用了圖像非局部冗余特性，降低了稀疏編碼過(guò)程中的噪聲。但該方法沒(méi)有充分結(jié)合圖像局部自適應(yīng)的特點(diǎn)建立稀疏表示表示模型。文獻(xiàn)[7]提出一種三維塊匹配算法(block matching 3D,BM3D)，利用相似圖像塊匹配得到三維數(shù)組，用聯(lián)合濾波的方法對(duì)三維數(shù)組進(jìn)行處理，逆變換后，把處理后的結(jié)果返回到原圖像中，從而得到去噪后的圖像。該算法在去噪和圖像復(fù)原上均取得了較好的效果，但聯(lián)合濾波算法的復(fù)雜度有待降低。

針對(duì)圖像模糊核只考慮在灰度域進(jìn)行估計(jì)可能存在誤差的情況，本文提出一種在RGB通道中分別估計(jì)模糊核函數(shù)的方法，然后針對(duì)不同分量圖所得到的模糊核，充分利用自然圖像自身特點(diǎn)，以結(jié)構(gòu)組為基本單位代替單一的圖像塊建立組稀疏表示模型進(jìn)行圖像復(fù)原。首先，我們?cè)诙喑叨葪l件下，通過(guò)預(yù)測(cè)圖像顯著邊緣信息，并應(yīng)用于高斯正則化模型，估計(jì)出不同通道中的模糊核函數(shù)；然后，利用得到的模糊核，在不同的色彩通道分量圖中，以歐氏距離查找相似圖像塊構(gòu)造結(jié)構(gòu)組，利用結(jié)構(gòu)組中相似的圖像塊應(yīng)該具有相同字典的思想，獲得圖像信號(hào)的自適應(yīng)字典，并建立圖像復(fù)原模型進(jìn)行去模糊處理。仿真結(jié)果表明，與只考慮在灰度域中獲取模糊核函數(shù)的情況相比，使用不同通道下的模糊核進(jìn)行圖像恢復(fù)，獲得了更好的效果，且利用組稀疏表示模型進(jìn)行圖像去模糊相比于傳統(tǒng)的稀疏表示模型去模糊效果更加顯著。

1 RGB通道下的模糊核估計(jì)

1.1 模糊圖像模型

圖像模糊過(guò)程可以被描述為清晰圖像與點(diǎn)擴(kuò)散函數(shù)(point-spread-function，PSF)的卷積加上噪聲，即

g=h*f+n

(1)

(1)式中：*代表卷積操作；g，h和f分別是模糊圖像、點(diǎn)擴(kuò)散函數(shù)(也稱為模糊核函數(shù))和清晰圖像；n是噪聲。圖像去模糊的目標(biāo)就是從受損圖像g中恢復(fù)出清晰圖像f。

g=Hf+n

(2)

(3)

(3)式中，Hr，Hg和Hb分別代表每一個(gè)彩色通道內(nèi)的模糊核函數(shù)。通過(guò)估計(jì)每一個(gè)通道內(nèi)不同的模糊核函數(shù)來(lái)代替只考慮灰度域情況下的模糊核估計(jì)，以實(shí)現(xiàn)更好的圖像復(fù)原效果。

1.2 RGB通道下的模糊核估計(jì)

邊緣信息即使在其他結(jié)構(gòu)被弱化的情況下也能夠被很好地提取出來(lái)。因此，我們從觀察到的模糊圖像中盡可能準(zhǔn)確地預(yù)測(cè)圖像的邊緣信息作為先驗(yàn)知識(shí)。一般來(lái)說(shuō)，觀測(cè)到的模糊圖像通常伴隨著噪聲，噪聲的存在將影響模糊核的準(zhǔn)確估計(jì)，給復(fù)原的圖像帶來(lái)嚴(yán)重的振鈴效應(yīng)。為了減少噪聲的影響，我們采用高斯濾波器進(jìn)行平滑操作，然后利用沖擊濾波器進(jìn)行邊緣增強(qiáng)，即

(4)

由于沖擊濾波器在增強(qiáng)邊緣信息的同時(shí)也增強(qiáng)了噪聲，尤其對(duì)于不顯著的邊緣信息，噪聲的影響將會(huì)更加嚴(yán)重。而且對(duì)于尺寸較大的模糊核函數(shù)來(lái)說(shuō)，選擇多余的邊緣信息反而會(huì)影響對(duì)模糊核的精確估計(jì)。因此，我們只選擇部分顯著的圖像邊緣作為先驗(yàn)知識(shí)。通過(guò)把圖像梯度轉(zhuǎn)換到極坐標(biāo)系內(nèi)，在各個(gè)方向分別挑選梯度最大的部分。閾值t由圖像和模糊核的大小決定，即

(5)

(5)式中，Pi和Pk分別代表圖像和模糊核的總像素?cái)?shù)。

類似于公式(1)，清晰圖像與模糊圖像的邊緣信息之間也遵循相同的關(guān)系，即

(6)

(7)

(8)

關(guān)于模糊核的先驗(yàn)知識(shí)可以用來(lái)優(yōu)化模糊核函數(shù)的估計(jì)值。一般來(lái)說(shuō)，模糊核函數(shù)值非負(fù)且和為1。本文中，我們將剔除一部分負(fù)的元素值，只保留模糊核中最重要的部分結(jié)構(gòu)，并對(duì)模糊核進(jìn)行歸一化處理。

(9)

同樣地，我們可以利用FFT變換得到(9)式的封閉解，則清晰圖像的粗略估計(jì)值可以寫作

(10)

為了保證模糊核的精確估計(jì)，我們?cè)诙喑叨葪l件下分RGB通道進(jìn)行。分別對(duì)RGB三幅分量圖建立圖像金字塔，從低分辨率分量圖開(kāi)始處理，用上述方法進(jìn)行模糊核估計(jì)和粗略估計(jì)得到的清晰圖像，然后利用重建圖像作為新一層的高分辨率圖像的初始圖像，直到恢復(fù)出精確的模糊核。圖1給出了在RGB通道中分別估計(jì)得到的模糊核，圖1中的右下角的小圖描繪的為模糊核的形狀信息。由圖1可以看出，雖然模糊核輪廓大致相同，但是無(wú)論是形狀還是值的分布上，都是存在差異的。忽略這種差異將導(dǎo)致接下來(lái)的圖像復(fù)原存在誤差。

圖1 RGB通道中分別估計(jì)得到的模糊核函數(shù)Fig.1 Estimated blur kernels from RGB channels

2 RGB通道下基于組稀疏的圖像去模糊

在獲得RGB通道的模糊核后，圖像去模糊問(wèn)題可以轉(zhuǎn)化為解反卷積問(wèn)題。如何充分對(duì)圖像信號(hào)進(jìn)行稀疏表示，建立完美的圖像復(fù)原模型，成為求解的關(guān)鍵所在。

2.1 構(gòu)造組稀疏模型

用RGi(·)表示從圖像x中獲得結(jié)構(gòu)組xGi，結(jié)構(gòu)組的匹配過(guò)程可以表示為

xGi=RGi(x)

(11)

對(duì)于每一個(gè)結(jié)構(gòu)組xGi，我們希望通過(guò)自適應(yīng)學(xué)習(xí)得到一個(gè)字典DGi，可以利用字典中的幾個(gè)原子精確表示出結(jié)構(gòu)組，即

(12)

(13)

類似于文獻(xiàn)[8]中字典學(xué)習(xí)的方法，我們用真實(shí)圖像的估計(jì)值Z代替真實(shí)圖像構(gòu)造結(jié)構(gòu)組，估計(jì)值可以通過(guò)優(yōu)化求解獲得。每一個(gè)結(jié)構(gòu)ZGi組的字典可以通過(guò)奇異值分解(singular value decomposition,SVD)得到

(14)

(14)式中：SGi=diag(δGi)為對(duì)角陣；uGi×k和vGi×k分別表示UGi和VGi的列向量。定義字典中的原子dGi×k∈RB×c為

(15)

結(jié)構(gòu)組的字典DGi∈R(B×c)×m最終可以表示為

DGi=[dGi×1,dGi×2,…,dGi×m]

(16)

2.2 RGB通道下的圖像去模糊

建立字典后，利用我們估計(jì)得到的RGB通道中的模糊核，可以得到基于組稀疏下的圖像復(fù)原優(yōu)化模型，即

(17)

我們采用分裂伯格曼迭代算法[9](split bregman iteration,SBI)進(jìn)行(17)式的優(yōu)化求解。SBI算法通常用來(lái)解決優(yōu)化問(wèn)題，即

(18)

(18)式中：G∈RM×N；f:RN→R；g:RM→R均為凸函數(shù)。根據(jù)SBI算法，(18)式可以看作是2個(gè)子問(wèn)題的求解。通過(guò)引入變量u，優(yōu)化問(wèn)題轉(zhuǎn)化為

s.t.u=DG°αG

(19)

(20)

2.2.1u子問(wèn)題求解

在給定αG時(shí)u子問(wèn)題可以看做一個(gè)嚴(yán)格的二次凸優(yōu)化問(wèn)題，即

(21)

可以直接求得u的封閉解，即

(22)

2.2.2αG子問(wèn)題求解

給定u，令z=u-b，則αG子問(wèn)題可以轉(zhuǎn)化為

(23)

z實(shí)際上可以看做是輸入的真實(shí)圖像，我們通過(guò)迭代z(t)=u(t)-b(t-1)可以得到z(t)。實(shí)驗(yàn)結(jié)果表明，在第t次迭代時(shí)，以下等式可以成立，即

(24)

代入到(23)式，有

已知xGi=DGiαGi,zGi=DGiδGi，根據(jù)字典的酉特性，可以得到

(25)

上述求解過(guò)程可以看做是求解每一個(gè)結(jié)構(gòu)組的子問(wèn)題，等價(jià)于

(26)

可以獲得(23)式的封閉解，即

(27)

3 仿真結(jié)果與分析

本文仿真實(shí)驗(yàn)中，進(jìn)行模糊核估計(jì)時(shí)，模糊核尺寸根據(jù)所添加模糊類型確定，規(guī)則化參數(shù)分別為γ=10,γ1=2e-3。組稀疏模型中，每一個(gè)結(jié)構(gòu)組大小為64×60,分割的圖像塊之間重疊4個(gè)像素，所以有I=240N，搜索窗口大小為40×40。實(shí)驗(yàn)共對(duì)4幅彩色圖片進(jìn)行仿真如圖2所示。仿真圖片使用高斯模糊和運(yùn)動(dòng)模糊2種模糊核類型，λ,μ的取值由模糊核類型確定。

圖2 仿真自然彩色圖片F(xiàn)ig.2 True color image for simulations

本文采用主觀視覺(jué)比較和峰值信噪比(peak signal to noise ratio,PSNR)作為評(píng)價(jià)圖像恢復(fù)質(zhì)量的指標(biāo)。峰值信噪比定義為

(28)

通過(guò)比較使用RGB通道中分別獲得的模糊核與只考慮灰度域獲得的模糊核進(jìn)行圖像去模糊的效果，并且將本文的方法與利用非局部冗余特性的NCSR(nonlocally centralized sparse representation)方法[6]以及三維塊匹配的BM3D方法[7]作對(duì)比。

由于主觀視覺(jué)上不如客觀數(shù)據(jù)能更直觀的反映復(fù)原效果。因此，本文把仿真圖片P3和P4的恢復(fù)效果圖做為舉例說(shuō)明，所有仿真圖片復(fù)原處理的PSNR具體數(shù)據(jù)在表1中詳細(xì)列出。

圖2和圖3分別給出了圖片P3在σ=3的高斯模糊下的恢復(fù)效果，以及圖片P4在線性運(yùn)動(dòng)模糊下的恢復(fù)效果,具體的PSNR值在表1中詳細(xì)給出?？梢钥闯?，與BM3D和NCSR相比，本文方法獲得的復(fù)原圖像效果較好，且相對(duì)于只考慮利用灰度域獲得模糊核的情況，利用RGB通道中得到的模糊核進(jìn)行圖像去模糊處理，獲得的圖像更加清晰。

圖3 彩色圖像P3去模糊的視覺(jué)效果比較Fig.3 Visual quality comparisons of image deblurring on color image P3

圖4 彩色圖像P4去模糊的視覺(jué)效果比較Fig.4 Visual quality comparisons of image deblurring on color image P4

表1給出了4幅仿真圖片在2種不同模糊情況下，本文方法中利用灰度域和RGB通道下分別估計(jì)的模糊核所得到復(fù)原圖像PSNR值，以及BM3D[6]和NCSR[7]2種方法得到的復(fù)原圖像的PSNR值。效果顯著的方法的數(shù)值在表1中用黑色字體標(biāo)出。比較數(shù)據(jù)發(fā)現(xiàn)，在高斯模糊下圖片P1和P3的復(fù)原結(jié)果中，與BM3D相比，PSNR值分別提高了0.63 dB和1.44 dB；在線性運(yùn)動(dòng)模糊下圖片P2和P4的復(fù)原結(jié)果中，利用RGB通道中獲得的模糊核進(jìn)行圖像復(fù)原的PSNR相比于只考慮灰度域模糊核的圖像復(fù)原的PSNR值分別提高了0.14 dB和0.78 dB。

表1 2種典型模糊類型下圖像復(fù)原的PSNR值比較

4 結(jié)論

本文在RGB通道中分別進(jìn)行模糊核函數(shù)的估計(jì)，針對(duì)不同通道所得到的模糊核，充分利用圖像信息的局部平滑和非局部自相似的特點(diǎn)，以結(jié)構(gòu)組為基本單位代替單一的圖像塊建立組稀疏表示模型進(jìn)行圖像復(fù)原。仿真結(jié)果表明，本文方法在處理圖像細(xì)節(jié)及PSNR上優(yōu)于現(xiàn)有方法，且與目前只考慮利用灰度域估計(jì)模糊核進(jìn)行圖像復(fù)原的方法相比，獲得了更加清晰的圖像效果。

參考文獻(xiàn)：

[1] YANG Haoliang, HUANG Pohao, LAI Shanghong. A novel gradient attenuation Richardson-Lucy algorithm for image motion deblurring[J]. Signal Processing, 2014(103):399-414.

[2] 李鑫楠.圖像盲復(fù)原算法研究[D].吉林：吉林大學(xué),2015.

LI Xinnan. The study on blind image restoration algorithms[D]. Jilin: Jilin University , 2015.

[3] FERGUS R, SINGH B, Hertzmann A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(25):787-794.

[4] SHAN Q, JIA J, AGARWALA A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3):15-19.

[5] JI H, WANG K. Robust image deblurring with an inaccurate blur kernel[J]. IEEE Transactions on Image Processing, 2012, 21(4):1624-34.

[6] MAIRAL J,BACH F,PONCE J,et al.Non-local sparse models for image restoration[J].2009,30(2):2272-2279.

[7] DANIELYAN A,KATKOVNIK V,EGIAZARIANK.BM3D frames and variational image deblurring[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society, 2011, 21(4):1715-1728.

[8] GOLDSTEIN T, OSHER S. The Split Bregman Method for L1-Regularized Problems[J]. Siam Journal on Imaging Sciences, 2009, 2(2):323-343.

[9] ZHANG L, DONG W, ZHANG D, et al. Two-stage image denoising by principal component analysis with local pixel grouping[J].Pattern Recognition,2010,43(4):1531-1549.