黃 海 肖 亮 印 佳 王光亮

圖像顯著性啟發(fā)的傅里葉頻域變密度壓縮采樣

黃 海 肖 亮 印 佳 王光亮

(南京理工大學(xué)計算機科學(xué)與工程學(xué)院 江蘇 南京 210094)

考慮到在傳統(tǒng)的傅里葉頻域中星形采樣方法的采樣區(qū)域針對性不強、重建效果不佳等缺點，提出一種基于傅里葉頻域中圖像顯著性信息的變密度壓縮采樣方法。在傳統(tǒng)星形采樣的基礎(chǔ)上，通過變化密度，在傅里葉頻域中顯著性區(qū)域相對密集采樣，同時在非顯著性區(qū)域相對稀疏采樣，以達到更好地恢復(fù)圖像顯著特征信息的目的。實驗結(jié)果表明，基于相同的信號重構(gòu)算法，在采樣率相同的條件下，該方法重建圖像的結(jié)構(gòu)相似度(SSIM)、峰值信噪比(PSNR)，以及相對誤差(ReErr)均優(yōu)于傳統(tǒng)的星形采樣方法。

顯著性信息 變密度 傅里葉頻域 壓縮采樣

0 引 言

傳統(tǒng)的信號獲取和處理過程主要包括采樣、壓縮、傳輸和解壓縮四個部分。其中采樣過程必須遵循奈奎斯特采樣定律，而這種采樣方式數(shù)據(jù)量大，且先采樣后壓縮的過程會浪費大量的傳感元、存儲空間和時間。為了解決這種缺點，Donoho、Candes等人在2006年提出一種新的信號處理理論——壓縮感知(CS)理論[1,2]，該理論基于信號的稀疏表示，將數(shù)據(jù)采集和數(shù)據(jù)壓縮合二為一，突破了奈奎斯特采樣定律的限制，有效緩解了信號采集的壓力。

目前，基于傅里葉頻域的采樣方法主要有星形、雙星形和環(huán)星形采樣，其中星型采樣方法在壓縮感知采樣階段被廣泛應(yīng)用[3,4]。該方法利用傅里葉頻域中圖像頻譜能量集中分布的特點，采用等角度間距的星型采樣模式。然而，該星形均勻采樣模式僅僅考慮了圖像頻譜能量分布特性，沒有考慮到圖像本身所包含的特征信息。針對這種缺點，文獻[5,6]已經(jīng)分別提出了兩種不同的針對圖像顯著性信息進行壓縮采樣的方法。另外，文獻[7]中已經(jīng)討論并得出了基于傅里葉頻域中雙星形采樣模式的重構(gòu)圖像效果優(yōu)于星形采樣模式的結(jié)論。

為了更加有效地突出圖像本身包含的重要顯著特征信息，彌補傳統(tǒng)星形采樣方法的針對性不足，根據(jù)文獻[7]中得出的結(jié)論，本文提出一種新的基于傅里葉頻域中圖像顯著性信息的變密度壓縮采樣VDCS(Variable Density Compressive Sampling)方法。利用已有的圖像顯著性算法，在原始圖像信號顯著圖的傅里葉頻域中，根據(jù)頻譜圖亮度的變化，即梯度模的大小變化，區(qū)分顯著性與非顯著性區(qū)域。根據(jù)劃分的有效區(qū)域，對顯著性區(qū)域和非顯著性區(qū)域分別進行針對性信號采樣，即在顯著性區(qū)域相對密集采樣，非顯著性區(qū)域相對稀疏采樣。通過一系列對比實驗，表明了該方法的合理性及有效性。

1 壓縮感知理論

壓縮感知理論就是在已知測量值y和測量矩陣Φ∈CM×N(M

y=Φx

(1)

從而得到原始信號x。而對于任意離散信號x∈RN，在一般情況下，信號本身含有重要特征信息的數(shù)量是遠遠小于信號本身信息的數(shù)量，且含有大量重復(fù)性信息，這就意味著這些信號是可以壓縮的，或是在某種稀疏基上是可以進行稀疏表示的。因此我們設(shè)x在正交基 Ψ=[ψ1,ψ2,…,ψN]∈CN×N下可線性表示為：

x=Ψu

(2)

那么就存在唯一u，使得滿足式(2)，其中Ψ為稀疏基矩陣，u為線性表示系數(shù)，u=ΨTx為x的Ψ域表示。若‖u‖0=K?N，我們稱原始信號x在Ψ域中具有K稀疏性。

將式(2)代入式(1)中后，則可以得到：

y=ΦΨu=Au

(3)

式中A=ΦΨ∈CM×N稱為傳感矩陣。對于壓縮感知問題，我們需要在編碼端設(shè)計一個很好的傳感矩陣A，以確保測量值y能夠包含信號x中足夠多的有效信息。然后在解碼端通過一個有效的重構(gòu)算法，求解出系數(shù)向量u，進而得到重構(gòu)信號x。

為保證重構(gòu)出可靠的原始信號，Candes等人指出[8]，矩陣Φ必須滿足約束等距性(RIP)條件，但是為滿足約束等距性，直接構(gòu)造一個矩陣Φ是不容易的。在文獻[9]中提到了隨機獨立同分布的高斯矩陣在很大的概率上是滿足RIP條件的。

由于式(3)是欠定的，所以在求解u時會得到無數(shù)個解。因此，由測量值y來計算系數(shù)向量u，可轉(zhuǎn)化為如下有約束的l0范數(shù)最小化問題，即：

minu‖u‖0s.tAu=y

(4)

然而最小l0范數(shù)是一個NP難問題，通常是將該問題進行凸化，將l0范數(shù)轉(zhuǎn)化為l1范數(shù)問題，即基追蹤問題[10]:

minu‖u‖1s.tAu=y

(5)

目前很多重構(gòu)算法都能對于式(5)進行有效地求解，且能達到一個比較好的重建效果，如性能較好的正交匹配追蹤算法(OMP)[11]、RecPF[3]等。

2 圖像顯著性傅里葉頻域中壓縮采樣

2.1 圖像視覺的顯著性

從信息理論的角度出發(fā)，可以將圖像信息H(Image)分為兩個部分：

H(Image)=H(Innovation)+H(Prior_Knowledge)

其中H(Innovation)表示信息變化的部分，H(Prior_Knowledge)表示應(yīng)該抑制的冗余信息部分。一幅圖像中包含的大部分重要信息即為圖像顯著變化的部分，并且根據(jù)人類視覺對圖像中特征變化明顯的部分更為敏感的這一特性，圖像信號中顯著變化的區(qū)域更顯出其重要性。

目前圖像顯著性檢測的方法有很多，其中應(yīng)用較為廣泛的有Itti[12，13]模型等。文獻[12]中提出了一種實現(xiàn)模擬人類視覺注意機制的方法，利用圖像像素點在亮度、方向、顏色等多尺度圖像特征與其周邊背景之間的對比，組合為一個點的顯著值，得到的單一視覺顯著圖，即由所有像素點的顯著值構(gòu)成。

但是Itti模型是一種基于空域的圖像顯著性檢測模型，相對于頻域方法，運算速度相對比較慢。2007年Hou等人[14]提出了一種基于頻域的方法，即譜殘差SR(Spectral Residual)方法。該方法利用圖像振幅譜的自然對數(shù)減去振幅譜的自然對數(shù)平均值，得到圖像的顯著性部分。SR模型具有運算式簡潔、復(fù)雜度低等優(yōu)點，能夠快速計算出顯著區(qū)域。因此本文采用SR方法生成圖像的顯著圖。

給定一幅圖像I(x)：

Am(f)=R(F[I(x)])

(6)

P(f)=J(F[I(x)])

(7)

L(f)=log(Am(f))

(8)

R(f)=L(f)-hn(f)×L(f)

(9)

其中F表示傅里葉變換，Am(f)表示圖像振幅譜，P(f)對應(yīng)為圖像相位譜，hn是一個n×n均值濾波的卷積核，R(f)為殘差譜。

基于上述分析，本文使用SR方法生成圖像的顯著圖。這里我們以CameraMan圖像為例，如圖1(a)所示。其采用SR方法得到的顯著圖如圖1(b)所示。

圖1 SR方法生成的顯著圖

2.2 傅里葉頻域中顯著性區(qū)域變密度壓縮采樣

文獻[3]中提出的RecPF算法是一種比較經(jīng)典的重構(gòu)算法。其采樣過程是在傅里葉頻域中，采用星型即從中心點向四周均勻發(fā)散一定數(shù)量的徑向射線方法，如圖2所示。由此構(gòu)成測量矩陣ΦT:

(10)

其中：

T表示徑向射線的個數(shù)，u，v為矩陣Φ的橫縱坐標(biāo)值，lθi表示過中心點的水平射線逆時針旋轉(zhuǎn)θi角度得到的射線。這種采樣方法在頻域的中心點區(qū)域采樣密度相對于周邊較大，但此方法僅考慮原始圖像傅里葉頻域中心點區(qū)域，忽略了圖像頻域信號中其他重要區(qū)域。

圖2 傳統(tǒng)傅里葉域中采樣

由式(9)得到的殘差譜R(f)以及式(7)所得的相位譜P(f)，我們可以得到圖像顯著圖傅里葉變換后的振幅譜：

O(u,v)=R(F(G)× [exp(R(f)+P(f))]2)

(11)其中G為2維高斯低通濾波器。為了便于觀察，我們對振幅譜O(u,v)使用對數(shù)變換進行視覺增強。圖3為CameraMan圖像顯著圖傅里葉變換視覺增強后的頻譜圖。其中高亮部分為高頻區(qū)域，即梯度幅值較大的點，反映出顯著圖中某一點與鄰域點的差異比較大。這部分區(qū)域保存了原圖像中大量顯著變化的信息，即視覺敏感部分。為了更好地重建圖像，增加對該頻譜圖中高亮部分的采樣點的個數(shù)是有一定必要性的，因此對于此部分區(qū)域采樣率的設(shè)置應(yīng)相對高于其他區(qū)域。

圖3 使用對數(shù)變換進行視覺增強后的顯著圖頻譜

TaoWan等人在文獻[7]中討論了基于傅里葉變換域內(nèi)三種采樣方法：星形、雙星形和環(huán)星形采樣，并得出雙星形采樣方法重建圖像效果最佳的結(jié)論?；诖?，我們在傅里葉頻域中提出一種變密度采樣方法。選取采樣點滿足不等式:

(12)

其中M為掩碼矩陣，

圖4 傅里葉域中變密度采樣

因此，對于這種疊加方式的選取，我們設(shè)定一種圖像顯著性信息變密度壓縮采樣(VDCS)的算法,流程如圖5所示。

圖5 圖像顯著性傅里葉頻域中變密度采樣流程圖

具體算法步驟如下：

1) 以原始圖像信號生成顯著圖的頻譜圖像為基礎(chǔ)，即圖3，計算該頻譜圖中平均幅度值:

(13)

其中Aij為大小M×N的頻譜圖像中第i行j列的值，并設(shè)置圖像頻譜幅度閾值T=t·Aavg，其中t為變動系數(shù)。

2) 判斷頻譜圖像中幅度值是否大于閾值T，并構(gòu)成掩碼矩陣M，其中大于閾值T的點設(shè)置為1，否則為0。

3) 設(shè)置式(11)中徑向射線的個數(shù)T。

4) 為保證采樣率一致，計算變密度ρ∈(0,1)，使之滿足式(12)。

上述算法中1)設(shè)定閾值的變動系數(shù)t可根據(jù)實際情況進行合理設(shè)置。為了能夠得到4)中合適的變密度ρ，我們選定ρ∈(0,1)，使得保證在顯著性區(qū)域能夠選取足夠多的點，并使變密度ρ以步長0.01遞增或遞減，直至滿足式(12)。

3 實驗結(jié)果及分析

為了更好地驗證本文變密度壓縮采樣方法的合理性與有效性，本文設(shè)計兩組對比實驗。第一組實驗為分別使用傳統(tǒng)星形采樣和本文所提出的變密度采樣方法進行信號采樣，然后均使用RecPF算法進行圖像壓縮感知重建，并比較重構(gòu)后圖像質(zhì)量；第二組實驗在保證采樣率相同的前提下，調(diào)整圖像頻譜幅度閾值中的變動系數(shù)t，觀察重構(gòu)圖像的質(zhì)量變化。實驗編程軟件采用Matlab 2010b，計算機為Intel(R) Xeon(R) CPU 2.79 GHz，內(nèi)存4 GB。

本文選擇Cameraman、Lena、Barbara和Mandrill四幅大小為256×256像素的標(biāo)準(zhǔn)灰度圖進行對比實驗，并以相對誤差(ReErr)、峰值信噪比(PSNR)及結(jié)構(gòu)相似度(SSIM)作為評價標(biāo)準(zhǔn),比較重構(gòu)圖像的質(zhì)量。其中ReErr、PSNR定義為：

(14)

(15)

表1顯示了在徑向射線個數(shù)T為49，采樣率低于20%的前提下，使用傳統(tǒng)星形采樣與本文變密度采樣重構(gòu)圖像信號質(zhì)量的對比。

表1 實驗數(shù)據(jù)對比

由表中數(shù)據(jù)可以看出變密度頻域采樣在PSNR、ReErr、SSIM等三個方面都優(yōu)于傳統(tǒng)星形采樣，上述實驗結(jié)果證實了變密度采樣的有效性及優(yōu)越性。

為了進一步體現(xiàn)出顯著圖頻譜中顯著性區(qū)域的采樣數(shù)對重構(gòu)圖像質(zhì)量的影響，針對本文所提出的方法，在滿足低于特定采樣率的前提下，調(diào)整圖像頻譜幅度閾值中的變動系數(shù)t。以圖像CameraMan、Lena為測試圖像，為了更加方便與傳統(tǒng)星形采樣模型作對比，用星形模型分別取CameraMan、Lena、Boat測試圖像的采樣點個數(shù)為13258、11217、13501。重構(gòu)后圖像PSNR分別為29.45、32.77、31.21，SSIM分別為0.8723、0.9017、0.8659。采用本文方法實驗結(jié)果如表2所示。

表2 不同閾值下的實驗數(shù)據(jù)

續(xù)表2

根據(jù)表2中的數(shù)據(jù)，繪制PSNR、SSIM隨閾值系數(shù)增加而變動的折線圖，如圖6所示。

圖6 PSNR、SSIM隨閾值系數(shù)變動曲線

由表2以及圖6所示，Boat圖像在閾值系數(shù)為0.5、0.6時，采樣點個數(shù)過大，這是由于沒有找到變密度ρ滿足式(12)所致，因此我們需要忽略上述兩點。綜上，我們發(fā)現(xiàn)實驗的采樣點個數(shù)均少于傳統(tǒng)星形采樣點的個數(shù)，但圖像重構(gòu)的質(zhì)量從PSNR、SSIM評價標(biāo)準(zhǔn)上卻均優(yōu)于星形采樣模型，由此更加說明對傅里葉域中顯著性區(qū)域的變密度采樣的有效性。

由表中數(shù)據(jù)以及折線圖可以看出，重構(gòu)圖像的PSNR、SSIM均隨著閾值系數(shù)的增加而增加，達到一定峰值后呈下降趨勢，這說明閾值的選取對實驗結(jié)果的影響比較大。當(dāng)閾值越大，顯著區(qū)域點的選取越少，重構(gòu)圖像的質(zhì)量就相對越低。但當(dāng)閾值越小時，選取顯著區(qū)域的點越多，非顯著區(qū)域點越少，而重構(gòu)圖像的質(zhì)量反而有所下降，這說明過少的選取非顯著性區(qū)域的采樣點，對重構(gòu)圖像的質(zhì)量也有一定的消極影響。因此，合理地選取閾值對圖像重構(gòu)的質(zhì)量有很大的影響，其直接關(guān)系到顯著區(qū)域中采樣點所占總采樣點個數(shù)的比例，從而關(guān)系到圖像重構(gòu)后的質(zhì)量。

4 結(jié) 語

對于傳統(tǒng)的傅里葉域中星形采樣方法，由于其采樣點位置針對性不強，重建質(zhì)量不佳的問題，本文提出了一種新的改進方法：基于傅里葉頻域中圖像顯著性區(qū)域變密度采樣。該方法在傅里葉域中采樣時，通過調(diào)整閾值，合理地選取顯著性區(qū)域，并利用變動密度ρ，根據(jù)式(12)在該區(qū)域中相對密集采樣，而在非顯著性區(qū)域相對稀疏采樣。對于壓縮感知問題，分別使用傳統(tǒng)星形采樣和本文提出的變密度采樣方法，并使用相同的壓縮感知重建算法進行實驗比較。從仿真實驗結(jié)果分析，在不高于傳統(tǒng)方法采樣率的情況下，本文方法在PSNR、ReErr以及SSIM等評價標(biāo)準(zhǔn)上都是優(yōu)于傳統(tǒng)星形采樣方法。

[1] Donoho D L. Compressed sensing[J].Information Theory,IEEE Transactions on,2006,52(4):1289-1306.

[2] Candès E J. Compressive sampling[C]//Proceedings of the International Congress of Mathematicians:Madrid,August 22-30,2006: invited lectures. 2006:1433-1452.

[3] Yang J,Zhang Y,Yin W. A fast TVL1-L2 minimization algorithm for signal reconstruction from partial Fourier data[J].IEEE Journal of Selected Topics in Signal Processing,2009,4(2):288-297.

[4] Guo W,Yin W.Edgecs: Edge guided compressive sensing reconstruction[C]//Proc. of SPIE Vol. 2010,7744:77440L-1.

[5] Yu Y,Wang B,Zhang L.Saliency-based compressive sampling for image signal[J].IEEE Signal Processing Letters,2010,12(11):973-976.

[6] 王瑞，余宗鑫，杜林峰,等.結(jié)合圖像信號顯著性的自適應(yīng)分塊壓縮采樣[J]. 中國圖象圖形學(xué)報，2013,18(10)：1255-1260.

[7] Wan T,Canagarajah N,Achim A. Compressive image fusion[C]//Image Processing,2008. ICIP 2008 15th IEEE International Conference on, IEEE,2008:1308-1311.

[8] Candes E J,Tao T. Decoding by linear programming[J].Information Theory,IEEE Transactions on,2005,51(12):4203-4215.

[9] Candès E J,Romberg J,Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J].Information Theory,IEEE Transactions on,2006,52(2):489-509.

[10] Chen S S,Donoho D L,Saunders M A. Atomic decomposition by basis pursuit[J].SIAM journal on scientific computing,1998,20(1):33-61.

[11] Tropp J A,Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J].Information Theory,IEEE Transactions on,2007,53(12):4655-4666.

[12] Itti L,Koch C,Niebur E. A model of saliency-based visual attention for rapid scene analysis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1998,20(11):1254-1259.

[13] Itti L,Koch C. Computational modelling of visual attention[J]. Nature reviews neuroscience,2001,2(3):194-203.

[14] Hou X,Zhang L. Saliency detection: A spectral residual approach[C]//Computer Vision and Pattern Recognition,2007 CVPR’07 IEEE Conference on， IEEE,2007:1-8.

[15] Wang Z,Bovik A C,Sheikh H R,et al. Image quality assessment: From error visibility to structural similarity[J]. Image Processing,IEEE Transactions on,2004,13(4):600-612.

VARIABLE DENSITY COMPRESSIVE SAMPLING INSPIRED BY IMAGE SALIENCY IN FOURIER FREQUENCY DOMAIN

Huang Hai Xiao Liang Yin Jia Wang Guangliang

(SchoolofComputerScience,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Considering the shortcomings of traditional star shape sampling method in Fourier frequency domain,for example,the sampling region is not targeted,the quality of reconstruction effect is not well,etc.,we propose a new variable density compressive sampling method which is based on the image salient information in Fourier frequency domain. Based on traditional star shape sampling method,by changing the density we sample relatively densely in saliency region of Fourier frequency domain while relatively sparse in non-saliency region,so as to achieve the goal of better restoring the salient feature information of image. Experimental results show that based on the same signal reconstruction algorithm and under the condition of same sampling rate,the structural similarity (SSIM),peak signal-to-noise ratio (PSNR) and the relative error (ReErr) of the reconstructed image using the proposed method are all superior to the traditional star shape sampling method.

Saliency information Variable density Fourier frequency domain Compressed sensing

2014-08-20。國家自然科學(xué)基金項目(61171165)。黃海，碩士生，主研領(lǐng)域：壓縮感知。肖亮，教授。印佳，碩士生。王光亮，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.04.039