解天鵬,許妙忠,叢 銘,朱曉玲
(武漢大學(xué)測繪遙感信息工程國家重點實驗室,湖北 武漢 430079)
Research on No-reference Remote Sensing Image Quality Assessment
Based on Contourlet-GSSIM
XIE Tianpeng,XU Miaozhong,CONG Ming,ZHU Xiaoling
?
基于Contourlet-GSSIM的無參考遙感圖像質(zhì)量評價研究
解天鵬,許妙忠,叢銘,朱曉玲
(武漢大學(xué)測繪遙感信息工程國家重點實驗室,湖北 武漢 430079)
ResearchonNo-referenceRemoteSensingImageQualityAssessment
BasedonContourlet-GSSIM
XIETianpeng,XUMiaozhong,CONGMing,ZHUXiaoling
摘要:Contourlet變換是一種具有多分辨率、多方向性的圖像二維表示方法。為了對遙感圖像進(jìn)行質(zhì)量評價,本文提出了一種基于Contourlet變換的梯度結(jié)構(gòu)相似度(GSSIM)無參考遙感圖像質(zhì)量評價方法。首先根據(jù)主觀質(zhì)量評價標(biāo)準(zhǔn),組織20位遙感專家采用DMOS評分方法對150幅高斯噪聲圖像和150幅椒鹽噪聲圖像進(jìn)行評價,建立主觀評分庫;然后將待評價失真遙感圖像通過高斯低通濾波器來構(gòu)造參考圖像,并對圖像進(jìn)行Contourlet變換,計算GSSIM,實現(xiàn)質(zhì)量評價;最后,為了定量分析算法的性能,將評價結(jié)果回歸到DMOS空間,并與RMSE(均方根誤差)、PSNR(峰值信噪比)等評價方法進(jìn)行比較。試驗結(jié)果表明,該方法能客觀地評價遙感圖像的質(zhì)量,其結(jié)果與人眼視覺評判結(jié)果一致。
關(guān)鍵詞:圖像質(zhì)量評價;Contourlet變換;梯度結(jié)構(gòu)相似度(GSSIM);無參考
一、引言
遙感衛(wèi)星所搭載的傳感器的成像水平是評價傳感器性能的一項重要指標(biāo)。遙感傳感器由于受各種因素的影響,所獲取的遙感影像存在不同程度的失真,對后續(xù)的處理和應(yīng)用有很大影響。對遙感傳感器獲取的遙感影像進(jìn)行質(zhì)量評價,一方面可以測定傳感器的成像性能,另一方面對遙感傳感器設(shè)計工作的改進(jìn)具有借鑒意義[1]。
遙感圖像質(zhì)量評價可以分為兩種:主觀質(zhì)量評價和客觀質(zhì)量評價。主觀質(zhì)量評價是人為進(jìn)行評價,這種方法充分考慮了人眼的視覺感受,可反映圖像的直觀質(zhì)量,缺點是人力和時間消耗較大, 評價結(jié)果受觀測者的知識背景、經(jīng)驗、測試環(huán)境等因素影響??陀^質(zhì)量評價是根據(jù)事先確定的標(biāo)準(zhǔn)算法對反映圖像質(zhì)量的參數(shù)進(jìn)行計算,最終得出圖像的質(zhì)量評分。客觀評價方法由于最終質(zhì)量評分由給定的數(shù)學(xué)模型來確定,因而可以多次重復(fù)操作,并且比主觀評價方法更加靈敏,同時也易于與計算機(jī)技術(shù)結(jié)合應(yīng)用到工程實踐中。但是,客觀評價結(jié)果必須與主觀評價結(jié)果高度一致,才能稱為好的客觀評價方法[2]。
客觀評價方法一般又分為全參考、半?yún)⒖己蜔o參考(no-reference)3種。圖像質(zhì)量客觀評價指標(biāo)有很多種,最常用的是均方誤差(MSE)和峰值信噪比(PSNR)。文獻(xiàn)[2]提出了結(jié)構(gòu)相似度(structuralsimilarity,SSIM)這一全參考圖像質(zhì)量評價方法,認(rèn)為人眼能夠高度自適應(yīng)地提取場景中的結(jié)構(gòu)信息。文獻(xiàn)[3]在此基礎(chǔ)上提出了梯度結(jié)構(gòu)相似度(GSSIM)的方法。輪廓波(Contourlet)變換可以對圖像進(jìn)行多尺度、多通道、多方向分解,更符合人眼的視覺特性。實際應(yīng)用過程中,在參考遙感影像無法獲得的情況下,質(zhì)評工作無法開展。因此本文提出了一種基于Contourlet-GSSIM的無參考遙感圖像質(zhì)量評價方法,與MSE、PSNR方法相比,本文所提出的方法評價結(jié)果更好。
二、GeoEye遙感圖像主觀評價庫的建立
本文試驗所用的數(shù)據(jù)為一景空間分辨率為0.5m的Geo級別的GeoEye-1全色影像,使用ERDASIMAGINE2010裁剪出30個特征場景,大小為512像素×512像素,格式為TIF,在Intel(R)Core(TM)i5-2415MCPU@ 2.3GHz、8GB內(nèi)存、64位Windows8.1操作系統(tǒng)中,利用Matlab仿真軟件生成兩類失真圖像,對30個參考圖像分別加入5個不同大小的高斯噪聲和椒鹽噪聲,分別生成30×5=150幅圖像。高斯噪聲均值為0,方差為0~4;椒鹽噪聲的疊加密度(d)為0~1。高斯噪聲圖像和椒鹽噪聲圖像如圖1所示。
圖1 試驗數(shù)據(jù)
根據(jù)主觀質(zhì)量評價標(biāo)準(zhǔn),組織了20位遙感專家采用差分平均意見分?jǐn)?shù)(differencemeanoptionscore,DMOS)評分法對圖像質(zhì)量進(jìn)行評價,待評價圖像包括150幅高斯噪聲圖像和150幅椒鹽噪聲圖像。DMOS的計算公式如下
d=MOSoriginal-MOSdistorted
(1)
計算每幅圖像的DMOS值并將其歸一化,結(jié)合其標(biāo)準(zhǔn)差和主觀觀測值,從而建立GeoEye遙感影像主觀評分庫。DMOS的取值為0~100,值越大,表明圖像質(zhì)量越差;值越小,表明圖像失真越小,質(zhì)量越好[4]。
三、基于Contourlet-GSSIM的無參考遙感圖像質(zhì)量評價模型
1.Contourlet變換
Do和Vetterli于2002 年提出了一種真正的圖像二維表示方法——Contourlet變換,也叫作塔型方向濾波器組(pyramidaldirectionalfilterbank,PDFB)。Contourlet變換是一種多分辨率多方向的圖像二維表示方法,因為其最終結(jié)果是用類似于線段的基結(jié)構(gòu)來逼近圖像,因此稱這種變換為Contourlet變換。Contourlet變換分兩步實現(xiàn):第一步,通過LP(Laplacianpyramid)變換對圖像進(jìn)行多尺度分解;第二步,對分解得到的每個高頻子帶采用方向濾波器組(DFB)進(jìn)行多方向分解,將圖像的各階高頻信息細(xì)分為2n個方向,實現(xiàn)對不同頻率、不同方向信息的提取,各個方向子帶表示圖像不同尺度不同方向的輪廓子圖[5]。
2. 梯度結(jié)構(gòu)相似度
GSSIM包括亮度(l)、對比度(c)和梯度相似度(g)3個要素,設(shè)X、Y分別表示參考圖像和待評圖像,x、y分別為兩幅圖像的對應(yīng)圖像塊,l、c、g分別定義為
(2)
(3)
(4)
式中,μx和μy分別為圖像塊的均值;σx和σy分別為x、y圖像塊的標(biāo)準(zhǔn)差;σxy為x、y圖像塊的協(xié)方差;C1=(K1L)2,C2=(K2L)2,C3=C2/2,K1?1,K2?1,C1、C2、C3是為了避免分母為零而設(shè)的小常數(shù);L是圖像的動態(tài)范圍,對于8位灰度圖像,L取28=256。
式(4)中的梯度G一般用差分來近似計算,本文用像素(i,j)處的4鄰域差分絕對值之和表示其梯度值
Gx(i,j)=|x(i,j)-x(i-1,j)|+|x(i,j)-x(i,j-1)|+|x(i,j)-x(i+1,j)|+|x(i,j)-x(i,j+1)|
(5)
特別的,第1行和第1列像素的梯度值用第2行和第2列代替,最后一行和最后一列的梯度值用前一行和前一列的梯度值代替。則圖像塊x、y的梯度結(jié)構(gòu)相似度為
GSSIM(x,y) =[l(x,y)]α[c(x,y)]β[g(x,y)]γ
(6)
式中,α、β、γ均大于0,以調(diào)整3個部分所占的權(quán)重。
當(dāng)對圖像進(jìn)行質(zhì)量評價時,把一幅圖像分為M個重疊或不重疊的子塊,對每個子塊由式(6)計算其GSSIM。對所有子塊都計算完畢后,整幅圖像的評分可由下式得到
(7)
3. 評價步驟
1) 為待評圖像X構(gòu)造參考圖像Y。實際質(zhì)評工作中往往缺少參考遙感影像信息,這就需要直接對失真遙感圖像進(jìn)行質(zhì)量評價,因此,需要采用無參考圖像質(zhì)量評價方法。構(gòu)造參考圖像可以通過改變圖像中的高頻成分來實現(xiàn)。試驗中采用高斯低通濾波器。噪聲屬于高頻信息,因此高斯低通濾波可以用于去噪,但是去噪的同時也會模糊圖像[6]。
2) 對X、Y進(jìn)行Contourlet分解,得到圖像不同頻帶和不同方向的變換系數(shù)。
3) 用式(6)計算第i個頻帶第j個方向子帶的GSSIMij。
4) 用下式計算第i個頻帶的梯度結(jié)構(gòu)相似度GSSIMi(X,Y)
(8)
式中,Mi為第i個頻率尺度上Contourlet分解的方向子帶數(shù)目;wij表示第i個尺度第j個方向子帶的權(quán)值,取值為該子帶Contourlet系數(shù)的絕對值均值。該取值方法是依據(jù)大系數(shù)表示重要輪廓、人眼對其更加敏感這一事實而提出的[7]。
5) 用下式對所有頻帶的GSSIMi(X,Y)求加權(quán)和,得到整幅圖像的Contourlet域梯度結(jié)構(gòu)相似度
(9)
式中,N為圖像Contourlet分解的頻率子帶數(shù);wi為第i個頻率子帶的權(quán)值。本文使用經(jīng)典的CSF模型[8]計算wi,wi為相應(yīng)頻帶內(nèi)CSF曲線的平均值。
四、試驗結(jié)果及分析
1. 試驗細(xì)節(jié)
試驗中采用高斯低通濾波器來構(gòu)造參考圖像,參數(shù)設(shè)置為11×11,σ=2。Contourlet變換中LP分解和DFB分解分別采用Daubechies(9,7)小波基和“pkva”小波基。在進(jìn)行Contourlet變換時,先進(jìn)行3級拉普拉斯變換將圖像分解為4個頻率尺度(N=4),然后對各頻率子帶由粗到細(xì)采用4方向、8方向、16方向進(jìn)行DFB分解,最低頻子帶不作方向分解。根據(jù)CSF曲線,試驗中各頻率子帶權(quán)值分別取為:w1=0.692 1、w2=0.892 5、w3=0.423 3、w4=0.051 9。
2. 試驗結(jié)果
本文選擇一幅場景圖和5幅高斯噪聲圖像計算圖像的失真評價結(jié)果,評價結(jié)果見表1。
表1 高斯噪聲圖像質(zhì)量評價結(jié)果
本文提出的基于Contourlet-GSSIM的無參考圖像質(zhì)量評價方法,評分值越高,表示圖像的質(zhì)量越好;RMSE(root mean square error)衡量的是圖像間的差別,其值越小,表示噪聲圖像與參考圖像間的差異越小,圖像質(zhì)量越好;峰值信噪比(PSNR)表示圖像中信息和噪聲的比例,其值越大,圖像質(zhì)量越好。
從表1可以看出,隨著高斯噪聲方差的增大,C-GSSIM評分值減小,表明圖像質(zhì)量逐漸下降。本文方法與PSNR、RMSE的客觀評價結(jié)果一致,都可以有效地對GeoEye遙感影像的質(zhì)量進(jìn)行評價,但是3種算法的性能相互之間無法進(jìn)行比較。
3. 算法性能比較
為了進(jìn)一步比較本文算法與RMSE、PSNR圖像質(zhì)量評價算法的性能,需要對算法性能進(jìn)行定量化的描述。根據(jù)VQEG(video quality experts group)的報告,采用Logistic函數(shù)將各評價算法結(jié)果非線性回歸到DMOS空間[9],Logistic函數(shù)如下
(10)
式中,x表示質(zhì)量評價算法的評分值[10]。
然后用以下3個指標(biāo)衡量各質(zhì)量評價算法的性能:①相關(guān)系數(shù)CC(correlation coefficient),越接近1越好;②均方根誤差RMSE,值越小越好;③斯皮爾曼等級相關(guān)系數(shù)SROCC(spearman rank oder correlation coefficient),值越大越好,用來測定客觀評價算法結(jié)果相對于主觀評價結(jié)果的單調(diào)性。表2給出了各圖像質(zhì)量評價算法與DMOS的CC、RMSE、SROCC值計算結(jié)果。從表2可以看出,與未考慮人眼視覺特性的MSE和PSNR算法相比,本文提出的質(zhì)量評價算法與主觀評分的相關(guān)程度和準(zhǔn)確度都有明顯提高,具有更好的性能。
表2 質(zhì)評算法性能比較
五、結(jié)束語
本文提出了一種基于Contourlet-GSSIM的無參考遙感圖像質(zhì)量評價方法,建立了GeoEye遙感影像主觀評分庫,通過構(gòu)造得到參考圖像后,對圖像進(jìn)行Contourlet分解并將得到的分解系數(shù)應(yīng)用于加權(quán)的梯度結(jié)構(gòu)相似度,從而實現(xiàn)了對遙感圖像進(jìn)行質(zhì)量評價。通過與PSNR、RMS進(jìn)行性能比較,表明本文提出的算法能夠可靠、有效地評價GeoEye遙感影像的圖像質(zhì)量,該方法充分考慮了人眼視覺特性,并且無須參考遙感圖像信息。下一步還需要考慮算法對具有更多失真類型的遙感影像的通用性,以及對不同衛(wèi)星遙感數(shù)據(jù)的適用性。
參考文獻(xiàn):
[1]顧營迎. 航天光學(xué)遙感器圖像終端像質(zhì)評價方法研究[D]. 長春:中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所, 2013.
[2]WANG Z,BOVIK A C,SHEIKH H R, et al.Image Quality Assessment: From Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[3]莊曉麗,陳衛(wèi)紅.基于梯度幅度值的結(jié)構(gòu)相似度的圖像質(zhì)量評價方法[J].計算機(jī)應(yīng)用與軟件,2009,26(10):222-224.
[4]閆利, 胡曉斌. 利用 Contourlet—SSIM 視覺模型的 IKONOS 圖像質(zhì)量評價研究[J]. 武漢大學(xué)學(xué)報: 信息科學(xué)版, 2014, 39(1): 12-16.
[5]王鋒, 孟凡坤, 萬方杰, 等. 基于 Contourlet 域梯度結(jié)構(gòu)相似度的無參考圖像質(zhì)量評價[J]. 信息工程大學(xué)學(xué)報, 2014, 15(1): 80-84.
[6]桑慶兵, 梁狄林, 吳小俊, 等. 基于支持向量回歸的無參考模糊和噪聲圖像質(zhì)量評價方法[J]. 光電子·激光, 2014, 25(3): 595-601.
[7]楊春玲, 汪凡. 基于結(jié)構(gòu)相似度的CT域圖像質(zhì)量評價方法[J]. 計算機(jī)工程, 2010, 36(14): 190-192.
[8]MANNOS J, SAKRISON D J. The Effects of a Visual Fidelity Criterion on the Encoding of Images[J]. IEEE Transactions on Information Theory, 1974, 20(4): 525-536.
[9]SHEIKH H R, BOVIK A C, DE VECIANA G. An Information Fidelity Criterion for Image Quality Assessment Using Natural Scene Statistics[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2117-2128.
[10]ROHALY A M, CORRIVEAU P J, LIBERT J M, et al. Video Quality Experts Group: Current Results and Future Directions[C]∥Proc. SPIE 4067, Visual Communications and Image Processing 2000. Perth, Australia:SPIE, 2000: 742-753.
引文格式: 解天鵬,許妙忠,叢銘,等. 基于Contourlet-GSSIM的無參考遙感圖像質(zhì)量評價研究[J].測繪通報,2015(1):59-62.DOI:10.13474/j.cnki.11-2246.2015.0011
作者簡介:解天鵬(1989—),男,碩士,主要從事攝影測量與遙感方面的研究。E-mail: 812647821@qq.com
收稿日期:2014-12-12
中圖分類號:P237
文獻(xiàn)標(biāo)識碼:B
文章編號:0494-0911(2015)01-0059-04