王宇慶,劉維亞,王 勇

(1.中國科學(xué)院長春光學(xué)精密機械與物理研究所,吉林長春 130033;2.中國科學(xué)院研究生院,北京 100039)

經(jīng)過各種圖像處理過程所得到的圖像的質(zhì)量是衡量相應(yīng)算法或者設(shè)備性能的重要指標(biāo)之一,因此如何準(zhǔn)確評價圖像質(zhì)量具有十分重要的意義.目前的圖像質(zhì)量評價方法可以分為兩類:主觀評價方法和客觀評價方法[1].主觀評價方法過程復(fù)雜、耗時長,結(jié)果易受觀察者、測試條件和環(huán)境的影響,穩(wěn)定性、可移植性差.客觀評價方法依據(jù)模型給出的量化指標(biāo)或參數(shù)衡量圖像質(zhì)量,是目前圖像質(zhì)量評價領(lǐng)域的研究重點.對于各種圖像質(zhì)量的客觀評價方法,研究的目的是使評價結(jié)果與人的主觀感覺相符.傳統(tǒng)的圖像質(zhì)量客觀評價方法(例如,均方誤差 (Mean Square Error,MSE)和峰值信噪比 (Peak Signal Noise Ratio,PSNR)),都是基于對應(yīng)像素點間的誤差,即基于誤差敏感的圖像質(zhì)量評價,由于并未考慮到人眼的視覺特性,因而經(jīng)常出現(xiàn)評價結(jié)果與人的主觀感覺不一致的情況.因此,許多研究者致力于尋找符合人眼視覺特性的圖像質(zhì)量評價模型,并提出了一些有效的算法(例如 Wang等人提出的結(jié)構(gòu)相似度(SSIM)的圖像質(zhì)量評價方法[2-3],基于人類視覺系統(tǒng) (Human Visual System,HVS)特性的圖像質(zhì)量評價方法[4-6]以及基于小波變換的方法[7]等),這些方法雖然在不同程度上克服了傳統(tǒng)方法的不足,但是由于 HVS的復(fù)雜性,上述評價方法大多存在著在某些情況下評價結(jié)果與人的主觀感覺不一致的問題.另外,這些方法需要待測圖像與參考圖像的尺寸完全一致,否則無法直接評價待測圖像的質(zhì)量.文獻 [8]的方法雖然可以對與參考圖像尺寸不相等的待測圖像的質(zhì)量進行評價,但是與以上所提及的很多圖像質(zhì)量評價方法一樣,該方法僅能用于灰度圖像而不是彩色圖像.

人眼對亮度具有適應(yīng)性,即在一幅復(fù)雜圖像的任一點上只能識別幾十種灰度級,但可以識別成千上萬種顏色,因此彩色圖像提供了比灰度圖像更加豐富的信息.對于彩色圖像的質(zhì)量評價,目前所采用的方法大多是通過某種變換將彩色圖像的亮度層次信息提取出來,采用灰度圖像的質(zhì)量評價方法評價所提取出來的亮度層次信息,從而得到對于該彩色圖像的質(zhì)量評價結(jié)果.這種方法顯然忽略了圖像中所包含的大量色彩信息,難以保證評價結(jié)果的準(zhǔn)確性.

本文采用四元數(shù)表征彩色圖像的結(jié)構(gòu)信息,通過對彩色圖像的四元數(shù)矩陣進行奇異值分解,并且計算待測圖像與標(biāo)準(zhǔn)參考圖像奇異值特征向量夾角的大小來度量兩圖像結(jié)構(gòu)的相似程度,從而實現(xiàn)了對待測圖像的質(zhì)量評價.實驗結(jié)果表明:對于尺寸相等的待測圖像與參考圖像,本文方法的評價結(jié)果要優(yōu)于傳統(tǒng)的 MSE,PSNR以及 SSIM方法,并且該方法也可以對與參考圖像尺寸不相等的待測圖像質(zhì)量進行評價.

1 四元數(shù)和四元數(shù)矩陣

四元數(shù)也稱超復(fù)數(shù),由 Hamilton于1843年首次提出[9].一個四元數(shù)q由1個實部和 3個虛部構(gòu)成

式中:a,b,c,d為實數(shù);i,j,k分別代表超復(fù)數(shù)的 3個虛部的單位向量,并且滿足如下關(guān)系

如果四元數(shù) q的實部為 0,則稱 q為純四元數(shù).由四元數(shù)組成的矩陣稱為四元數(shù)矩陣.由于一般意義上實數(shù)或復(fù)數(shù)的矩陣求秩運算不能直接運用到四元數(shù)上,所以不能用復(fù)數(shù)域里的行列式計算方法.文獻 [10]給出了一種復(fù)數(shù)伴隨矩陣的定義,從而可以將四元數(shù)矩陣的運算轉(zhuǎn)換為復(fù)數(shù)矩陣的運算,以利用一般意義上的復(fù)數(shù)矩陣求解.對于一個給定的四元數(shù)矩陣 A∈ HN×M(H表示四元數(shù)體),可以表示為A=A1+ A2 j,A1,A2∈ CN×M(C表示復(fù)數(shù)域),其復(fù)數(shù)伴隨矩陣 χA∈ C2N×2M可以表示為[10]

式中:* 為共軛符號.文獻 [10]詳細(xì)介紹了四元數(shù)以及四元數(shù)矩陣,并且證明了四元數(shù)可以做奇異值分解.根據(jù)四元數(shù)奇異值分解的定義[11],對于任意一個秩為 r的四元數(shù)矩陣 A∈ HN×M,必有兩個四元數(shù)酉矩陣U,V,使得

式中:符號 4表示共軛轉(zhuǎn)置;∑r=diag(e1,e2,… ,er),ei(1≤i≤r)為實數(shù),即為 A的奇異值;U,V分別稱為四元數(shù)矩陣 A的左、右奇異值矩陣.U=∈ HN×N,V∈ HM×M.設(shè) x=(e1,e2,… ,e r,0,… ,0)T,稱為x四元數(shù)矩陣 A的奇異值特征向量.文獻 [11]給出了一種根據(jù)由式 (3)得到的復(fù)數(shù)伴隨矩陣對四元數(shù)矩陣 A進行奇異值分解的方法,本文根據(jù)該方法求得四元數(shù)矩陣的奇異值特征向量,從而將其作為評價對應(yīng)于該四元數(shù)矩陣的彩色圖像質(zhì)量的一個重要依據(jù).

2 彩色圖像結(jié)構(gòu)信息的四元數(shù)表示及質(zhì)量評價方法

對于彩色圖像的四元數(shù)表示,目前普遍采用文獻 [12]提出的方法:令四元數(shù)的 3個虛部分量分別代表紅 (R),綠(G),藍(B)三基色,實部為 0,這樣可以把彩色圖像的每個像素都表示為一個純四元數(shù)式中:r(x,y),g(x,y),b(x,y)分別表示圖像中位于 (x,y)點處的紅、綠、藍的灰度值.這樣,一副 N×M的彩色圖像就可以看作是一個的純四元數(shù)矩陣.四元數(shù)矩陣的奇異值特征向量表征了其能量特征,同樣也可以將其用于表征相應(yīng)彩色圖像的能量特征.對于奇異值特征向量 x和 x^,其夾角表征了兩向量線性相關(guān)的程度,夾角越小說明越接近線性相關(guān),也是對 2個向量所張成的空間的線性相關(guān)度的度量[8].文獻 [8]提出了一種基于奇異值特征向量夾角的圖像質(zhì)量評價方法,并且將其應(yīng)用于灰度圖像的質(zhì)量評價,該方法可以對與參考圖像尺寸不相等的灰度圖像質(zhì)量進行評價.本文采用度量兩圖像四元數(shù)矩陣奇異值特征向量夾角的方法度量二者所表征的彩色圖像的結(jié)構(gòu)相似程度,從而實現(xiàn)了對待測圖像的質(zhì)量評價.對于參考圖像 I和待測圖像^I ,評價指標(biāo) QISVD表示為

為保證計算精度,式中 k取兩圖像四元數(shù)矩陣秩的最小值,即別為兩圖像四元數(shù)矩陣奇異值特征向量的元素.QISVD取值范圍為 [0,π/2],值越小說明待測圖像與參考圖像的結(jié)構(gòu)越相似.圖1給出了一組測試圖像,圖1(a)為原圖像;圖1(b)為原圖像中添加密度為 0.02的高斯白噪聲得到的噪聲污染圖像;圖1(c)為模糊圖像,是以 17×17模板對原圖像均值濾波的結(jié)果.

圖1 模糊和噪聲污染的測試圖像Fig.1 Test images with distortion of blur and noise

表1 圖1中各降質(zhì)圖像的評價結(jié)果Tab.1 Assessment results for the distorted imagesin Fig.1

首先采用文獻 [12]的方法得到彩色圖像的四元數(shù)矩陣,然后根據(jù)文獻 [11]給出的奇異值分解方法求得兩四元數(shù)矩陣的奇異值特征向量,并且由公式(6)計算各降質(zhì)圖像與原圖像的奇異值特征向量夾角,從而得到各圖像的質(zhì)量評價結(jié)果,如表1所示.由表1的評價結(jié)果可以看到,對于嚴(yán)重模糊的圖1(c),該方法給出了較好的評價結(jié)果,而由人的主觀感覺可知,圖1(b)的質(zhì)量要明顯好于圖1(c),這說明上述方法對于圖像的細(xì)節(jié)損失不敏感,從而導(dǎo)致了對模糊圖像的評價結(jié)果與人的主觀感覺不一致,這也是 SSIM等圖像質(zhì)量評價算法所普遍存在的問題[13].人眼對圖像的高頻部分比較敏感,而圖像的細(xì)節(jié)往往和高頻部分有關(guān),圖像的局部方差較好地體現(xiàn)了圖像的細(xì)節(jié)信息,所以可以通過分析圖像局部方差的變化來分析圖像的細(xì)節(jié)信息,或者也可以認(rèn)為圖像局部方差的分布包含了圖像的大量結(jié)構(gòu)信息[14].文獻 [14]采用和 SSIM類似的形式通過對圖像整體局部方差分布的統(tǒng)計實現(xiàn)了對圖像質(zhì)量的評價,該方法對模糊圖像的質(zhì)量評價取得了比較理想的效果.注意到文獻[12]所提的彩色圖像四元數(shù)表示方法中,僅將 3個虛部作為表示彩色圖像的重要參數(shù),因此本文將文獻[14]中提到的局部方差作為表征圖像結(jié)構(gòu)信息的一個重要參數(shù),與 RGB這 3個分量的亮度值共同組成對應(yīng)于這一像素點的四元數(shù)表示,即

式中:Var(Ix,y)為圖像 I的局部方差,即以像素點 (x,y)為中心的局部區(qū)域的方差.對于彩色圖像,首先需要將其轉(zhuǎn)換為 YUV空間,然后采用滑動窗口對 Y分量進行互不重疊的分塊,得到每一分塊的方差,即圖像的局部方差.對于圖像中包含 L個像素的圖像分塊 Ix,y,其內(nèi)部像素為Z p,局部方差可以表示為

其中:

考慮到分塊形狀對圖像結(jié)構(gòu)的影響,對于包含在 Ix,y分塊內(nèi)的像素Zp,采用文獻 [3]中提到的高斯加權(quán)的方法計算每一分塊的均值和方差,表示為

由以上方法可以得到由局部方差以及彩色圖像的 RGB分量組成的四元數(shù)以及對應(yīng)于待測圖像和參考圖像的四元數(shù)矩陣,采用公式 (6)分別計算圖1中的各降質(zhì)圖像與參考圖像的四元數(shù)矩陣奇異值特征向量的夾角,從而得到了如表1所示的一組評價結(jié)果.

由表1可以看到,該方法對于圖像的模糊失真的敏感程度有所提高,對于模糊程度比較嚴(yán)重的圖1(c),該方法給出了較差的評價結(jié)果,這與人的主觀感覺是相符的.

3 實驗結(jié)果

為了進一步驗證本文所提的方法,針對圖2中各種類型的失真圖像進行了評價并且將評價結(jié)果進行了對比.圖2(a)為原圖像;圖2(b)為 JPEG2000壓縮圖像,采用文獻 [17]的方法得到,壓縮率為每像素 0.215 06比特;圖2(c)為在原圖像中添加密度為 0.15的高斯白噪聲得到的噪聲污染圖像;圖2(d)為采用 19×19的窗口對原圖像均值濾波得到的模糊圖像;圖2(e)為僅對原圖像 RGB這 3個分量中的G分量采用 29×29的模板均值濾波得到的模糊圖像;圖2(f)為原圖像與常數(shù) 15相加得到的圖像.實驗中,計算局部方差的窗口采用文獻 [3]的取值,大小為 11×11,高斯加權(quán)函數(shù)的方差為 1.5.首先將各圖像轉(zhuǎn)換到 YUV空間,針對 Y分量采用 MSSIM[3],WSSIM(加權(quán)的 SSIM方法)[3],MSE及 PSNR方法對各降質(zhì)圖像的亮度分量進行了評價,并且也采用公式 (6)計算了各降質(zhì)圖像與原圖像亮度分量的奇異值特征向量夾角 (SVD),將各亮度分量的評價結(jié)果作為相應(yīng)彩色圖像的評價結(jié)果;然后采用相同的方法分別評價各降質(zhì)圖像與原圖像 RGB分量的相似程度,并且將 3個分量評價結(jié)果的平均值作為相應(yīng)待測圖像的評價結(jié)果(Y分量的 RGB加權(quán)).表2給出了上述方法與本文方法 (QISVD)的評價結(jié)果.

嚴(yán)重的模糊導(dǎo)致了圖像細(xì)節(jié)的大量缺失,因此根據(jù)人的主觀感覺,圖2(d)和圖2(e)的質(zhì)量要差于其余圖像.由表2的評價結(jié)果可以看到,在各種評價方法中,僅本文所提的 QISVD方法對圖2(d)和圖2(e)給出了較差的評價結(jié)果.相對而言,圖2(e)的質(zhì)量略好于圖2(d),QISVD對圖2(e)的評價結(jié)果也要好于圖2(d),這與人的主觀感覺是相符的.在由亮度分量得到的評價結(jié)果中,MSSIM和 WSSIM方法因為對于模糊失真的敏感程度較低,因此對于模糊失真比較嚴(yán)重的圖2(d)的評價結(jié)果好于圖2(c),對于圖2(e)的評價結(jié)果好于圖2(b)和圖2(c),這顯然與人的主觀感覺不符.M SE和 PSNR方法對于 JPEG2000壓縮得到的圖2(b)的評價結(jié)果要好于圖2(f),對于圖2(e)所給出的評價結(jié)果要好于圖2(c)以及圖2(d)和圖2(f),這同樣與人的主觀感覺不一致.而 SVD方法對于圖2(b)和圖2(f)以及圖2(c)和圖2(e)都給出了相近的評價結(jié)果,這也不符合人的主觀感覺.對于 RGB分量評價結(jié)果的平均值,MSSIM,WSSIM以及 MSE方法對圖2中各降質(zhì)圖像的相對質(zhì)量評價結(jié)果與對其亮度分量的評價結(jié)果基本一致.由于圖2(e)是由僅對原圖像綠色分量模糊得到的圖像,因此 PSNR方法對 R和 B分量的評價結(jié)果趨于無窮,而總的評價結(jié)果亦趨于無窮.SVD方法對于圖2(b)和圖2(f)給出了相近的評價結(jié)果,另外對于圖2(e)的評價結(jié)果要好于圖2(c),這都與人的主觀感覺不符.顯然,對于圖2中的各降質(zhì)圖像,本文所提的 QISVD方法則給出了較為合理的評價結(jié)果.

圖2 多種失真類型的測試圖像Fig.2 Test images with several types of distor tion

表2 采用多種評價方法對圖2中各圖像評價的結(jié)果Tab.2 Assessment results for the imagesin Fig.2 using several assessment methods

對圖2(a)進行剪裁,采用本文的方法對剪裁后與原圖像尺寸不相等的各圖像的質(zhì)量評價結(jié)果如表3所示(各圖像的剪裁均以原圖像左上角為基準(zhǔn)).

表3 采用 QISVD方法對圖2(a)剪裁后評價的結(jié)果Tab.3 Assessment results for the cutting images of Fig.2(a)based on QISVD

由表3的評價結(jié)果可以看到,尺寸越接近于原圖像的剪裁圖像,評價結(jié)果越好,這與人的視覺特性是相符的.對于圖2中的各降質(zhì)圖像,也對其進行剪裁,同樣以圖像左上角為基準(zhǔn),將圖2中與原圖像尺寸相同的大小為 512×768的各降質(zhì)圖像剪裁為 480×720,同時也將其縮小為 384×576以及放大為600×900,以圖2(a)為參考圖像對其質(zhì)量進行了評價,結(jié)果如表4所示.

顯然,對于由同一種方法得到的彼此尺寸相等的剪裁以及縮放后的各降質(zhì)圖像,表4所給出的評價結(jié)果與表2所給出的評價結(jié)果是一致的,均與人的主觀感覺相符.

表4 采用 QISV D方法對圖2中各降質(zhì)圖像剪裁以及縮放后評價的結(jié)果Tab.4 Assessment results for the cutting and zooming distorted images in Fig.2 based on QISVD

4 結(jié) 論

本文采用四元數(shù)表征彩色圖像的結(jié)構(gòu)信息,將彩色圖像亮度分量的局部方差作為影響圖像質(zhì)量的一個重要因素與 RGB這 3個分量共同組成彩色圖像的四元數(shù)矩陣,通過計算兩圖像四元數(shù)矩陣奇異值特征向量夾角的大小度量二者的結(jié)構(gòu)相似程度,從而實現(xiàn)了對待測圖像的質(zhì)量評價.實驗結(jié)果表明:本文的方法比傳統(tǒng)的 M SE,PSNR以及 SSIM方法更加符合人類視覺系統(tǒng)特性,并且也可以對與參考圖像尺寸不相等的待測圖像的質(zhì)量進行評價.

[1]Eskicioglu A M,Sfisher P.A survey of imagequality measures for gray scaleimagecompression[C].Computing in Aerospace Conference.San Diego,USA:American Institute of Aeronautics and Astronautics,1993:49-61.

[2]Zhou Wang,Bovik A C.A universal imagequality index[J].IEEE Signal Processing Letters,2002,9(3):181-84.

[3]Zhou Wang,Bovik A C,Sheikh H R,et al.Imagequality assessment:From error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

[4]Mauro Barni,Franco Bartolin,Alessia De Rosa.HVSmodelling for quality evaluation of art images[C].IEEE 14th International Conferenceon Digital Signal Processing.Santorini,Greece,2002:91-94.

[5]Westen S J P,Lagendijk R L.Perceptual image quality based on a multiple channel HV S model[C].IEEE 1995 International Conference on Acoustics,Speech,and Signal Processing.Detroit,MI,USA:IEEE,1995:2351-2354.

[6]Maloigne F.Spatio-temporal characteristics of the human color perception for digital quality assessment[C].IEEE Signals,Circuits and Systems ISSCS 2005 International Symposium.New York:IEEE,2005:203-206.

[7]Beghdadi A,Pesquest-Popescu B.A new image distortion measure based on wavelet decomposition[C].IEEE 1995 International Conferenceon Acoustics,Speech,and Signal Processing.Paris,France:IEEE,2003(1):485-488.

[8]騫森,朱劍英.基于奇異值分解的圖像質(zhì)量評價[J].東南大學(xué)學(xué)報(自然科學(xué)版),2006,36(4):643-646.Qian Sen,Zhu Jianying. Image quality measure using singular value decomposition[J]. Journal of Southeast University(Natural Science Edition),2006,36(4):643-646.(in Chinese)

[9]冉瑞生,黃廷祝.基于四元數(shù)矩陣奇異值分解的彩色圖像識別[J].計算機科學(xué),2006,33(7):227-229.Ran Ruisheng,Huang Tingzhu.The recognition of color images based on the singular value decompositions of quaternion matrices[J].Computer Science,2006,33(7):227-229.(in Chinese)

[10]Zhang F.Quaternion and matrices of quaternion[J].Lin.Alge.Appl.,1997,215:21-57.

[11]Bihan N L,Mars J.Singular value decomposition of quatemion matrices:a new tool for vector-sensor signal processing[J].Signal Processing,2004,84(7):l177-1199.

[12]Pei S C,Cheng C M.A novel block truncation coding of color images by using quaternion moment preserving principle[J].IEEE Transactions on Communications,1997,45(5):583-595.

[13]Cadik M,Slavik P.Evaluation of two principal approaches to objective image quality assessment[C].Proc ofthe 8th lnternational Conferenceon Information Visualisation.London:IEEE Computer Society,2004:513-518.

[14]Santiago A F.Image quality assessment based on local variance[C].Proceedings of 28th IEEE EM BS Annual International Conference.New York,USA,2006:4815-4818.

[15]Taubman D S,Marcellin M W.JPEG2000: Image Compression Fundamentals,Standards and Practice[M].Kluwer Academic Publishers,2001.