田浩南，張葉

基于邊緣及特征點(diǎn)匹配的立體圖像質(zhì)量評價(jià)

田浩南*，張葉

(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033)

為了實(shí)現(xiàn)對立體圖像質(zhì)量的精確預(yù)測，提出了一種基于邊緣和特征點(diǎn)匹配的立體圖像客觀質(zhì)量評價(jià)方法。首先，對圖像的質(zhì)量進(jìn)行評價(jià)，在基于結(jié)構(gòu)相似度的質(zhì)量評價(jià)方法的基礎(chǔ)上，考慮了邊緣信息對人眼視覺特性的重要性，加入了邊緣結(jié)構(gòu)相似度指標(biāo);然后，對圖像的立體感進(jìn)行評價(jià)，采用特征點(diǎn)匹配的方法提取立體感指標(biāo)。最后，根據(jù)總體視差失真法將圖像質(zhì)量和立體感指標(biāo)擬合為一個綜合指標(biāo)。實(shí)驗(yàn)結(jié)果表明，采用本文提出的方法對立體圖像測試庫進(jìn)行評價(jià)，總體評價(jià)的PLCC(Pearson Linear Correlation Coefficient)均在0．94以上;與其他方法相比，本方法具有較高的預(yù)測精確性。

立體圖像處理;質(zhì)量評價(jià);邊緣;立體感

1 引言

近些年來，圖像編碼技術(shù)和立體顯示技術(shù)飛速發(fā)展，立體圖像處理技術(shù)受到越來越多的關(guān)注，逐漸成為國內(nèi)外相關(guān)領(lǐng)域的研究熱點(diǎn)。相對于平面圖像帶給人的視覺體驗(yàn)，立體圖像更勝一籌，帶給人們更加真實(shí)的視聽感受和臨場體驗(yàn)。立體視頻從采集端到顯示端，經(jīng)過采集、存儲、壓縮及傳輸?shù)攘鞒?，原始圖像的質(zhì)量難以保持不變，采用一種方法來準(zhǔn)確地衡量這一系列失真對立體圖像質(zhì)量的影響十分重要。但是主觀評價(jià)方法易受多種因素的干擾:如實(shí)驗(yàn)環(huán)境、實(shí)驗(yàn)設(shè)備及測試者自身因素等，且費(fèi)時(shí)費(fèi)力，評價(jià)結(jié)果也不夠穩(wěn)定;客觀評價(jià)則是由軟件進(jìn)行估計(jì)，操作簡單且重復(fù)性強(qiáng)，但結(jié)果可能與人的主觀感受有一定偏差，因此研究一種能夠準(zhǔn)確評價(jià)立體圖像客觀質(zhì)量的方法意義重大。

目前，研究學(xué)者已提出的立體圖像客觀質(zhì)量評價(jià)模型大多建立在較成熟的平面模型研究基礎(chǔ)上，將立體圖像的左右視圖看作平面圖像，通常采用文獻(xiàn)［1-4］中Wang等人提出的基于結(jié)構(gòu)相似度的平面圖像質(zhì)量評價(jià)方法(Structural Similarity Index Metric，SSIM)，或者傳統(tǒng)的統(tǒng)計(jì)學(xué)方法——峰值信噪比(Peak Signal－Noise Ratio，PSNR)進(jìn)行評價(jià)，最后用左右視圖質(zhì)量值的加權(quán)平均值來衡量立體圖像客觀質(zhì)量的好壞。文獻(xiàn)［5］提出利用差值圖進(jìn)行評價(jià)，并沒有考慮左右視圖間的相關(guān)性，這也使得評價(jià)結(jié)果與人眼感知出現(xiàn)一定的偏差。文獻(xiàn)［6］從左右視點(diǎn)圖像質(zhì)量和視差圖像質(zhì)量兩個角度出發(fā)，并線性組合兩方面的評價(jià)結(jié)果來綜合評價(jià)立體圖像的質(zhì)量。文獻(xiàn)［7］將左右視圖質(zhì)量和視差圖像質(zhì)量分開評價(jià)，最后將評價(jià)結(jié)果以非線性組合的形式作為評價(jià)立體圖像質(zhì)量的總指標(biāo)。但是，上述文獻(xiàn)提出的評價(jià)方法仍存在著一些問題:有的評價(jià)方法的準(zhǔn)確性與圖像場景有關(guān)，忽略了人眼視覺的一些重要特性;有的方法忽視了立體信息對整幅立體圖像質(zhì)量好壞的影響;有的方法魯棒性不強(qiáng)，僅適用于少數(shù)失真類型。因此，研究出一種能夠準(zhǔn)確評價(jià)立體圖像客觀質(zhì)量的模型意義深遠(yuǎn)。

由于人眼才是圖像的最終接收對象，充分理解立體視覺原理并分析人眼視覺特性有助于提高算法的準(zhǔn)確性［8-11］。本文主要從圖像質(zhì)量和立體感兩個方面對立體圖像客觀質(zhì)量進(jìn)行評價(jià)。圖像質(zhì)量評價(jià)方面，在SSIM評價(jià)方法的基礎(chǔ)上，考慮了邊緣信息對人眼視覺特性的重要性，加入了邊緣結(jié)構(gòu)相似度指標(biāo);圖像立體感評價(jià)方面，采用特征點(diǎn)匹配的方法提取立體感指標(biāo)。最后，根據(jù)總體視差失真法將所有指標(biāo)擬合為一個綜合指標(biāo)。實(shí)驗(yàn)結(jié)果表明該方法能夠較準(zhǔn)確地預(yù)測立體圖像質(zhì)量，符合人眼的主觀感受。

2 立體圖像質(zhì)量客觀評價(jià)模型

2．1立體圖像左右視點(diǎn)圖像質(zhì)量評價(jià)方法

圖像邊緣是圖像中最基本的特征，是分析理解圖像的根本，圖像邊緣的好壞對人眼的主觀感受有著很大的影響，圖像邊緣的改變意味著圖像基本內(nèi)容或結(jié)構(gòu)的改變。同時(shí)，人眼視覺的掩蓋效應(yīng)使人眼對邊緣失真很敏感。立體圖像的左右視圖可以看作兩幅平面圖像，如果左右視圖的邊緣結(jié)構(gòu)發(fā)生變化，勢必會影響整幅立體圖像的質(zhì)量。因此，圖像的邊緣無論在人眼對平面圖像還是立體圖像的理解中都有重要的作用。

本文將邊緣結(jié)構(gòu)失真度與SSIM相結(jié)合，形成一種優(yōu)于SSIM的評價(jià)指標(biāo)E-SSIM(Edge-SSIM)。算法結(jié)構(gòu)如圖1所示。

圖1 E-SSIM評價(jià)算法框圖Fig．1Flow chart of E-SSIM evaluation

設(shè)X為原始圖像，Y為降質(zhì)圖像，E(X)和E (Y)分別為原始圖像和降質(zhì)圖像的邊緣圖像。本文在SSIM的基礎(chǔ)上提取了邊緣比較函數(shù)，結(jié)合SSIM算法中的亮度比較函數(shù)、對比度比較函數(shù)和結(jié)構(gòu)比較函數(shù)，形成改進(jìn)的圖像質(zhì)量評價(jià)方法ESSIM。原始圖像和降質(zhì)圖像的邊緣采用小波變換模極大值的方法［12］提取，該方法具有克服一般邊緣提取算法所帶來的邊緣敏感問題從而使誤判率降低的優(yōu)點(diǎn)。將上述4個比較函數(shù)綜合在一起就得到左右視點(diǎn)圖像質(zhì)量評價(jià)的綜合指標(biāo)，如式(2)所示。緣比較函數(shù)，α，β，γ，κ＞04個參數(shù)用來調(diào)整亮度、對比度、結(jié)構(gòu)失真度和邊緣失真度四個指標(biāo)的相對權(quán)重;C為常數(shù)，是為了避免式(1)分母十分接近零時(shí)出現(xiàn)的不穩(wěn)定性。

2．2立體圖像立體感評價(jià)

立體圖像經(jīng)過采集、存儲、壓縮及傳輸過程后，圖像質(zhì)量很難保持。作為圖像的一個重要的局部特征，角點(diǎn)特征會直接受到圖像失真的影響，立體圖像左右視圖相匹配的角點(diǎn)個數(shù)就會發(fā)生變化，所以匹配角點(diǎn)的個數(shù)可以反映立體圖像的質(zhì)量。首先，采用Harris角點(diǎn)檢測算法分別對原始圖像和失真圖像的左右視圖提取特征點(diǎn);然后，采用歸一化協(xié)方差的方法進(jìn)行角點(diǎn)的匹配;最后，將失真圖像左右視圖的匹配點(diǎn)個數(shù)和標(biāo)準(zhǔn)圖像左右視圖的匹配點(diǎn)個數(shù)的比值作為立體感評價(jià)指標(biāo)。

經(jīng)過計(jì)算得到特征點(diǎn)后，采用計(jì)算互協(xié)方差的方法來對特征點(diǎn)進(jìn)行配對，任意兩個特征點(diǎn)間的互協(xié)方差可定義為如式(3)所示。

其中:θx和θy分別表示圖像X、Y的邊緣圖像的灰度方差，θxy表示圖像X、Y的邊緣圖像的灰度協(xié)方差，μx和μy表示圖像X、Y的灰度均值，σx和σy表示圖像X、Y的灰度方差，σxy表示圖像X、Y的灰度協(xié)方差。l( x，y)、c( x，y)、s( x，y)是SSIM算法中的亮度比較函數(shù)、對比度比較函數(shù)和結(jié)構(gòu)相似性比較函數(shù)，e( x，y)是本文所提取的邊

定義檢測窗尺寸:

其中，2k+1，2l+1為高度和寬度。

左視點(diǎn)待匹配特征點(diǎn)所在檢測窗的灰度方差

計(jì)算公式如式(5)所示:

右視點(diǎn)待匹配特征點(diǎn)所在檢測窗的灰度方差計(jì)算公式如式(6)所示:誤配對的情況，所以需要進(jìn)一步的計(jì)算進(jìn)行驗(yàn)證。取任意一對配對點(diǎn)m1i，m2j()，m1i為左視點(diǎn)圖像中的點(diǎn)，m2j為右視點(diǎn)圖像中的與其配對的點(diǎn)，N m1i()代表m1i點(diǎn)的R鄰域點(diǎn)集合，N m2j()代表m2j點(diǎn)的R鄰域點(diǎn)集合，如果(m1i，m2j)為準(zhǔn)確的配對，就存在準(zhǔn)確的配對(n1k，n2l)在其附近，n1k為m1i鄰域點(diǎn)，n2l為m2j鄰域點(diǎn)，定義配對強(qiáng)度Sm如式(9)所示［13］:

其中Cij和Ckl是配對點(diǎn)(m1i，m2j)和(m1k，m2l)的互協(xié)方差，dist(m1i，m2j;n1k，n2l)為兩對配對點(diǎn)的平均距離，定義如式(10)所示。

δ(m1i，m2j;n1k，n2l)的定義如式(11)所示:

經(jīng)過計(jì)算得到配對特征點(diǎn)對中，可能存在著

r是距離差比例，定義如式(12)所示:

其中εr為距離差閾值，本文中取0．3。

針對誤配對的情況，如計(jì)算得到左視圖中兩個點(diǎn)m2j和m2k都是右視圖中m1i點(diǎn)的配對點(diǎn)，那么就需要分別計(jì)算Sm(m1i，m2j)和Sm(m1i，m2k)，兩者中值小的就是錯誤的配對。得出正確的匹配點(diǎn)對后，就可以得到立體感評價(jià)指標(biāo)Qss，定義如式(13)所示。

其中，MPDEG代表降質(zhì)圖像匹配點(diǎn)個數(shù)，MPORG代表標(biāo)準(zhǔn)圖像匹配點(diǎn)個數(shù)，且P∈[0，1]。

2．3立體圖像整體質(zhì)量客觀評價(jià)

本文將立體圖像左右視點(diǎn)的評價(jià)質(zhì)量值Qm和立體感評價(jià)質(zhì)量值Qss擬合在一起，將左右視點(diǎn)質(zhì)量和立體感好壞視為相互影響又獨(dú)立的兩個部分，參照文獻(xiàn)［6］的加權(quán)方法，得到本文立體圖像質(zhì)量評價(jià)的綜合評價(jià)指標(biāo)，綜合評價(jià)指標(biāo)如式(14)所示。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用天津大學(xué)寬帶無線通信與立體成像研究所建立的標(biāo)準(zhǔn)立體圖像測試庫。該測試庫的原始立體圖像由專門從事立體視頻顯示的公司提供，其選取考慮了相機(jī)參數(shù)、圖像場景、亮暗度及立體感等多種因素，如圖2所示，圖像均為左右格式。主觀實(shí)驗(yàn)對這4幅源圖像進(jìn)行28種降質(zhì)處理共得到112幅待測立體圖像，具體處理方法如表1所示。為保證主觀實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，主觀實(shí)驗(yàn)的所有被試者均為在天津眼科醫(yī)院進(jìn)行了雙目視覺功能測試的合格者，年齡在22～28歲之間，男性12人，女性14人，其中12人具有立體技術(shù)研究背景，被試者主眼均為右眼。

圖2 四幅源立體圖像Fig．2Four original stereoscopic images

表1 預(yù)處理方法表Tab．1Processed methods

為了驗(yàn)證本方法的有效性，將本文方法與文獻(xiàn)［5］和文獻(xiàn)［6］提出的評價(jià)方法相比較。實(shí)驗(yàn)數(shù)據(jù)以Girl圖像為例，圖3給出了本文方法與其他二種方法得到的客觀評價(jià)值與主觀評價(jià)值的對比。從圖3所示曲線可以看出，本文提出的立體圖像質(zhì)量評價(jià)方法在上述的4種失真條件下，所得的客觀評價(jià)值與主觀評價(jià)值吻合度較高，而另外兩種評價(jià)方法的客觀評價(jià)值并沒有很好地體現(xiàn)人的主觀感受。通過曲線圖的對比可以看出，本文所提的方法在評價(jià)壓縮失真及平移失真的立體圖像時(shí)，與主觀評價(jià)值吻合度較高，較其他兩種算法優(yōu)勢明顯;在評價(jià)模糊失真及噪聲失真時(shí)，其他方法也體現(xiàn)了一定的吻合度，但就整體的相關(guān)度而言，本文算法與主觀評價(jià)值的相關(guān)度還是優(yōu)于其他算法的。

為了更直觀地比較3種評價(jià)方法的性能，本文采用Pearson線性相關(guān)系數(shù)PLCC來反映客觀評價(jià)模型預(yù)測的準(zhǔn)確性，計(jì)算公式如式(15)所示。

圖3 不同失真類型下的主客觀評價(jià)值對比Fig．3Contrast of subjective and objective value，for different distortions

其中，N表示所測試降質(zhì)立體圖像對的數(shù)目;X和Y－

分別代表被測立體圖像對的客觀評價(jià)值和主觀評價(jià)值的平均值。Pearson相關(guān)系數(shù)的取值范圍為[－1，1]，其絕對值越接近1，表明客觀模型預(yù)測值與主觀評價(jià)值之間的相關(guān)性越好，客觀評價(jià)模型預(yù)測更準(zhǔn)確。

表2 不同失真類型的相關(guān)度對比Tab．2Correlation coefficient for different distortions

表2列出了用3種方法所得客觀評價(jià)值與主觀評價(jià)值的相關(guān)系數(shù)?？梢钥闯觯疚姆椒ㄔ?種不同的失真類型下所得客觀評價(jià)值都與主觀評價(jià)值有著較高的相關(guān)度，能夠較為準(zhǔn)確地反映立體圖像質(zhì)量等級，然而文獻(xiàn)［5］所提出的方法在評價(jià)平移和加噪的降質(zhì)立體圖像時(shí)，所得結(jié)果與主觀評價(jià)值相關(guān)性較低，相關(guān)系數(shù)分別為0．702 6和0．687 6;文獻(xiàn)［6］所提方法在評價(jià)模糊降質(zhì)的立體圖像時(shí)與主觀評價(jià)值差距較大，相關(guān)系數(shù)為0．691 4，不能較準(zhǔn)確地反映主觀感受。

4 結(jié)論

通過分析人眼的立體視覺特性，根據(jù)人眼對圖像邊緣的敏感特性及雙目匹配在形成立體感知過程中的重要作用，提出了基于邊緣和特征點(diǎn)匹配的客觀質(zhì)量評價(jià)模型，分別從圖像質(zhì)量和立體感兩個方面對立體圖像進(jìn)行評價(jià)，最后綜合圖像質(zhì)量和立體感指標(biāo)作為本模型的評價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果表明，提出的評價(jià)方法對壓縮、模糊、平移及噪聲失真類型的圖像評價(jià)與人眼感知具有較好的一致性，總體評價(jià)的PLCC值均在0．94以上，具有較高的預(yù)測精確性。

［1］Wang Z，Bovik A C．A universal image quality index［J］．IEEE Signal Processing Letters，2002，9(3):81-84．

［2］Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:From error measurement to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(1):1-4．

［3］Wang Z，Bovik A C，Lu L．Why is image quality assessment so difficult［C］．Proc．IEEE Int．Conf．Acoust．，Speech，and Signal Processing，2002:3313-3316．

［4］Wang Z，Lu L，Bovik A C．Video quality assessment based on structural distortion measurement［J］．Signal Processing: Image Communication，special issue on“Objective video quality metrics”，2004，19(2):121-132．

［5］Yang J C，Hou C P，Zhou Y，et al．Objective quality assessment method of stereo images［C］．3DTV Conference:The True Vision-Capture，Transmission and Display of 3D Video，Potsdam，2009:1-4．

［6］Benoit A，Le Callet P，Campisi P，et al．Using disparity for quality assessment of stereoscopic images［C］．15th IEEE International Conference on Image Processing，San Diego，CA，2008:389-392．

［7］Shen Y H，Lv C H，Xu P，et al．Objective quality assessment of noised stereoscopic images［C］．2011 third International Conference on Measuring Technology and Mechatronics Automation，Shanghai，2011:745-747．

［8］范媛媛，沈湘衡，桑英軍．基于對比度敏感度的無參考圖像清晰度評價(jià)［J］．光學(xué)精密工程，2011，19(10): 2485-2493．

Fan Y Y，Shen X H，Sang Y J．No reference image sharpness assessment based on contrastsensitivity［J］．Opt．Precision Eng．，2011，19(10):2485-2493．(in Chinese)

［9］袁飛，黃聯(lián)芬，姚彥．基于視覺掩蓋效應(yīng)和奇異值分解的圖像質(zhì)量評測方法［J］．光學(xué)精密工程，2008，16(4): 706-713．

Yuan F，Huang L F，Yao Y．Study on auto focusing algorithm for automatic microscope［J］．Opt．Precision Eng．，2008，16(4):706-713．(in Chinese)

［10］唐艷秋，張興祥，李新娥，等．基于人眼視覺灰度識別特性的圖像動態(tài)范圍小波變換處理方法［J］．液晶與顯示，2012，27(3):385-390．

Tang Y Q，Zhang X X，Li X E，et al．Image processing method of dynamic range with wavelet transform based on humanvisual gray recognition characteristics［J］．Chinese Journal of Liquid Crystals and Displays，2012，27(3):385-390．(in Chinese)

［11］姚軍財(cái)．基于人眼對比度敏感度視覺特性的圖像質(zhì)量評價(jià)方法［J］．液晶與顯示，2011，26(3):390-396．

Yao J C．Image quality assessment method based on contrast sensitivity characteristics of human vision system［J］．Chinese Journal of Liquid Crystals and Displays，2011，26(3):390-396．(in Chinese)

［12］高國榮，劉冉，奕旭明．一種改進(jìn)的基于小波變換的圖像邊緣提取算法［J］．武漢大學(xué)學(xué)報(bào):理學(xué)版，2005，15(5): 615-619．

Gao G R，Liu R，Yi X M．A revised image edge detection method based on wavelet［J］．Journal of Wuhan University: Natural Science Edition，2005，15(5):615-619．(in Chinese)

［13］趙瑞超．立體圖像質(zhì)量客觀評價(jià)方法的研究與實(shí)現(xiàn)［D］．天津:天津大學(xué)，2010．

Zhao R C．Research and Implementation of Quality Assessment for Stereoscopic Images［D］．Tianjin:Tianjin University，2010．(in Chinese)

Quality evaluation of stereo image based on edge and characteristic point matching

TIAN Hao-nan*，ZHANG Ye
(Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China)

In order to predict the quality of stereoscopic images accurately，an objective stereoscopic image quality assessment method based on edge and characteristic point matching is proposed．Firstly，for the quality assessment，a method that takes the edge information into account is presented，which is based on the plane image quality assessment method;secondly，for the stereo sense assessment，a stereo matching method is used for extracting stereo sense index．Finally，according to quality and stereo sense，a total evaluation index is proposed based on an appropriate weighted method．The experimental results indicate that compared with other methods，the overall Pearson linear correlation coefficient indicators are all above 0．94，which indicates that the proposed method can achieve higher prediction accuracy．

stereo image processing;quality assessment;edge;stereo sense

TP391．41

A

10．3788/YJYXS20153004．0666

田浩南(1987－)，男，吉林長春人，碩士，研究實(shí)習(xí)員，主要從事立體圖像處理、超分辨率重構(gòu)等方面的研究。E-mail:tju_thn@163．com

張葉(1981－)，女，吉林長春人，博士，副研究員，主要從事計(jì)算機(jī)視覺與模式識別等方面的研究。E-mail: zhangye@ciomp．a(chǎn)c．cn

1007-2780(2015)04-0666-07

2014-08-26;

2014-09-30．

吉林省重大科技攻關(guān)項(xiàng)目(No．11ZDGG001);國家自然科學(xué)基金(No．60902067)

*通信聯(lián)系人，E-mail:tju_thn@163．com