付 強(qiáng),孫秀霞,彭 軻,劉樹(shù)光,陶國(guó)文
(空軍工程大學(xué)航空航天工程學(xué)院,陜西西安710038)
相機(jī)在高動(dòng)態(tài)環(huán)境下容易發(fā)生搖晃和振動(dòng),導(dǎo)致所觀測(cè)到的場(chǎng)景圖像發(fā)生不同程度的運(yùn)動(dòng)模糊,這將嚴(yán)重危害視覺(jué)導(dǎo)航系統(tǒng)的精確度。對(duì)運(yùn)動(dòng)模糊圖像進(jìn)行準(zhǔn)確評(píng)價(jià),既可以對(duì)符合要求的圖像進(jìn)行特征提取等加以充分利用,又便于及時(shí)對(duì)不符合要求的圖像進(jìn)行復(fù)原處理[1-2]。依賴(lài)原始清晰參考圖像的大小,將圖像質(zhì)量評(píng)價(jià)方法分為全參考、部分參考和無(wú)參考3種類(lèi)型。由于無(wú)參考圖像評(píng)價(jià)方法沒(méi)有清晰圖像作為參考,在圖像質(zhì)量評(píng)價(jià)要求比較高的領(lǐng)域還有待增強(qiáng),然而在許多實(shí)際的應(yīng)用場(chǎng)合中,原始清晰參考圖像又都無(wú)法得到。因此,建立有效地?zé)o參考運(yùn)動(dòng)模糊圖像質(zhì)量評(píng)價(jià)算法具有十分重要的意義。
文獻(xiàn)[3]提出一種基于結(jié)構(gòu)信息提取的圖像質(zhì)量評(píng)價(jià)方法——結(jié)構(gòu)相似度(SSIM),但是進(jìn)行評(píng)價(jià)時(shí)需要原始清晰參考圖像,而且沒(méi)有考慮到待評(píng)價(jià)圖像的邊緣信息,提出的算法在評(píng)價(jià)模糊圖像時(shí)不敏感?;赟SIM的圖像質(zhì)量評(píng)價(jià)體系又出現(xiàn)了許多改進(jìn)方法,文獻(xiàn)[4]提出了基于邊緣和梯度的相似度評(píng)價(jià)方法,這些方法優(yōu)于SSIM評(píng)價(jià)方法,但是算法較復(fù)雜,運(yùn)行速度慢,而且只對(duì)于模糊圖像進(jìn)行評(píng)價(jià)有較好的準(zhǔn)確度,對(duì)其他失真圖像進(jìn)行評(píng)價(jià)的準(zhǔn)確度并不好。還有許多文獻(xiàn)評(píng)價(jià)圖像時(shí)進(jìn)行變換[5],但其計(jì)算量大,不易于實(shí)時(shí)應(yīng)用。
因此,本文針對(duì)高動(dòng)態(tài)環(huán)境下視覺(jué)導(dǎo)航系統(tǒng)的可靠性受到運(yùn)動(dòng)模糊制約,而現(xiàn)有的結(jié)構(gòu)相似度算法對(duì)模糊圖像評(píng)價(jià)不敏感的問(wèn)題,首先分析導(dǎo)致圖像產(chǎn)生運(yùn)動(dòng)模糊的原因,在SSIM評(píng)價(jià)方法的基礎(chǔ)上加入由于運(yùn)動(dòng)帶來(lái)圖像模糊失真的考量,為待評(píng)價(jià)圖像構(gòu)造參考圖像,提出了一種基于改進(jìn)結(jié)構(gòu)相似度的無(wú)參考運(yùn)動(dòng)模糊圖像質(zhì)量評(píng)價(jià)算法。
一般情況下,圖像的退化是由系統(tǒng)退化和系統(tǒng)噪聲共同作用導(dǎo)致的,圖像退化模型可表示為:
其中,y為模糊圖像;x為原始清晰圖像;k為模糊核;w為加性噪聲。
相機(jī)做不同的運(yùn)動(dòng)會(huì)導(dǎo)致成像出現(xiàn)不同的運(yùn)動(dòng)模糊,主要分為勻速直線運(yùn)動(dòng)和非勻速直線運(yùn)動(dòng),在相機(jī)曝光時(shí)間相對(duì)較短時(shí),就能夠?qū)⑵渌?lèi)型的運(yùn)動(dòng)模糊近似看作勻速直線運(yùn)動(dòng)模糊[6]。因此,本文考慮的是勻速直線運(yùn)動(dòng)造成圖像模糊,點(diǎn)擴(kuò)散函數(shù)k的一般表達(dá)式為:
其中,L表示在曝光時(shí)間內(nèi)相機(jī)的鏡頭與目標(biāo)之間相對(duì)運(yùn)動(dòng)的大小;θ表示在曝光時(shí)間內(nèi)相機(jī)的鏡頭與目標(biāo)之間相對(duì)運(yùn)動(dòng)的方向,它們是運(yùn)動(dòng)模糊圖像的重要參數(shù)。
Z.Wang等人[3]提出了基于結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法,通過(guò)比較原始清晰參考圖像和待評(píng)價(jià)圖像以得到評(píng)價(jià)指標(biāo)。
亮度測(cè)量比較定義為:
對(duì)比度測(cè)量比較定義為:
結(jié)構(gòu)信息測(cè)量比較定義為:
組成的評(píng)價(jià)指標(biāo)模型為:
其中,μx,μy表示像素點(diǎn)值的平均亮度;σx,σy表示標(biāo)準(zhǔn)差;σxy表示協(xié)方差;參數(shù)α,β,γ用來(lái)調(diào)整三個(gè)函數(shù)的比重大小;C1,C2,C3是防止分母等于零而增加的小常數(shù)。一般情況下,取α=β=γ=1,C3=C2/2,式(6)可以簡(jiǎn)化為:
從式(5)可以看出,s(x,y)求的是參考圖像子塊和待評(píng)價(jià)圖像子塊像素的相關(guān)系數(shù)大小,沒(méi)有對(duì)邊緣輪廓的相關(guān)性做判斷,而模糊圖像主要影響圖像的邊緣和輪廓信息,所以SSIM對(duì)模糊圖像的評(píng)估不準(zhǔn)確[4]。
由于相機(jī)振動(dòng)等現(xiàn)象導(dǎo)致圖像產(chǎn)生運(yùn)動(dòng)模糊時(shí),模糊效應(yīng)會(huì)在真實(shí)的邊緣信息周?chē)a(chǎn)生許多偽邊緣信息,進(jìn)行圖像質(zhì)量評(píng)價(jià)時(shí)必須正確有效地劃分出真邊緣和偽邊緣,為此,從邊緣真?zhèn)蔚慕嵌纫脒吘壷眯哦取?/p>
首先將一幅圖像劃分為不重疊的一些小塊,然后計(jì)算其中的鄰域標(biāo)準(zhǔn)差,鄰域標(biāo)準(zhǔn)差定義為去掉鄰域內(nèi)的最大灰度和最小灰度后剩余像素的標(biāo)準(zhǔn)差:
其中,μi,j為子塊中除去最大最小灰度后余下像素的平均值。
邊緣的真實(shí)性可以由鄰域標(biāo)準(zhǔn)差的大小說(shuō)明,局部區(qū)域內(nèi)的灰度變化大,可靠性高;鄰域標(biāo)準(zhǔn)差小,可靠性差。因此,標(biāo)準(zhǔn)差小的使之更小,大的使之更大,得到更加合理的加權(quán)系數(shù)以更好地評(píng)價(jià)圖像質(zhì)量。
無(wú)參考評(píng)價(jià)方法設(shè)計(jì)的關(guān)鍵在于如何獲得一幅圖像,它可以取代原始清晰參考圖像的位置,與待評(píng)價(jià)圖像進(jìn)行對(duì)比從而得到評(píng)價(jià)值。文獻(xiàn)[4]提出用低通濾波器對(duì)待評(píng)價(jià)圖像進(jìn)行濾波,得到一個(gè)重新模糊圖像,通過(guò)對(duì)比圖像濾波前后圖像最終得到模糊值;文獻(xiàn)[7]提出先對(duì)待評(píng)價(jià)圖像添加噪聲,再將待評(píng)價(jià)圖像與消噪圖像進(jìn)行比較得到模糊值。本文對(duì)于模糊圖像的測(cè)量主要關(guān)注運(yùn)動(dòng)模糊,用再模糊的運(yùn)動(dòng)位移參數(shù)取代一般再模糊處理中的低通濾波器構(gòu)造參考圖像,運(yùn)動(dòng)模糊圖像與再模糊圖像越相似說(shuō)明模糊程度越大。因此,基于改進(jìn)結(jié)構(gòu)相似度的無(wú)參考運(yùn)動(dòng)模糊圖像質(zhì)量評(píng)價(jià)算法的具體運(yùn)算步驟如下:
步驟1:對(duì)待評(píng)價(jià)模糊圖像X進(jìn)行再運(yùn)動(dòng)模糊,得到參考再模糊圖像Y;
步驟2:對(duì)待評(píng)價(jià)模糊圖像X和再模糊圖像Y分別進(jìn)行8×8分塊,通過(guò)Canny邊緣檢測(cè)后得到N個(gè)邊緣信息豐富的邊緣子塊;
步驟3:根據(jù)式(7)計(jì)算每個(gè)邊緣子塊的結(jié)構(gòu)相似度質(zhì)量評(píng)價(jià)指標(biāo);
步驟4:通過(guò)置信度加權(quán)每個(gè)邊緣子塊的評(píng)價(jià)指標(biāo)得到最終的評(píng)價(jià)指標(biāo)WSSIM。
為了驗(yàn)證本文方法的正確性和有效性,通過(guò)兩個(gè)實(shí)驗(yàn)進(jìn)行驗(yàn)證,分別選取標(biāo)準(zhǔn)圖像中的Lena和實(shí)拍跑道圖像,對(duì)其模糊處理得到測(cè)試圖像。本文假定圖像模糊只發(fā)生在45°的方向,對(duì)于其他任意方向,檢測(cè)出運(yùn)動(dòng)模糊方向后,將圖像旋轉(zhuǎn)至該方向即可。
本節(jié)用標(biāo)準(zhǔn)Lena圖像對(duì)本文算法與PSNR算法、SSIM算法進(jìn)行比較,以驗(yàn)證本文提出評(píng)價(jià)方法的有效性。
首先選取不同運(yùn)動(dòng)大小參數(shù)的運(yùn)動(dòng)模糊Lena圖像得到主觀評(píng)價(jià)值(DMOS),模糊長(zhǎng)度為依次從3像素增加到21像素,模糊方向?yàn)?5°,利用Matlab對(duì)原始清晰的Lena圖像進(jìn)行模糊處理生成運(yùn)動(dòng)模糊測(cè)試序列圖,如圖1所示。
圖1 不同運(yùn)動(dòng)模糊大小的標(biāo)準(zhǔn)Lena圖像Fig.1 Lena images with different motion blur size
從圖1可以看出,模糊長(zhǎng)度依次從3像素增加到21像素時(shí),Lena圖像的模糊程度逐漸加強(qiáng)。
圖2 不同方法的模糊度評(píng)價(jià)指標(biāo)Fig.2 Evaluation index of different methods
從圖2(a)(b)可以看出Lena模糊圖像有清晰參考圖像時(shí)的評(píng)價(jià)結(jié)果,RSNR和SSIM隨著運(yùn)動(dòng)模糊的增加出現(xiàn)斜率減小,無(wú)參考評(píng)價(jià)SSIM曲線斜率同樣有所減小,這是符合實(shí)際情況的。對(duì)比無(wú)參考圖像情況下的結(jié)果,通過(guò)數(shù)據(jù)比較可以看出本文算法比MSSIM算法一致性高,評(píng)定效果更優(yōu)越。從圖2(c)的客觀評(píng)價(jià)得分還可以看出,總體上來(lái)講,本文評(píng)價(jià)方法WSSIM能夠及時(shí)地映射出圖像清晰度的變化,準(zhǔn)確地度量所采集運(yùn)動(dòng)模糊圖像的模糊度遞增的趨勢(shì)。因此,本文采用的客觀評(píng)價(jià)準(zhǔn)則,其評(píng)價(jià)得分與圖像的客觀質(zhì)量和人類(lèi)的主觀感受保持了良好的一致性。
為了進(jìn)一步驗(yàn)證本文評(píng)價(jià)方法對(duì)運(yùn)動(dòng)模糊圖像的有效性,采用含噪聲的機(jī)場(chǎng)跑道模糊場(chǎng)景圖像進(jìn)行實(shí)驗(yàn),如圖3所示。模糊長(zhǎng)度依次從3像素增加到30像素,模糊方向?yàn)?5°,生成運(yùn)動(dòng)模糊測(cè)試序列圖。用MSSIM算法以及本文算法在不同再模糊參數(shù)下得到評(píng)價(jià)數(shù)據(jù)并進(jìn)行對(duì)比,結(jié)果如圖4所示。
圖3 運(yùn)動(dòng)模糊圖像示例(運(yùn)動(dòng)位移為30像素,運(yùn)動(dòng)角度為45°)Fig.3 Airport runway scene image(the length of movement is 30 pixels,the angle is 45°)
圖4 不同再模糊參數(shù)的模糊度評(píng)價(jià)指標(biāo)Fig.4 Evaluation index with different parameters
通過(guò)數(shù)據(jù)比較可以看出,再模糊參數(shù)比較大時(shí),MSSIM和本文方法都能較好地評(píng)價(jià)出運(yùn)動(dòng)模糊的程度,但在構(gòu)造再模糊圖像運(yùn)動(dòng)參數(shù)比較小的時(shí)候,評(píng)價(jià)初始運(yùn)動(dòng)模糊參數(shù)大小為15像素到24像素的跑道圖像時(shí),MSSIM評(píng)價(jià)指標(biāo)結(jié)果不增反減,本文方法雖然增幅減小,但也始終保持增加的趨勢(shì),具體數(shù)據(jù)如表1所示。因此,本文算法更能夠保證評(píng)價(jià)的準(zhǔn)確性,評(píng)定效果相較更靈敏,進(jìn)一步驗(yàn)證了其有效性。
表1 運(yùn)動(dòng)再模糊大小為15像素的模糊度評(píng)價(jià)指標(biāo)Tab.1 Evaluation index when the motion-blur parameter is 15 pixels
針對(duì)高動(dòng)態(tài)環(huán)境下視覺(jué)導(dǎo)航中的圖像容易出現(xiàn)運(yùn)動(dòng)模糊且不容易獲得實(shí)時(shí)的清晰參考圖像,本文提出了一種基于改進(jìn)結(jié)構(gòu)相似度的無(wú)參考運(yùn)動(dòng)模糊圖像質(zhì)量評(píng)價(jià)方法。實(shí)驗(yàn)表明,本文提出的方法具有較好的有效性和一致性,同時(shí)較好地提高了無(wú)參考MSSIM評(píng)價(jià)運(yùn)動(dòng)模糊圖像時(shí)的靈敏性。
[1] CHEN Xiaoming,YAN Jinglong,LI yujue,et al.Infrared image de-noising based on redundant DWT[J].Laser&Infrared,2013,43(03):265-271.(in Chinese)陳小明,顏景龍,李玉玨,等.基于信息冗余的小波紅外圖像去噪算法[J].激光與紅外,2013,43(03):265-271.
[2] BI Duyan,GE Yuan,LI Quanhe,et al.A research on defogging methods with single image[J].Journal of Air Force Engineering University:Natural Science Edition,2013,14(6):46-53.(in Chinese)畢篤彥,葛淵,李權(quán)合,等.單幅圖像去霧方法研究[J].空軍工程大學(xué)學(xué)報(bào):自然科學(xué)版,2013,14(6):46-53.
[3] Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-613.
[4] SANG Qingbing,SU Yuanyuan,LI Chaofeng,et al.No-reference blur image quality assessment based on gradient similarity[J].Journal of Optoelectronics Laser,2013,24(3):573-577.(in Chinese)桑慶兵,蘇媛媛,李朝鋒,等.基于梯度結(jié)構(gòu)相似度的無(wú)參考模糊圖像質(zhì)量評(píng)價(jià)[J].光電子·激光,2013,24(3):573-577.
[5] WANG Feng,MENG Fankun,WAN Fangjie,et al.No-reference image quality assessment based on gradient structural similarity in contourlet domain[J].Journal of Information Engineering University,2014,15(1):80-84.(in Chinese)王鋒,孟凡坤,萬(wàn)方杰,等.基于Contourlet域梯度結(jié)構(gòu)相似度的無(wú)參考圖像質(zhì)量評(píng)價(jià)[J].信息工程大學(xué)學(xué)報(bào),2014,15(1):80-84.
[6] ZHANG Yujin.Image engineering[M].Beijing:Tsinghua University Press,2001.(in Chinese)章毓晉.圖像工程[M].北京:清華大學(xué)出版社,2001.
[7] PANG Lulu,LI Congli,LUO Jun.Image quality assessment method based on TV and SSIM[J].Computer Engineering,2012,38(3):215-217.(in Chinese)龐璐璐,李從利,羅軍.基于TV與SSIM的圖像質(zhì)量評(píng)價(jià)方法[J].計(jì)算機(jī)工程,2012,38(3):215-217.