戴柳云
(重慶師范大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院,重慶 401331)
圖像作為信息的主要表現(xiàn)形式之一,在信息表達(dá)的過程中起著重要的作用,所包含信息的豐富程度對信息的傳遞與交流具有很大的影響。然而在信息的采集過程中,經(jīng)常會(huì)受到環(huán)境或者硬件的影響而導(dǎo)致采集的圖像在不同程度上出現(xiàn)整體或者局部模糊的情況。例如采集圖像的清晰程度通常受相機(jī)鏡頭(例如:制造質(zhì)量、焦距、光圈和距圖像中心的距離)、成像傳感器(例如:傳感器尺寸、像素?cái)?shù))、相機(jī)/物體運(yùn)動(dòng)、大氣干擾和焦點(diǎn)準(zhǔn)確性等影響。許多圖像包含了由離焦、攝像機(jī)/物體運(yùn)動(dòng)和攝像機(jī)抖動(dòng)等因素引起的模糊區(qū)域,當(dāng)一幅圖像出現(xiàn)模糊時(shí),可能會(huì)對后期的圖像分割、圖像融合、圖像特征提取等產(chǎn)生不同程度的影響。所以高效有效的模糊檢測對圖像分割、圖像恢復(fù)和圖像理解等領(lǐng)域都有著重要的應(yīng)用價(jià)值,對模糊圖像清晰程度測量以及對模糊區(qū)域的檢測是非常有意義的。
失焦模糊由于相機(jī)景深的限制而產(chǎn)生的一種模糊。距離相機(jī)任意距離的對象都會(huì)在成像平面成像,但是成像的清晰程度會(huì)隨著對象到鏡頭的距離的不同而產(chǎn)生變化。研究發(fā)現(xiàn),只有當(dāng)成像對象恰好在鏡頭焦點(diǎn)位置上時(shí)才可以在成像平面形成清晰的圖像,而在鏡頭焦點(diǎn)與鏡頭之間的和焦點(diǎn)以外的對象在成像平面形成的圖像會(huì)出現(xiàn)一定程度的模糊現(xiàn)象,在距離焦點(diǎn)前后較近范圍內(nèi)的對象成像圖像的模糊程度較低,通常也判斷為清晰圖像,所以距離焦點(diǎn)前后可形成清晰圖像的范圍就是景深,其他范圍內(nèi)的對象成像就會(huì)出現(xiàn)失焦模糊。
模糊檢測是計(jì)算機(jī)視覺中一項(xiàng)重要且具有挑戰(zhàn)的任務(wù),目前為止,已經(jīng)有很多研究者在這方面進(jìn)行了大量研究,并且取得了很多成果。例如,文獻(xiàn)[1]提出運(yùn)用奇異值分解的局部模糊測量方法,根據(jù)模糊圖像前k項(xiàng)奇異值之和與所有奇異值之和的比值大于清晰圖像前k項(xiàng)奇異值之和與所有奇異值之和的比值的特點(diǎn),以部分奇異值占所有奇異值的和的比值作為像素的模糊度量,該方法在紋理豐富的區(qū)域表現(xiàn)良好,但在紋理平坦的清晰區(qū)域容易出現(xiàn)誤檢。文獻(xiàn)[2]提出了一種采用奇異值分解的圖像模糊區(qū)域檢測的分割方法。該算法利用模糊圖像前k項(xiàng)奇異值所占比重比清晰圖像要大,然后根據(jù)對局部模糊圖像進(jìn)行低通濾波后,清晰區(qū)域變化要大于模糊區(qū)域,提出通過對局部模糊圖像進(jìn)行再次模糊,然后將前后圖像的奇異值特征變化值的模糊度量。最后根據(jù)這個(gè)特征采用分塊的方式對局部模糊圖像進(jìn)行檢測和標(biāo)識(shí),該方法雖然對紋理豐富的區(qū)域有良好的表現(xiàn)效果,但是對趨于平坦的效果不明顯。文獻(xiàn)[3]基于BP神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行局部模糊測量,該算法采用所有奇異值特征和DCT非零系數(shù)特征聯(lián)合實(shí)現(xiàn)空頻聯(lián)合的模糊度描述,并在此基礎(chǔ)上訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)分類器,實(shí)現(xiàn)圖像模糊度預(yù)測,該方法在一定程度上改善了基于奇異值前k項(xiàng)奇異值所占比重的方法對紋理不豐富區(qū)域表現(xiàn)的不足,實(shí)現(xiàn)了對運(yùn)動(dòng)模糊圖像的模糊程度測量,并且結(jié)果較其他相同召回率算法準(zhǔn)確率有所提高,但是該方法對局部失焦模糊圖像的模糊測量效果不明顯。文獻(xiàn)[4]基于SVM的模糊圖像識(shí)別的方法,該算法先提取圖像的頻域內(nèi)頻率系數(shù)統(tǒng)計(jì)、峰度值、顏色飽和度特征,在此基礎(chǔ)上訓(xùn)練支持向量機(jī)分類器,并利用該分類器分辨出模糊圖像。但該方法僅適用于整張圖像模糊的情況,可以將圖像分為輕微模糊、中等模糊和嚴(yán)重模糊,不能對局部模糊的圖像進(jìn)行識(shí)別。在模糊特征的提取上,還有一些有助于確定圖像模糊程度的指標(biāo),例如,文獻(xiàn)[5]中的FISH,該指標(biāo)使用離散小波變換來計(jì)算全局和局部圖像清晰度的指標(biāo)。文獻(xiàn)[6]中使用基于Canny算子(邊緣檢測算法)的測量來檢測模糊程度,對于具有少量邊緣或弱邊緣的圖像使用此方法會(huì)導(dǎo)致錯(cuò)誤識(shí)別模糊。本文是對失焦模糊圖像的模糊程度測量,研究運(yùn)用現(xiàn)有的表現(xiàn)很好的特征作為圖像的特征向量,這些特征包括奇異值、部分奇異值法、再模糊部分奇異值變化、方差、空間頻率、梯度,SML、邊緣,為了檢測出平坦/近平坦區(qū)域,還采用了反映高頻信息變化的DCT能量。
BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。它的學(xué)習(xí)規(guī)則是使用遞度下降法,在學(xué)習(xí)過程中,分為輸入樣本的正向傳播和誤差的反向傳播:正向傳播是輸入樣本傳到輸入層,再到各隱含層,最后傳到輸出層;若正向傳播計(jì)算的輸出與期望的輸出之間存在誤差,則將誤差信號(hào)反向傳播,調(diào)整權(quán)值和閾值,直到輸出滿足要求。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層、一個(gè)或多個(gè)隱含層和輸出層。本文設(shè)計(jì)的是三層網(wǎng)絡(luò)模型,包括輸入層,一個(gè)隱藏層和輸出層。輸入層輸入的是選取的9個(gè)特征,隱藏層選擇9個(gè)節(jié)點(diǎn)。輸出層只有一個(gè)節(jié)點(diǎn),輸出輸入圖像塊的模糊程度。考慮到訓(xùn)練效率,將網(wǎng)絡(luò)模型的其他參數(shù)設(shè)置為:最大迭代次數(shù)為10000;目標(biāo)函數(shù)設(shè)置為均方誤差;學(xué)習(xí)率設(shè)為0.1。
圖1 算法概念
具體步驟如下:
第一步:對失焦模糊圖像Ik通過圍繞邊界進(jìn)行鏡像反射來擴(kuò)展。
第二步:計(jì)算圖像Ik的以block×block為中心的(2block)×(2block)區(qū)域的特征向量作為該塊的模糊程度值。
第三步:為了訓(xùn)練BP神經(jīng)網(wǎng)絡(luò),需要為每個(gè)特征向量貼一個(gè)標(biāo)簽。通過手動(dòng)圖像分割技術(shù),將圖像Ik的模糊區(qū)域標(biāo)記為白色,清晰區(qū)域標(biāo)記為黑色生成標(biāo)記圖IkL,然后將IkL分解成block×block的小塊,統(tǒng)計(jì)內(nèi)的白色像素個(gè)數(shù)Ri,則Ri={0,1,2,3,4}。
第五步:將測試待測量失焦模糊圖像輸入到神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行模糊程度度量。
失焦模糊區(qū)域檢測利用空間域和變換域的九維特征信息來確定圖像的清晰度,包括空間梯度、離散余弦變換提取不同類型的特征,這些信息特征有效地模擬了圖像塊中的模糊效果。
(1)空間頻率(FS)
2014年高職在校生人數(shù)突破1 000萬,占全國高校在校生人數(shù)的半壁江山。盡管高職的塊頭已足夠大,但近20年來,由于追求規(guī)模發(fā)展,內(nèi)涵質(zhì)量存在一定缺陷。2006年,示范(骨干)校建設(shè),從方向和內(nèi)涵上彰顯了培優(yōu)扶強(qiáng)的效果, “校企合作”方面的示范成效顯著。然而,示范(骨干)校與企業(yè)共同育人的做法和機(jī)制并不是十全十美,“校企合作”進(jìn)展參差不齊,畢業(yè)生質(zhì)量與企業(yè)需求也有差距。同時(shí),示范(骨干)校以外的高職在與企業(yè)合作育人方面,也存在一定差距。整體高職育人過程缺少與企業(yè)標(biāo)準(zhǔn)的融合與對接。
空間頻率[7]是對圖像清晰程度的測量。通常,同一場景清晰圖像的空間頻率高于模糊圖像的空間頻率。本文采用文獻(xiàn)[8]改進(jìn)的空間頻率,計(jì)算對于一個(gè)大小為M×N的圖像F,圖像的空間頻率定義為:
式中RF表示水平方向的梯度值,CF表示垂直方向的梯度值,SDF表示副對角線方向的梯度值,MDF表示主對角線方向梯度值,SF為整體的空間頻率,RF、CF、SDF、MDF的計(jì)算分別為:
式中ω表示距離權(quán)值,取
(2)拉普拉斯能量和(SML)
拉普拉斯能量和能表征圖像的高頻信息和邊緣信息。本文采用一種改進(jìn)的拉普拉斯能量和。計(jì)算方式如下:
(3)方差(VAR)
方差可以用來判斷圖像塊的清晰程度。計(jì)算方式如下:
其中μI為圖像I的均值。
(4)梯度能量(GE)
梯度能反映圖像細(xì)節(jié)反差程度和紋理變換特征,本文采用文獻(xiàn)[8]改進(jìn)的梯度特征,G(i,j)為圖像F在F(i,j)處的梯度值。計(jì)算方式如下:
(5)邊緣(EDGE)
越清晰的圖像塊中包含的邊緣的細(xì)節(jié)信息越豐富,本文采用了著名的Canny邊緣檢測算法來計(jì)算圖像邊緣。
(6)DTC能量(En)
DTC系數(shù)反映一幅圖像的頻域信息的分布情況。清晰圖像通常具有良好的圖像對比度,高頻分量所占的比率相對較高,而模糊圖像邊界信息出現(xiàn)不同程度的損失,圖像對比度下降,圖像趨于平坦,其高頻分量所占的比率下降。
(7)SVD
奇異值分解是對圖像的主成分分析,奇異值越大,相應(yīng)的特征所占的分量越大。同一場景清晰圖像的奇異值較模糊圖像的奇異值要大,并且文獻(xiàn)[1]發(fā)現(xiàn)模糊圖像前k項(xiàng)奇異值所占比重比清晰圖像的要大,文獻(xiàn)[2]提出對圖像再次模糊后,清晰圖像的前k項(xiàng)奇異值所占比重變化大于模糊圖像。
本實(shí)驗(yàn)在MATLAB 2015a軟件平臺(tái)上進(jìn)行,微機(jī)配置為 Windows 7,Intel Core i5 2.5GHz CPU,4GB RAM。為了驗(yàn)證本算法的有效性,選取了文獻(xiàn)[3]結(jié)合奇異值和DTC非零元素個(gè)數(shù)的方法進(jìn)行比較。使用兩種方法分別對三幅圖像進(jìn)行模糊程度測量,其中實(shí)驗(yàn)1中圖(a)為原圖,大小為480×640,實(shí)驗(yàn)2中圖(d)為原圖,大小為520×520,實(shí)驗(yàn) 3 中圖(g)為原圖,大小為 520×520,(b)(e)(h)分別是采用文獻(xiàn)[3]的方法的實(shí)驗(yàn)結(jié)果,(c)(f)(i)是本文方法的實(shí)驗(yàn)結(jié)果,本實(shí)驗(yàn)中的block=2。
圖2 實(shí)驗(yàn)1
圖3 實(shí)驗(yàn)2
圖4 實(shí)驗(yàn)3
實(shí)驗(yàn)1中,原圖image1前景失焦模糊,背景聚焦清晰,文獻(xiàn)[3]的方法在背景聚焦清晰區(qū)域誤檢較多,在前景失焦模糊區(qū)域測量結(jié)果對模糊程度表現(xiàn)不夠鮮明,本文的方法測量效果在這兩個(gè)方面表現(xiàn)都較好。實(shí)驗(yàn)2中,原圖image2前景聚焦清晰,背景失焦模糊,文獻(xiàn)[3]和本文方法在前景聚焦區(qū)域表現(xiàn)都不夠好,但是本文方法在背景模糊區(qū)域表現(xiàn)比較好,尤其是在左上角白色天空區(qū)域,準(zhǔn)確檢測出其模糊狀態(tài)。實(shí)驗(yàn)3中,文獻(xiàn)[3]的方法出現(xiàn)大面積誤檢,而本文方法較準(zhǔn)確測量出前景和背景的模糊狀態(tài)。從實(shí)驗(yàn)結(jié)果可以看出,本文的方法不僅在紋理豐富區(qū)域測量出模糊程度,在紋理平坦區(qū)域也表現(xiàn)較好。
本文通過選取圖像頻域和空域中多個(gè)表征模糊程度的特征,然后基于BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)模糊程度的測量。該方法可以有效測量出局部失焦模糊圖像的模糊位置以及模糊程度,可以用到多聚焦圖像融合中失焦模糊區(qū)域檢測,具有一定的實(shí)際意義。本文算法模糊程度測量結(jié)果總體較好,但是測量結(jié)果不連續(xù),出現(xiàn)很多離散的誤檢,接下來考慮使用形態(tài)學(xué)算法進(jìn)行修正。