李 雪, 江旻珊

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院, 上海 200093)

引 言

圖像清晰度評(píng)價(jià)函數(shù)是評(píng)價(jià)光學(xué)顯微成像系統(tǒng)成像質(zhì)量的關(guān)鍵函數(shù),而一個(gè)良好的圖像清晰度評(píng)價(jià)函數(shù)應(yīng)滿足單峰性、無(wú)偏性、靈敏度高、信噪比大及計(jì)算量大的要求[1]。目前國(guó)內(nèi)外學(xué)者提出了很多圖像清晰度評(píng)價(jià)函數(shù),每種評(píng)價(jià)函數(shù)各有優(yōu)缺點(diǎn),并且在不同的環(huán)境下有不同的評(píng)價(jià)效果,但大多只能在某些特定情況下才具有較好的效果。由于自動(dòng)對(duì)焦的系統(tǒng)十分復(fù)雜和多變,一種函數(shù)無(wú)法適應(yīng)所有的對(duì)焦場(chǎng)合,因此本文將對(duì)目前比較常見(jiàn)的十幾種圖像清晰度評(píng)價(jià)函數(shù)進(jìn)行對(duì)比分析,研究其主要性能和特點(diǎn),以便為這些函數(shù)的正確使用提供一定的依據(jù)。

1 圖像清晰度評(píng)價(jià)函數(shù)

(1) Brenner梯度函數(shù)(Brenner)[2]

Brenner梯度函數(shù)僅僅考察被判斷點(diǎn)與其中一個(gè)相鄰像素點(diǎn)之間的灰度差值,簡(jiǎn)潔實(shí)用、計(jì)算量少,其表達(dá)式為

(1)

式中I(x,y)為像素點(diǎn)(x,y)處的灰度值。

Brenner梯度算子可以看作是模板T=[-1 0 1]和對(duì)應(yīng)位置的圖像像素[I(x,y)I(x+1,y)I(x+2,y)]依次進(jìn)行卷積,模板T=[-1 0 1]是一個(gè)帶通濾波器,Brenner梯度算子正是通過(guò)帶通濾波來(lái)濾除比例較大的低頻能量,保留圖像中的中頻部分能量。

(2) 改進(jìn)的Brenner梯度函數(shù)(ImprovedBre)

改進(jìn)算法采用兩個(gè)模板濾波器來(lái)克服閾值對(duì)傳統(tǒng)Brenner算法評(píng)價(jià)結(jié)果的影響[3]。兩個(gè)濾波器模板分別是帶通濾波器T=[-1 0 1]和高通濾波器G=[1 -1]。用兩個(gè)濾波器模板分別對(duì)圖像進(jìn)行濾波,通過(guò)計(jì)算低頻部分能量和高頻部分能量來(lái)評(píng)價(jià)圖像的清晰度。

改進(jìn)的清晰度評(píng)價(jià)算法可定義為

(2)

改進(jìn)的算法在濾除比例較大的低頻成分的同時(shí),保留了圖像細(xì)節(jié)豐富的中高頻成分。

(3) 絕對(duì)方差函數(shù)(AbsVar)[4]

絕對(duì)方差函數(shù)是一個(gè)較為簡(jiǎn)單的算法,它僅僅是將像素點(diǎn)與其相鄰位置的特定一個(gè)像素進(jìn)行比較,其表達(dá)式為

(3)

因?yàn)檎箞D像的邊緣有較大的灰度差值,所以正焦圖像經(jīng)過(guò)這個(gè)算法計(jì)算之后會(huì)得到相對(duì)于離焦圖像更大的值,且圖像越模糊,其值越小。

(4) Roberts梯度函數(shù)(Roberts)[5]

該函數(shù)對(duì)于絕對(duì)方差函數(shù)來(lái)說(shuō),考察的不僅僅是像素點(diǎn)和其中一個(gè)鄰域像素的灰度關(guān)系,而是將像素點(diǎn)和其右下角的鄰域像素進(jìn)行比較,同時(shí)再比較其垂直方向下的兩個(gè)鄰域像素之間的灰度差值,兩組差值的和作為函數(shù)的最終結(jié)果。函數(shù)表達(dá)式為

(4)

該函數(shù)使用了被判斷點(diǎn)及其外沿三個(gè)像素點(diǎn)的灰度信息,實(shí)際上是以某一點(diǎn)為中心的連續(xù)梯度的近似,處理邊緣特性的時(shí)候比絕對(duì)方差和Brenner梯度函數(shù)要好。

(5) Laplacian函數(shù)(Laplacian)[6]

Laplacian函數(shù)就是利用了邊緣檢測(cè)的Laplacian算子,其表達(dá)式為

(5)

式中:T為閾值;G(x,y)為圖像與Laplacian算子的卷積。Laplacian算子為

(6)

該評(píng)價(jià)函數(shù)使用了被判斷點(diǎn)及其周圍四個(gè)像素點(diǎn)的灰度信息。Laplacian函數(shù)是二級(jí)微分算子,對(duì)孤立噪聲點(diǎn)的響應(yīng)是對(duì)階躍邊緣響應(yīng)的4倍,對(duì)單像素線條的響應(yīng)是對(duì)階躍邊緣響應(yīng)的2倍,對(duì)線端及斜向邊緣的響應(yīng)大于垂直及水平走向邊緣的響應(yīng),所以它不及Roberts梯度函數(shù)和梯度向量模方函數(shù)。

(6) Tenengrad函數(shù)(Tenengrad)

該函數(shù)和Laplacian函數(shù)類似,同樣運(yùn)用邊緣檢測(cè)的思想[7]。與之不同的是Tenengrad函數(shù)采用的是Sobel算子,利用Sobel算子來(lái)估算圖像在水平方向和垂直方向的梯度,為使圖像邊緣的梯度放大,對(duì)梯度進(jìn)行平方運(yùn)算。其定義為

(7)

其中

(8)

式中Gx(x,y)和Gy(x,y)分別是圖像與gx和gy的卷積,其中g(shù)x和gy分別是水平方向和垂直方向的Sobel算子,可表示為

(9)

Tenengrad函數(shù)是先加權(quán)平均再微分,分別對(duì)水平和垂直方向進(jìn)行模板運(yùn)算,對(duì)噪聲有一定的抑制能力。

(7) 梯度向量模方函數(shù)(SGVM)

梯度向量模方函數(shù)是一個(gè)灰度變化梯度和的表達(dá)式,只選取了梯度標(biāo)量數(shù)值信息作為灰度變化量描述[8],其函數(shù)定義為

(10)

(8) 自相關(guān)函數(shù)(Autocorrection)

當(dāng)圖像細(xì)節(jié)越多,即高頻能量越豐富時(shí),自相關(guān)函數(shù)的曲線就越尖銳[9]。該方法兼顧空間域函數(shù)的優(yōu)點(diǎn)并且克服了空間域函數(shù)對(duì)噪聲干擾敏感和對(duì)對(duì)焦區(qū)域選擇要求高的缺點(diǎn),具有較好的實(shí)時(shí)響應(yīng)性能。該函數(shù)表達(dá)式為

(11)

該函數(shù)能較好地克服圖像中噪聲和高亮目標(biāo)等因素的影響,但是計(jì)算量較大。

(9) 熵函數(shù)法(Entropy)

熵函數(shù)法是根據(jù)香濃信息論提出來(lái)的,香濃認(rèn)為熵越大的時(shí)候信息量就越多,然后將此原理應(yīng)用到圖像清晰度評(píng)價(jià)中,因此可以認(rèn)為在圖像能量一定的情況下,圖像熵越大圖像越清晰[10]。定義為

(12)

(10) 全頻段積分函數(shù)(Integral)[11]

在整個(gè)頻域段進(jìn)行積分,表達(dá)式為

(13)

(11) 相鄰灰度差分算子絕對(duì)值之和(Sum)[12]

用差分絕對(duì)值代替乘方和開(kāi)方,即對(duì)被測(cè)點(diǎn)及其鄰近點(diǎn)的灰度作差分運(yùn)算,提取該點(diǎn)灰度值的變化大小,圖像灰度差分絕對(duì)值之和算子為

(14)

式中M、N分別為圖像長(zhǎng)度和寬度的像素?cái)?shù)。

(12) 中值濾波-離散余弦函數(shù)(MDCT)[13]

函數(shù)表達(dá)式為

(x,y)?g)2

(15)

該函數(shù)可以將圖像信息由空域轉(zhuǎn)換至頻域,圖像越模糊高頻分量越少,模糊圖像中相鄰像素間的相互作用,表現(xiàn)為頻域分布中高頻成分的缺失,以高頻成分的大小作為圖像清晰度的評(píng)價(jià)依據(jù)。

(13) 圖像能量函數(shù)(ImageEnergy)[14]

使用圖像能量函數(shù)作為清晰度評(píng)價(jià)函數(shù)的原因,是由于圖像在離焦成像時(shí),離焦量越大,彌散損失的能量就越大。該函數(shù)表達(dá)式為

(16)

(14) 平面微分平方和(PlanarDiff)

對(duì)圖像進(jìn)行微分運(yùn)算提取圖像中景物的邊緣和輪廓,可以評(píng)判圖像中高頻分量的大小,并判斷對(duì)焦正確與否[15]。其表達(dá)式為

(17)

該算法最大的特點(diǎn)在于計(jì)算方法簡(jiǎn)單而且計(jì)算量小,適用于需要實(shí)時(shí)自動(dòng)對(duì)焦的場(chǎng)合。

(15) 基于Prewitt邊緣檢測(cè)算子的清晰度評(píng)價(jià)函數(shù)(Prewitt)[16]

Prewitt算子與Sobel算子非常類似,只是模板系數(shù)不同。Prewitt算子的sx和sy分別用卷積模板表示為

圖像清晰度評(píng)價(jià)函數(shù)為

(18)

Prewitt邊緣算子是一種一階微分算子,是在圖像空間利用兩個(gè)方向模板與圖像進(jìn)行鄰域卷積來(lái)完成檢測(cè)。

(16) 基于LOG邊緣檢測(cè)算子的清晰度評(píng)價(jià)函數(shù)[17](LOG)

LOG算子對(duì)圖像進(jìn)行邊緣檢測(cè)時(shí),輸出的LOG(x,y)是通過(guò)卷積運(yùn)算得到的。LOG(x,y)常用模板為

應(yīng)用LOG邊緣檢測(cè)算子評(píng)價(jià)清晰度時(shí),最后整幅圖像的清晰度評(píng)價(jià)公式為

(19)

這種方法是先將圖像和高斯濾波器進(jìn)行卷積運(yùn)算,這種運(yùn)算既平滑了圖像又降低了噪聲,由于孤立的噪聲點(diǎn)和較小的組織結(jié)構(gòu)將同時(shí)被濾除,會(huì)不利于清晰度評(píng)價(jià)的精度,但此方法會(huì)增強(qiáng)調(diào)焦函數(shù)的單調(diào)性。

2 算法比較

本文在多個(gè)環(huán)境下對(duì)16種算法進(jìn)行了比較和驗(yàn)證,所有算法均由MATLAB編程,并且在相同的計(jì)算機(jī)環(huán)境下測(cè)試。

為了驗(yàn)證這些算法的性能,我們對(duì)同一個(gè)電路板拍攝了一組在純白背景下的圖像。我們選擇了在清晰成像位置附近,每隔0.05 mm采集一幅圖像,焦面前和焦面后各10幅,一共采集到21幅圖,將所得到的21幅圖像從1到21依次排序,得到一組序列號(hào),并在不同環(huán)境條件下對(duì)各個(gè)算法的單峰性,無(wú)偏性、靈敏度以及計(jì)算量進(jìn)行比較。

2.1 單峰性、無(wú)偏性和靈敏度

圖1為各個(gè)函數(shù)運(yùn)算并平滑歸一化之后的結(jié)果。

圖1 理想情況下各清晰度評(píng)價(jià)函數(shù)運(yùn)算結(jié)果Fig.1 The results of all sharpness functions

由圖1可以看出,熵函數(shù)、全頻段積分函數(shù)以及圖像能量函數(shù)表現(xiàn)極差,甚至不能找出最清晰的那幅圖像。而Tenengrad函數(shù)和自相關(guān)函數(shù)雖然能分辨出最清晰的圖像,但是仍然能清楚地看出存在局部極值點(diǎn)。下面我們來(lái)對(duì)比一下其他算法的性能,理想情況下,運(yùn)算結(jié)果如圖2所示。

圖2 理想情況下部分函數(shù)的運(yùn)算結(jié)果Fig.2 The results of part of sharpness functions

由圖2可見(jiàn):在單峰性方面,每個(gè)函數(shù)都體現(xiàn)了極好的單峰性,并且函數(shù)在第一幅圖像到最后一幅圖像的調(diào)焦范圍內(nèi)都只有一個(gè)極值點(diǎn);在無(wú)偏性方面,每個(gè)函數(shù)的極值點(diǎn)都在橫軸為10的位置,即每個(gè)函數(shù)的最佳焦距位置都指向第10幅圖像的位置,函數(shù)之間的結(jié)果得到相互的證明;在靈敏度方面,Laplacian函數(shù)和中值濾波-離散余弦函數(shù)的靈敏度最高,基于Prewitt邊緣檢測(cè)算子的函數(shù)的靈敏度是這幾個(gè)函數(shù)中最低的。

2.2 計(jì)算量

圖3為各個(gè)函數(shù)運(yùn)行一次所耗費(fèi)的時(shí)間。

圖3 理想情況下各函數(shù)運(yùn)行耗時(shí)Fig.3 Time- consumption of each algorithm

從圖3可以看出,熵函數(shù)耗時(shí)最短,而相鄰灰度差分算子絕對(duì)值之和函數(shù)耗時(shí)最長(zhǎng)。但是在耗時(shí)方面,由于受計(jì)算機(jī)因素的限制以及函數(shù)運(yùn)行環(huán)境的影響,在此僅僅作為參考。

為了驗(yàn)證以上結(jié)果的可靠性,我們用有自動(dòng)對(duì)焦功能的顯微鏡拍攝了南瓜莖細(xì)胞在顯微鏡離焦-合焦-離焦?fàn)顟B(tài)下的一段視頻,從中間截取了25張圖像對(duì)以上結(jié)果進(jìn)行驗(yàn)證。

圖4的3張圖分別是顯微鏡離焦、合焦、再離焦時(shí)拍攝到的南瓜莖細(xì)胞圖。

圖4 南瓜莖細(xì)胞圖像Fig.4 Images of cell of pumpkin stem

理想情況下,各函數(shù)運(yùn)算結(jié)果如圖5所示。

圖5 理想情況下各清晰度評(píng)價(jià)函數(shù)運(yùn)算結(jié)果Fig.5 The results of all sharpness functions

從圖5 中可以看出:熵函數(shù)、圖像能量函數(shù)以及全頻段積分函數(shù)均不能識(shí)別出最清晰的那幅圖像;其次,仍舊可以看到Tenengrad函數(shù)和自相關(guān)函數(shù)擁有幾個(gè)不可忽視的局部峰值;其余的函數(shù)均表現(xiàn)出來(lái)較好的無(wú)偏性,均在第13幅圖的位置達(dá)到了最大值,而且都只有一個(gè)極值點(diǎn),證明了這些函數(shù)優(yōu)秀的單峰性;而在靈敏度方面,Lapacian函數(shù)的靈敏度仍舊是最高的。這組結(jié)果和以上結(jié)果得到了很好的相互驗(yàn)證。

2.3 抗噪性

高斯噪聲和椒鹽噪聲是現(xiàn)在圖像中最常見(jiàn)的兩種噪聲,而清晰度評(píng)價(jià)函數(shù)應(yīng)該具備一定的抗噪性,所以我們給所拍攝的21幅圖像分別加上標(biāo)準(zhǔn)偏差為200的高斯噪聲和椒鹽噪聲,以此來(lái)測(cè)試各個(gè)算法的抗噪能力。

2.3.1 高斯噪聲

圖6為各個(gè)函數(shù)在原圖像加入高斯噪聲并歸一化平滑之后的結(jié)果。

圖6 高斯噪聲情況下各清晰度評(píng)價(jià)函數(shù)的運(yùn)算結(jié)果Fig.6 The results of all sharpness functions

由圖6可以看出,Laplacian函數(shù)、熵函數(shù)、全頻段積分函數(shù)以及圖像能量函數(shù)性能極差。尤其是Laplacian函數(shù),在這種情況下波動(dòng)極其大,完全無(wú)法識(shí)別最清晰的圖像,而在近乎理想的情況下Laplacian函數(shù)表現(xiàn)最好,由此我們可以推知,Laplacian函數(shù)雖然各方面性能都十分好,但唯獨(dú)抵抗噪聲的能力非常弱。究其原因,Laplacian函數(shù)利用的是邊緣檢測(cè)的Laplacian算子,Laplacian算子利用的是二階微分,使得Laplacian函數(shù)對(duì)邊緣十分敏感,由于噪聲也有邊緣,這就大大地影響了該算法,使得算法將噪聲的邊緣誤以為是正焦圖像的邊緣,導(dǎo)致算法在離焦的區(qū)域也有較大的輸出,形成不可忽視的極值點(diǎn)。圖7為其余12種函數(shù)的運(yùn)算結(jié)果,圖8為12種函數(shù)中表現(xiàn)較好的4種函數(shù)。

圖8 高斯噪聲情況下表現(xiàn)較好的函數(shù)的運(yùn)算結(jié)果Fig.8 The algorithms with only one peak

從圖7中我們可以看出,這些函數(shù)受高斯噪聲的影響較小,均具有較好的無(wú)偏性,但仍舊有部分函數(shù)出現(xiàn)了數(shù)值可觀的極值點(diǎn)。

從圖8我們可以看到,Brenner函數(shù)、Tenengrad函數(shù),基于Prewitt邊緣檢測(cè)算子的函數(shù)以及中值濾波-離散余弦函數(shù)表現(xiàn)較好,具有較好單峰性和靈敏度。

2.3.2 椒鹽噪聲

圖9為各函數(shù)在原圖中加入椒鹽噪聲并歸一化平滑之后的結(jié)果。從圖我們可以看出,椒鹽噪聲對(duì)函數(shù)的影響十分大,只有幾個(gè)函數(shù)不受影響。Brenner函數(shù)、平面微分平方和函數(shù)和中值濾波-離散余弦函數(shù)雖然能識(shí)別出最清晰的圖像,但均具有較大的極值點(diǎn),而Laplacian函數(shù)、Tenengrad函數(shù)、熵函數(shù)、全頻段積分函數(shù)以及圖像能量函數(shù)則是連最清晰的圖像都分辨不出來(lái)。以下我們將對(duì)性能好的幾個(gè)函數(shù)(如圖10所示)作進(jìn)一步的討論。

從圖10可知,這幾個(gè)函數(shù)仍舊能識(shí)別出最清晰的圖像,也具有較好的單峰性和靈敏度。但是自相關(guān)函數(shù)仍舊存在不可忽視的波動(dòng),改進(jìn)的Brenner函數(shù)、絕對(duì)方差函數(shù)、Roberts函數(shù)、梯度向量模方函數(shù)、相鄰灰度差分算子絕對(duì)值之和以及基于LOG邊緣檢測(cè)算子的函數(shù)這6個(gè)函數(shù)的綜合性能表現(xiàn)較優(yōu),其中Roberts函數(shù)曲線最為平滑,幾乎不存在局部峰值。

圖9 椒鹽噪聲情況下各清晰度評(píng)價(jià)函數(shù)的運(yùn)算結(jié)果Fig.9 The results of all sharpness functions

3 結(jié) 論

一種函數(shù)是無(wú)法在所有的環(huán)境中通用的,一種函數(shù)也許在這種環(huán)境中表現(xiàn)都很好,但拿到另一種環(huán)境中也許就完全無(wú)法使用。比如我們的Laplacian函數(shù),在近乎理想的環(huán)境下,Laplacian函數(shù)無(wú)論是在無(wú)偏性、單峰性還是在靈敏度方面均表現(xiàn)出色,但到了存在高斯噪聲和椒鹽噪聲的情況下,完全不能使用。所以,針對(duì)不同的環(huán)境選擇不同的清晰度評(píng)價(jià)函數(shù)是十分重要的。

本文研究了16種清晰度評(píng)價(jià)函數(shù)在近乎理想的情況、存在高斯噪聲的情況、存在椒鹽噪聲的情況這三種情況下各種性能的表現(xiàn),為以后更好地使用這些函數(shù)提供參考。

在近乎理想的情況下,可以選擇Laplacian函數(shù)作為清晰度評(píng)價(jià)函數(shù);而在高斯噪聲存在的情況下,則應(yīng)該選擇Brenner函數(shù)、Tenengrad函數(shù)、基于LOG邊緣檢測(cè)算子的函數(shù)或者中值濾波-離散余弦函數(shù);在椒鹽噪聲存在的情況下,改進(jìn)的Brenner函數(shù)、絕對(duì)方差函數(shù)、Roberts函數(shù)、梯度向量模方函數(shù)、相鄰灰度差分算子絕對(duì)值之和以及基于LOG邊緣檢測(cè)算子的函數(shù)比較好。

圖10 椒鹽噪聲情況下部分函數(shù)的運(yùn)算結(jié)果Fig.10 The results of part of sharpness functions

[1] 任四剛,李見(jiàn)為,謝利利.基于灰度差分法的自動(dòng)調(diào)焦技術(shù)[J].光電工程,2003,30(2):53-55.

[2] 李奇,馮華君,徐之海,等.數(shù)字圖象清晰度評(píng)價(jià)函數(shù)研究[J].光子學(xué)報(bào),2002,31(6):736-738.

[3] 王健,陳洪斌,周國(guó)忠,等.改進(jìn)的Brenner圖像清晰度評(píng)價(jià)算法[J].光子學(xué)報(bào),2012,41(7):855-858.

[4] 陳國(guó)金,朱妙芬,張克松.圖像調(diào)焦過(guò)程的清晰度評(píng)價(jià)函數(shù)研究[J].數(shù)據(jù)采集與處理,2009,24(2):165-169.

[5] 高贊,姜威,朱孔鳳,等.基于Roberts梯度的自動(dòng)聚焦算法[J].紅外與激光工程,2006,35(1):117-121.

[6] YAO Y,ABIDI B,DOGGAZ N,et al.Evaluation of sharpness measures and search algorithms for the auto focusing of high- magnification images[C]∥Proceedings of the SPIE volume 6246 visual information processing XV.Orlando:SPIE,2006,6246:62460G.

[7] REDONDO R,BUENO G,VALDIVIEZO J C,et al.Autofocus evaluation for brightfield microscopy pathology[J].Journal of Biomedical Optics,2012,17(3):036008.

[8] 孫文.調(diào)制傳遞函數(shù)測(cè)試儀的自動(dòng)調(diào)焦技術(shù)研究[D].南京:南京理工大學(xué),2009.

[9] SANTOS A,DE SOLRZANO C O,VAQUERO JJ,et al.Evaluation of autofocus functions in molecular cytogenetic analysis[J].Journal of Microscopy,1997,188(3):264-272.

[10] JARVIS R A.Focus optimization criteria for computer image processing[J].Microscope,1976,24(2):163-180.

[11] 鮑歌堂,趙輝,陶衛(wèi).圖像測(cè)量技術(shù)中幾種自動(dòng)調(diào)焦算法的對(duì)比分析[J].上海交通大學(xué)學(xué)報(bào),2005,39(1):121-124.

[12] 吳振鋒,左洪福,邱根良.光學(xué)顯微鏡自動(dòng)聚焦的技術(shù)研究[J].光學(xué)儀器,2000,22(4):9-12.

[13] ZHANG X,JIA C,XIE K.Evaluation of autofocus algorithms for automatic detection of Caenorhabditis elegans lipid droplets[J].Progress in Biochemistry and Biophysics,2016,43(2):167-175.

[14] MATEOS- PéREZ J M,REDONDO R,NAVA R,et al.Comparative evaluation of autofocus algorithms for a real- time system for automatic detection of mycobacterium tuberculosis[J].Cytometry Part A,2012,81(3):213-221.

[15] 鄭玉珍,吳勇,倪旭翔.實(shí)時(shí)自動(dòng)對(duì)焦的研究[J].光電工程,2004,31(4):64-66.

[16] 吳曦.基于MATLAB的圖像邊緣檢測(cè)算法的研究和實(shí)現(xiàn)[D].長(zhǎng)春:吉林大學(xué),2014.

[17] 劉興寶.基于數(shù)字圖像處理的自動(dòng)對(duì)焦技術(shù)研究[D].綿陽(yáng):中國(guó)工程物理研究院,2007.