張艷勤, 童衛(wèi)青, 何榮煒

(華東師范大學 計算機科學與軟件工程學院,上海 200062)

基于序位濾波的斑點形態(tài)濾波器①

張艷勤, 童衛(wèi)青, 何榮煒

(華東師范大學 計算機科學與軟件工程學院,上海 200062)

斑點是圖像中的一種基本灰度形態(tài),在圖像分析中有著重要應用.本文提出了一種新的斑點形態(tài)濾波器(Blob Form Filter,以下簡稱BFF),用于圖像中斑點形態(tài)的目標檢測.BFF采用了序位濾波原理,所以它對噪聲具有較好的魯棒性.實驗結(jié)果表明,BFF可以有效地從受噪聲污染的二值圖像、灰度圖像中檢測出指定大小的斑點區(qū)域,并且抽出的斑點形態(tài)非常接近于斑點原有的形態(tài).

斑點形態(tài)濾波器;斑點檢測;序位濾波

在計算機視覺研究領域中,斑點是指一幅圖像中比背景亮或暗的一些像素點集合[1].斑點檢測可以用來提取感興趣的目標區(qū)域[2],并支持后續(xù)的目標識別和追蹤工作,比如視頻監(jiān)控中的行人檢測與跟蹤、人眼定位等.

既有的斑點檢測算法主要是基于LoG(Laplacian of Gaussian)[3]算法.LoG算法首先使用高斯卷積濾波對圖像降噪,再用拉普拉斯算子對圖像進行二階微分尋找極值點來檢測斑點.LoG算法存在對噪聲敏感,只能檢測中心對稱的斑點形狀等缺陷,一些學者提出了相關改進算法[4-7].Kong[4]等人提出了一種gLoG(Generalized Laplacian of Gaussian)斑點檢測算法,該算法增加了多種旋轉(zhuǎn)對稱的高斯核,可以檢測旋轉(zhuǎn)對稱的斑點形態(tài).Miao[5]等人提出了一種基于ROLG (Rank order Laplacian of Gaussian)的斑點檢測算法,通過設置秩排序操作使濾波器對噪聲有較好的魯棒性.Zhang[6,7]分別提出了基于HLoG (Hessian-based Laplacian of Gaussian)、HDoG (Hessian-based Difference of Gaussian)的斑點檢測算法,可以從圖像中提取尺度更小的斑點形態(tài).一些學者也提出了其他斑點檢測算法[8-11].Ren等人[8]提出了一種基于兩個秩排序濾波器(Rank Order Filter)的斑點檢測的算法,并應用于人眼檢測.該算法使用兩個秩排序濾波器分別提取暗斑點與其周圍的亮區(qū)域,將兩個濾波值做差得到暗斑點的濾波響應點,但是該濾波器只能提取圓形形狀的暗斑點.Yamamoto[9]提出了一種基于數(shù)理形態(tài)學的Quoit濾波器,該濾波器使用兩種結(jié)構(gòu)元素對圖像分別做膨脹運算,膨脹運算結(jié)果的差值作為一次濾波結(jié)果,可以檢測出斑點.但是該濾波器只能提取圓形斑點的形狀,并且對噪聲的魯棒性差.楊[10]等人提出了一種基于多尺度的各向異性平滑方程的圓形濾波器對肺部CT圖像中的結(jié)節(jié)進行檢測.Ming[11]提出了一種基于混合拉普拉斯(Hybrid of Laplacian)和 DoH(Determinant of Hessian)的多尺度斑點檢測算法,可以從彩色圖像和灰度圖像中提取斑點.

本文在總結(jié)前人研究方法的基礎上,提出了一種新的斑點形態(tài)濾波器,可以有效地從二值圖像和灰度圖像中檢測出指定尺寸的任意斑點形狀.

1 斑點形態(tài)濾波器

1.1 BFF的原理

如圖1所示,如果灰度圖像中存在一個斑點形態(tài)區(qū)域B,B內(nèi)灰度值與周圍的灰度值有一定差值,則區(qū)域B為一個具有斑點形態(tài)的待檢測目標.

圖1 BFF的原理圖

為了檢測出斑點區(qū)域B,我們構(gòu)建圖2所示的圓盤和圓環(huán)這兩種結(jié)構(gòu)元素.圓盤用于覆蓋斑點區(qū)域,圓環(huán)內(nèi)圓半徑大于圓盤半徑,且圓環(huán)有一定寬度.

設p為斑點區(qū)域像素點,并假定斑點區(qū)域的灰度值比周圍的要大.先把圓環(huán)內(nèi)的像素點灰度值按從大到小的順序進行排序,并選擇一個合適序位x,設序位x的灰度值為vx.然后將被圓盤所覆蓋區(qū)域內(nèi)的像素點的灰度值與vx做差,若差值大于斑點置信度閾值T,則該差值作為該點的濾波結(jié)果,否則濾波結(jié)果為0.這樣我們就能把斑點區(qū)域檢測出來.

BFF中,圓環(huán)對應與斑點形態(tài)灰度做比較的區(qū)域,而圓環(huán)內(nèi)圓半徑對應著這個比較區(qū)域與斑點區(qū)域的距離.合理地設置圓盤和圓環(huán)結(jié)構(gòu)元素的參數(shù)可以提高斑點檢測的魯棒性.

1.2 BFF的定義

1.2.1 BFF的定義

BFF由圓盤和圓環(huán)兩個結(jié)構(gòu)元素構(gòu)成,如圖2所示.圓盤半徑為r3,圓環(huán)內(nèi)圓半徑為r2,圓環(huán)外圓半徑為r1,其中r1≥r2,BFF的形態(tài)結(jié)構(gòu)元素的參數(shù)定義如表1所示,坐標系設定如圖3所示.

圖2 BFF的形態(tài)結(jié)構(gòu)元素

圖3 BFF的坐標系設定

表1 BFF形態(tài)結(jié)構(gòu)元素的各參數(shù)定義

1.2.2 BFF的濾波運算

序位濾波是指圓環(huán)中的像素灰度排序之后,圓盤中每個像素分別與圓環(huán)中指定序位的像素灰度做差,把灰度差值作為濾波結(jié)果.

設(x,y)為當前BFF原點p的坐標,I(x,y)為該點處的像素灰度值,點p對應的圓盤和圓環(huán)區(qū)域分別為D和R.設圓環(huán)序位數(shù)為sn,R[sn]為圓環(huán)內(nèi)像素灰度經(jīng)過排序后在序位sn處的灰度值,濾波置信度閾值為T,則BFF序位濾波運算定義為:

對于無噪聲的二值圖像來說,圓環(huán)序位設定為1就可獲得預期的濾波效果.對受到噪聲污染的二值圖像以及灰度圖像來說,選擇合適的濾波序位可以有效降低噪聲影響,提高濾波的魯棒性.

2 驗證實驗

2.1 實驗圖像庫

我們生成四類圖像庫(表2)來驗證BFF的有效性.四類圖像庫分別包含人工二值圖像、人工二值噪聲圖像、灰度合成圖像以及人臉圖像.

表2 實驗用圖像庫

圖像庫A:包含10種形狀3種尺寸共30種二值斑點形狀,每種尺寸的斑點有相同半徑的外接圓.如圖4(a)所示,第1～2行斑點的外接圓半徑為20 pix,第3～4行斑點的外接圓半徑為30 pix,第5～6行斑點的外接圓半徑為40 pix.圖像庫B:對圖像庫A分別施加三種椒鹽噪聲(分別為5%,10%,15%)、三種高斯噪聲(均值為0,方差分別為0.01,0.03,0.05)、三種混合噪聲(10%的椒鹽噪聲分別與均值為0、方差為0.01,0.03,0.05的高斯噪聲混合),一共生成9幅圖像,圖4(b)為施加10%椒鹽噪聲和均值為0、方差為0.03高斯噪聲的混合噪聲圖像.圖像庫C:由灰度斑點區(qū)域與20種不同背景圖像疊加而成的灰度合成圖像,其中灰度斑點區(qū)域是由圖像庫A的斑點區(qū)域覆蓋在一幅較亮的圖像上得到的,圖4(c)為其中一幅圖像.圖像庫D:是國際公開的人臉圖像庫Jaffe[12],其中包含了10個人的不同表情變化的213幅256×256的灰度圖像,圖4(d)為其中一幅圖像.

下面我們分別在上述四個圖像庫上對BFF的性能進行驗證實驗.

2.2 圖像庫A的驗證實驗

以圖5(a)為例來說明BFF在圖像庫A上的實驗過程.圖5(a)中共有10種形狀和3種尺寸的30個斑點形狀,實驗目標是檢測出外接圓半徑為30,即第3～4行中斑點,具體步驟如下文所述.

圖4 各圖像庫中的圖像樣例

(1)BFF參數(shù)第1次設定

BFF的圓盤半徑r3=30和目標斑點尺寸一致,圓環(huán)內(nèi)圓半徑r2=r3+1,圓環(huán)外圓半徑r1=r2+2,采用序位濾波模式,序位數(shù)為1.

(2)抽出外接圓半徑小于等于30的斑點

用(1)設置好的BFF對圖5(a)進行濾波處理,并設BFF的置信度閾值T=20.由濾波結(jié)果圖5(b)可知,第1～4行的斑點被檢測出,其它大于該外接圓尺寸的第5～6行斑點未被濾波出來.

(3)BFF參數(shù)第2次設定

為了抽出第1～2行的斑點,BFF的參數(shù)設定如下:r3=20,r2=r3+1,r1=r2+2,采用序位濾波模式,序位數(shù)為1.

(4)抽出第 3～4行的斑點

用設置好的BFF對圖5(b)進行濾波后得到了圖5(c)的結(jié)果,然后我們把圖5(b)和圖5(c)的濾波結(jié)果做差最終得到目標斑點的檢測結(jié)果,如圖5(d)所示.

實驗結(jié)果表明BFF可以從二值圖像中檢測出指定大小的斑點形狀.

2.3 圖像庫B的驗證實驗

以圖4(b)為例來說明BFF在圖像庫B上的實驗過程.圖像庫B是在圖像庫A的基礎上添加了不同程度的高斯噪聲和椒鹽噪聲.實驗后的是驗證BFF能從添加了椒鹽噪聲和高斯噪聲的混合噪聲圖像中檢測出第3～4行外接圓半徑為30的斑點形狀,具體步驟如下:

(1)BFF參數(shù)的第1次設定

BFF的圓盤半徑r3=30和目標斑點尺寸一致,圓環(huán)內(nèi)圓半徑r2=r3+1,圓環(huán)外圓半徑r1=r2+3,采用序位濾波模式,序位為圓環(huán)內(nèi)像素總數(shù)的第5%位.

(2)抽出外接圓半徑小于等于30的斑點

用(1)設置好的BFF對圖4(b)進行濾波,并設BFF的置信度閾值T=50,圖6(a)是其第一次濾波后的結(jié)果,原圖中第1～4行的斑點都被有效地抽出來了.

(3)BFF參數(shù)的第2次設定

我們只修改圓盤半徑r3=20,其它參數(shù)不變,檢測半徑為20的斑點.

(4)抽出圖中的第3～4行的斑點

用(3)設置好的BFF對圖6(a)進行濾波得到如圖6(b)所示濾波結(jié)果,從圖中可以看出外接圓半徑為20的斑點被濾波出來.為了消除斑點區(qū)域里的噪聲,接著對圖6(a)和6(b)進行中值濾波處理,分別得到如圖6(c)和6(d)所示的濾波結(jié)果,從圖中可以看出噪聲得到了較好的抑制.然后我們將兩個中值濾波結(jié)果做差得到圖6(e),最后進行二值化處理并使用數(shù)理形態(tài)學的開操作去除細微的噪聲得到圖6(f)的結(jié)果.

圖5 BFF對二值斑點圖像的濾波效果

圖6 BFF對有噪聲的二值斑點圖像的濾波效果

我們對圖像B庫的所有圖像做了BFF驗證實驗,實驗結(jié)果表明BFF可以從受較嚴重的噪聲污染的二值圖像中檢測出指定大小且較完整的目標斑點形狀.

2.4 圖像庫C的驗證實驗

以圖4(c)為例來說明BFF在圖像庫C上的實驗過程.實驗后的是驗證BFF能夠從合成灰度圖像中檢測出外接圓半徑為30的斑點形狀.處理步驟如下:

(1)BFF參數(shù)的第1次設定

BFF圓盤半徑r3=30和目標斑點尺寸一致,圓環(huán)內(nèi)圓半徑r2=r3+2,圓環(huán)外圓半徑r1=r2+3,采用序位濾波模式,序位數(shù)為3.

(2)抽出外接圓半徑小于等于30的斑點

用(1)設置好的BFF對圖4(c)進行濾波,并設置濾波置信度閾值T=50,得到圖7(a)所示的濾波結(jié)果,從圖中可以看出第1～4行斑點被有效地檢測出來.

(3)BFF參數(shù)的第2次設定

為了抽出圖中第1～2行的斑點,我們把BFF的圓盤半徑設定為r3=20,序位數(shù)設定為8,其它都不變.

(4)抽出圖中的第3～4行的斑點

用(3)設置好的BFF對圖7(a)進行濾波得到如圖7(b)所示濾波結(jié)果,從圖中可以看出外接圓半徑為20的斑點都被抽出,同時也包含較少的背景濾波響應.

我們對兩幅濾波結(jié)果圖像進行中值濾波處理,以提高斑點區(qū)域的圖像質(zhì)量,圖7(c)和(d)分為別為圖(a)和(b)的中值濾波結(jié)果.接著將兩個濾波結(jié)果做差并設置閾值去除噪聲得到圖7(e).最后對圖7(e)進行二值化并使用開操作去除細微的噪聲后得到圖7(f)所示的結(jié)果.

圖7 BFF對斑點形態(tài)灰度圖像的濾波效果

我們用同樣的方法對圖像庫C中的所有圖像都進行了實驗驗證了BFF的有效性.圖8為圖像庫C中另外三張合成圖像的濾波結(jié)果示例,可以看出,BFF能夠有效地從灰度合成圖像中檢測出外接圓半徑為30的斑點形狀.圖8(e)中由于背景圖像中存在高亮且外接圓半徑接近30的斑點形態(tài),所以這部分區(qū)域也被提取出來,屬于合理范圍內(nèi)的結(jié)果.

圖8 圖像庫C中部分合成灰度圖像的濾波效果

2.5 圖像庫D的驗證實驗

圖像庫D是國際公開的、用于評估人臉識別和表情識別算法的人臉庫,如何從人臉圖像中檢測出眼睛位置,是人臉識別的一個很重要的處理.本實驗后的是通過一個實際的眼球斑點檢測,來驗證BFF的性能,具體步驟如下:

(1)圖像預處理

我們先訓練了一個基于隨機決策樹的人臉快速檢測分類器,對圖像庫中圖像進行人臉檢測,得到圖9(a)所示的人臉矩形區(qū)域,接著對人臉矩形區(qū)域進行數(shù)理形態(tài)學的開操作處理以去除眼球中的白光反射點,最后對開操作后的人臉矩形區(qū)域行反色處理,使人眼呈現(xiàn)出高亮的斑點形態(tài).

(2)候選眼球的檢測

由于圖像中眼球的大小是不固定的,為此根據(jù)人臉庫中眼球半徑大小的范圍設計了一組BFF濾波器.BFF濾波器組的圓盤半徑r3從12到16遞增,BFF濾波器組的圓環(huán)內(nèi)圓半徑r2=r3+1,圓環(huán)外圓半徑r1=r2+2,采用序位濾波模式,序位數(shù)為3.每個濾波器對同一個人臉區(qū)域做一次濾波處理,然后做一次數(shù)理形態(tài)學的開操作以去除噪聲,最后把5次處理的結(jié)果進行疊加,疊加的規(guī)則是:將每個像素點的最大的濾波響應值作為最終的疊加結(jié)果,結(jié)果如圖9(b)所示.

圖9 BFF人臉圖像的人眼濾波效果

(3)眼球斑點的提取

從圖9(b)中可以看到眼球斑點被濾波出來的同時面部的其他斑點如鼻孔等也被濾波出來了,這是合理的結(jié)果.

為了從候選眼球斑點中抽出真眼球斑點,我們做了以下處理:

1)對圖9(b)的候選眼球進行二值化處理和標記處理,獲取所有斑點的中心.

2)將每個中心點兩兩配對,作為雙眼候選點.接著用以下規(guī)則對雙眼候選點進行配對:

①兩眼連線的傾角不大于±30度;②眼間距離在設定范圍內(nèi);③根據(jù)斑點中心的x坐標關系確定左右眼的候選斑點.

3)將符合上述規(guī)則的候選雙眼中心點對坐標所對應的矩形區(qū)域用人臉區(qū)域驗證分類器(我們實驗室自己訓練的、基于Haar特征的人臉分類器)進行驗證,最終得到如圖9(c)所示的真眼球斑點.圖9(d)是從圖9(c)中的眼球斑點經(jīng)過輪廓提取并疊加在原圖中的效果圖.

我們用上述方法對圖像庫D里所有圖像進行了眼球檢測處理,實驗結(jié)果表明BFF可以100%地濾波出眼球斑點.圖10為圖像庫D中其它9幅人臉圖像的實驗結(jié)果圖.

圖10 人臉庫D的其它9幅眼球檢測的效果圖

2.6 BFF與Quoit濾波器的對比實驗

為了與Quoit濾波器[9]進行對比,我們做了兩個對比實驗,圖11(a)和圖11(b)分別為兩幅對比實驗圖像.圖11(a)是在圖4(a)中第3行左起第3個和第4個斑點之間添加了一條2個像素粗的細線的二值圖像.圖11(b)是在圖11(a)上施加了1%的椒鹽噪聲的二值斑點圖像.由細線連接的兩個斑點,其實已經(jīng)成為一個連通元,而不是嚴格意義上的斑點,這種情況在實際圖像里經(jīng)常會碰到,我們也可以認為是噪音.對比實驗的后的是檢驗BFF濾波器和Quoit濾波器是否能夠從這樣的噪音中檢測出斑點.

圖11 BFF與Quoit濾波器對比實驗圖像

2.6.1 對比實驗1

實驗圖像為圖11(a),首先使用Quoit濾波器檢測外接圓半徑為30的斑點.第一次濾波我們設置圓盤半徑r3=30,圓環(huán)內(nèi)圓半徑r2=r3+1,圓環(huán)外圓半徑r1=r2+2,用于檢測外接圓半徑小于等于30的斑點.第二次濾波我們設置圓盤半徑r3=20,圓環(huán)內(nèi)圓半徑r2=r3+1,圓環(huán)外圓半徑r1=r2+2,用于檢測外接圓半徑為20的斑點.兩次濾波斑點置信度閾值T均為20.最后將兩次濾波結(jié)果做差得到外接圓半徑為30的最終檢測結(jié)果,如圖12(a)所示.

接著我們使用BFF濾波器檢測外接圓半徑為30的斑點形狀.第一濾波我們設置圓盤半徑r3=30,圓盤內(nèi)圓半徑r2=r3+1,圓環(huán)外圓半徑r1=r2+2,序位為7,用于檢測外接圓半徑小于等于30的斑點.第二次濾波我們設置圓盤半徑r3=20,圓環(huán)內(nèi)圓半徑r2=r3+1,圓環(huán)外圓半徑r1=r2+2,序位為5,用于檢測外接圓半徑為20的斑點.兩次濾波斑點置信度閾值T均為50.最后將兩次濾波結(jié)果做差得到外接圓半徑為30的最終檢測結(jié)果,如圖12(b)所示.

對比實驗1結(jié)果表明:(1)BFF可以從受細線噪聲干擾的二值圖像中成功檢測并還原出斑點的形狀.(2)Quoit濾波器不能還原斑點的原有形狀(除了圓形斑點外).(3)Quoit不能從受細線噪聲干擾的二值圖像中檢測出斑點.

2.6.2 對比實驗2

實驗圖像為圖11(b),Quoit濾波器和BFF的參數(shù)設置與對比實驗1相同.圖13(a)為Quoit濾波器的濾波結(jié)果,圖13(b)為BFF的最終濾波結(jié)果.從圖13(a)可以看出,外接圓半徑為30的斑點有5個檢測失敗,其中包含有細線相連的兩個斑點.圖中有4個外接圓半徑為20的斑點呈現(xiàn),是因為兩次濾波結(jié)果做差時,這4個斑點沒有被完全減去,即在檢測外接圓半徑為30的斑點時,這些斑點檢測成功,但在檢測外接圓半徑為20的斑點時,這些斑點檢測失敗.圖中還存在許多受噪聲影響的濾波響應結(jié)果,可見Quoit濾波器對噪聲的魯棒性較差.而BFF濾波器可以把目標斑點檢測出來.

圖12 對比實驗1的效果圖

對比實驗2的結(jié)果表明:(1)BFF濾波器可以在有椒鹽噪聲的情況下檢測出被細線連接的斑點;(2)在有椒鹽噪聲的圖像中Quoit濾波器不能檢測出被細線連接的斑點.

圖13 對比實驗2的效果圖

通過兩個對比實驗可以得出:(1)BFF不僅能夠檢測出指定尺寸的斑點,還能夠較好地還原斑點的形狀,而Quoit濾波器則無法還原斑點原有形狀.(2)BFF對噪聲有較好的魯棒性,而Quoit濾波器對噪聲敏感.

3 結(jié)語

BFF作為一種新型斑點濾波器,可以從二值圖像、有噪聲的二值圖像以及灰度圖像中檢測出指定大小的斑點,BFF結(jié)構(gòu)簡單運算簡便,對噪聲有較強的魯棒性.

1 Mikolajczyk K,Schmid C.Scale &affine invariant interest point detectors.International Journal of Computer Vision,2004,60(1):63–86.[doi:10.1023/B:VISI.0000027790.02288.f2]

2 Isard M,Maccormick J.BraMBle:A Bayesian multiple-blob tracker.Eighth IEEE International Conference on Computer Vision.Vancouver,BC,USA.2001.34–41.

3 Lindeberg T.Feature detection with automatic scale selection.International Journal of Computer Vision,1998,30(2):79–116.[doi:10.1023/A:1008045108935]

4 Kong H,Akakin HC,Sarma SE.A generalized laplacian of Gaussian filter for blob detection and its applications.IEEE Trans.on Cybernetics,2013,43(6):1719–1733.[doi:10.1109/TSMCB.2012.2228639]

5 Miao ZW,Jiang XD.Interest point detection using rank order LoG filter.Pattern Recognition,2013,46(11):2890–2901.[doi:10.1016/j.patcog.2013.03.024]

6 Zhang M,Wu T,Bennett KM.Small blob identification in medical images using regional features from optimum scale.IEEE Trans.on Biomedical Engineering,2015,62(4):1051–1062.[doi:10.1109/TBME.2014.2360154]

7 Zhang M,Wu T,Beeman SC,Cullen-McEwen L,et al.Efficient small blob detection based on local convexity,intensity and shape information.IEEE Trans.on Medical Imaging,2016,35(4):1127–1137.[doi:10.1109/TMI.2015.2509463]

8 Ren JF,Jiang XD.Eye detection based on rank order filter.7th International Conference on Information,Communications and Signal Processing.Macau,China.2009.1–4.

9 Yamamoto S,Matsumoto M,Tateno Y,et al.Quoit filter-a new filter based on mathematical morphology to extract the isolated shadow,and its application to automatic detection of lung cancer in X-ray CT.Proc.of the 13th International Conference on Pattern Recognition.Vienna,Austria.1996.3–7.

10 楊金柱,趙大哲,徐心和.一種多尺度圓形濾波器在肺結(jié)節(jié)增強中的應用.系統(tǒng)仿真學報,2008,20(14):3726–3729.

11 Ming AL,Ma HD.A blob detector in color images.ACM Proc.of the 6th International Conference on Image and Video Retrieval.Amsterdam,The Netherlands.2007.364–370.

12 http://www.kasrl.org/jaffe.html.

Blob Form Filter Based on Percentile Filtering

ZHANG Yan-Qin,TONG Wei-Qing,HE Rong-Wei
(Department of Computer Science and Software Engineering,East China Normal University,Shanghai 200062,China)

Blob is a basic form in the gray-scale image,and has important application in image analysis.In this paper,a novel blob form filter (BFF)is proposed to detect the blob target in image.Based on the principle of percentile filtering,the BFF has strong robustness to noise.The experimental results show that BFF cannot only effectively detect the blob region specified size from binary image and gray-scale image with noise,but can also get the blob form very close to the original form.

blob form filter;blob detection;percentile filtering

張艷勤,童衛(wèi)青,何榮煒.基于序位濾波的斑點形態(tài)濾波器.計算機系統(tǒng)應用,2017,26(9):24–31.http://www.c-s-a.org.cn/1003-3254/5969.html

2016-12-26;采用時間:2017-01-26