彭瑋航, 劉少鵬, 王 軻, 丁祝順
(北京航天控制儀器研究所,北京 100039)
空對地目標(biāo)檢測和識別是提升機(jī)載信息感知系統(tǒng)智能化水平的關(guān)鍵技術(shù),其工程化實現(xiàn)可以提高機(jī)載光電吊艙對目標(biāo)捕捉的成功率[1]。作為空對地目標(biāo)檢測任務(wù)中的一種典型目標(biāo),車輛目標(biāo)的檢測對于國防安全以及交通監(jiān)控有著重要的價值。因此,航拍圖像中的車輛檢測正受到越來越多的重視。然而,航拍高度變化引起的目標(biāo)大小改變、車輛目標(biāo)方向的隨機(jī)性以及背景復(fù)雜帶來的虛警問題等都對車輛目標(biāo)的檢測提出了挑戰(zhàn)。在已有的研究成果中,利用顯著性、形態(tài)學(xué)方法將車輛目標(biāo)同背景分離[2,3],可以提升檢測效果;機(jī)器學(xué)習(xí)方法也廣泛應(yīng)用于這一研究領(lǐng)域,融合方向梯度直方圖(histogram of oriented gradient,HOG)、Haar-like以及邊緣、顏色特征對車輛目標(biāo)進(jìn)行描述[4~6]。
本文對航拍圖像中的車輛檢測問題進(jìn)行研究,提出了一種融合顯著性的可變形部件車輛檢測模型。將經(jīng)典的可變形部件模型[7,8](deformable part model,DPM)引入到航拍圖像車輛檢測中,通過加入視覺顯著性模型克服可變形部件模型全圖滑動搜索的計算復(fù)雜、容易造成虛警的問題,使用基于頻率調(diào)諧的顯著性分析方法快速生成顯著特征圖并提取感興趣區(qū)域(region of interest,ROI),最后利用可變形部件模型檢測車輛目標(biāo)。提出的算法降低了計算量,在保證一定檢測效果的同時降低了計算時間。
ROI提取的目的是從圖像中篩選出可能包括目標(biāo)的區(qū)域,避免窮盡搜索,以降低計算量,提升系統(tǒng)的實時性[9]。由于DPM方法采用的是滑動窗口遍歷的方法,以固定大小的窗口掃描圖像區(qū)域,通過每次滑動特定的步長,調(diào)整圖像尺寸多次掃描,使得DPM方式缺點明顯,在明顯不存在目標(biāo)的區(qū)域搜索不僅增加了系統(tǒng)的運(yùn)算量,容易造成虛警,難以滿足實時性的要求。由視覺注意機(jī)制[10]知,視覺顯著性能夠有效抑制非顯著目標(biāo)的干擾[11],在顯著性區(qū)域中進(jìn)行目標(biāo)檢測可以優(yōu)化計算資源分配,提高處理效率。本文采用基于頻率調(diào)諧(frequency tuned,FT)的顯著性分析方法[12]生成顯著特征圖,利用Top-Hat算子實現(xiàn)顯著目標(biāo)的分割。
1)首先對原圖像Ic進(jìn)行高斯平滑濾波處理,降低紋理、噪聲以及塊效應(yīng)產(chǎn)生的高頻影響,濾波處理后得到的圖像記為Iω。采用的高斯濾波器為
(1)
2)將圖像從三原色(RGB)空間轉(zhuǎn)換至Lab顏色空間。在L,a,b 3個通道中計算均值μcL,μca,μcb。
3)計算各通道下每個像素同該通道圖像均值的距離
SL(x,y)=(IωL(x,y)-μcL)2
Sa(x,y)=(Iωa(x,y)-μca)2
Sb(x,y)=(Iωb(x,y)-μcb)2
(2)
4)將3個通道下的顯著特征融合,得到顯著特征圖S
S=SL(x,y)+Sa(x,y)+Sb(x,y)
(3)
圖1為基于FT方法獲取的顯著特征圖。由于FT顯著性分析方法只能獲得圖像的顯著特征圖,凸顯出圖像中的ROI,并不能準(zhǔn)確地獲得待識別目標(biāo)。為此,需采用Top-Hat變換以及自適應(yīng)閾值分割Otsu方法提取感興趣目標(biāo)。
圖1 顯著特征
Top-hat變換[13]是基于開運(yùn)算和閉運(yùn)算得到的,包括亮top-hat變換WTH(white top-hat)和暗top-hat變換BTH(black top-hat),有
WTH(x,y)=f(x,y)-f°s
(4)
BTH(x,y)=f°s-f(x,y)
(5)
式中f為輸入圖像,b為結(jié)構(gòu)元素。開運(yùn)算能夠濾除比結(jié)構(gòu)元素小的亮細(xì)節(jié)特征,同時保證圖像的整體灰度不變;閉運(yùn)算能夠濾除圖像中比結(jié)構(gòu)元素小的暗細(xì)節(jié)特征,同時基本保證圖像的量細(xì)節(jié)特征不受影響[14]。因此,WTH提取了小于結(jié)構(gòu)元素的亮細(xì)節(jié)特征,BTH提取了小于結(jié)構(gòu)元素的暗細(xì)節(jié)特征。應(yīng)用Top-hat算子可以在顯著特征圖中突出車輛輪廓、車輛擋風(fēng)玻璃等細(xì)節(jié)特征。
利用DPM方法進(jìn)行目標(biāo)檢測檢測核心是利用滑動窗口遍歷圖像的感興趣區(qū)域,特征金字塔的建立保證了檢測算法的尺度不變性,通過計算每個窗口位置的得分,從而進(jìn)一步判斷窗口中是否存在目標(biāo)[15]。融合顯著性分析的DPM檢測基本步驟如下:1)顯著性分析輸入圖像,利用形態(tài)學(xué)算子提取ROI;2)以固定尺寸的檢測窗口遍歷ROI,建立特征金字塔,計算窗口得分,根據(jù)非極大抑制原理保留得分最高的窗口;3)將窗口得分同模型訓(xùn)練確定的閾值作對比,將高于閾值的窗口在圖像上標(biāo)記,得到車輛所在位置。
實驗建立了航拍車輛數(shù)據(jù)集,部分正負(fù)樣本如圖2所示。模型訓(xùn)練車輛正樣本數(shù)量為364,負(fù)樣本個數(shù)為465,并將樣本大小歸一至48×48。然后對正樣本進(jìn)行處理,將樣本方向進(jìn)行旋轉(zhuǎn)并歸類,得到主方向為0°,45°,90°,135°4類正樣本。由于本次研究的車輛目標(biāo)為垂直下視時拍攝的,獲取的是車輛頂部圖像,將部件參數(shù)設(shè)置為2。
圖2 車輛數(shù)據(jù)集
實驗1驗證本文所提方法在航拍圖像車輛檢測中的有效性,以及與DPM方法效果的比較。選取了10幅含有車輛的航拍圖像進(jìn)行測試。采用檢測率和檢測時間作為定量衡量算法性能的指標(biāo)。實驗結(jié)果如圖3所示??梢钥闯觯疚乃岱椒ㄍ珼PM方法檢測率相當(dāng),但是檢測時間更少。本文方法在綜合性能上取得了比較好的效果,有效改善了DPM模型計算量大、檢測時間較長的問題。
圖3 實驗結(jié)果
實驗2為了測試所提方法在不同場景下的檢測效果。利用本文方法分別對空地、道路以及城市3種場景下的航拍圖像進(jìn)行仿真實驗。
1)在空地、沙漠、草地等包含大片均質(zhì)區(qū)域的場景中自動檢測車輛目標(biāo)對于區(qū)域監(jiān)控、反恐等領(lǐng)域有著重要的意義。由于背景相對簡單,車輛同背景的差異比較明顯,結(jié)合顯著性分析的方法可以大幅提升檢測的效率。本文方法對于空地場景的車輛檢測效果如圖4所示。
圖4 空地場景下的車輛檢測效果
2)在道路場景下的車輛檢測效果如圖5所示。從檢測結(jié)果可以看出,本文方法對于部分暗色車輛存在漏檢,這是由于暗色車輛同道路背景顏色相近,此時基于顯著性分割的方法難以預(yù)提取出這類目標(biāo)。
圖5 道路場景下的車輛檢測效果
3)城市場景則更為復(fù)雜,城市植被的遮擋、城市建筑物頂部的矩形物體同車輛目標(biāo)的相似性都會增加車輛檢測的難度,本文方法在城市場景下的檢測效果如圖6所示。
圖6 城市場景下的車輛檢測效果
本文將視覺注意力機(jī)制中的顯著性模型同DPM相結(jié)合,針對航拍場景下的車輛目標(biāo)檢測問題,對DPM方法進(jìn)行了有針對性的改進(jìn)。通過加入顯著性分析自動提取感興趣區(qū)域,從而排除了非目標(biāo)區(qū)域?qū)τ跈z測的干擾,縮小了滑動窗口特征提取范圍,降低虛警;通過建立多尺度特征金字塔解決圖像中不同尺寸車輛目標(biāo)檢測的問題;為了應(yīng)對HOG特征旋轉(zhuǎn)敏感的問題,將不同主方向的車輛目標(biāo)分開訓(xùn)練,獲得不同主方向的車輛目標(biāo)模板。實驗證明,本文方法在保證檢測率的同時能夠降低檢測時間,同時對于不同場景下的車輛目標(biāo)均可以實現(xiàn)較為準(zhǔn)確的檢測,具有較廣泛的適用性。