摘 要: 針對紅外視頻的移動目標(biāo)檢測算法在還原目標(biāo)時,目標(biāo)的輪廓還原準(zhǔn)確率較低的問題,提出一種基于輪廓與背景消除的紅外視頻移動目標(biāo)檢測方案。首先,從視頻中選取一些不含目標(biāo)對象的幀,對選取的幀進(jìn)行統(tǒng)計處理并建立背景幀;分析背景的場景變化建立變化的自適應(yīng)背景幀,并將背景幀的雜波過濾掉;然后,使用Canny邊緣檢測和K?means聚類檢測目標(biāo)輪廓并將目標(biāo)輪廓從背景提取出來;使用形態(tài)學(xué)的邊緣連通算法將目標(biāo)輪廓進(jìn)行關(guān)閉與Flood?fill填充處理獲得目標(biāo)對象的形狀。對比實驗結(jié)果證明,相較于其他紅外視頻移動目標(biāo)檢測算法,該算法獲得了較好的目標(biāo)輪廓與形狀,同時,該算法的檢測率與虛警率性能以及每幀的處理時間均較優(yōu)。
關(guān)鍵詞: 紅外視頻; 背景消除; 邊緣連通; 背景幀; 移動目標(biāo)檢測
中圖分類號: TN247?34; TP391.4 文獻(xiàn)標(biāo)識碼: A 文章編號: 1004?373X(2016)12?0099?04
Abstract:Aiming at the problem of low accuracy rate of target outline restoration when the detection algorithm of moving target in infrared video is used to restore the target, a new detection scheme of moving target in the infrared video is proposed, which is based on outline and background elimination. The steps of the scheme are: the frames which do not contain the target are selected, the statistical processing is conducted for the selected frames, the background frame is constructed, the change of the background scene is analyzed, the adaptive background frame with changing scene is built, the clutter in the background frame is filtered, Canny edge detector and K?means clustering approach are used to extract the target outline from the background, and the morphological edge linking algorithm is adopted to close target outlines and Flood?fill is used to get the target silhouettes. The results of the contrast experiment prove that, compared with the other algorithms in the same category, the proposed algorithm can get better target outline and shape, has higher detection rate and lower 1 alarm, and spends shorter processing time for every frame.
Keywords: infrared video; background elimination; edge connection; background frame; moving target detection
0 引 言
隨著圖像處理技術(shù)的發(fā)展,目標(biāo)檢測成為研究熱點,紅外條件下的目標(biāo)跟蹤由于不受光照與氣候影響等特點成為最有潛力的應(yīng)用方向[1]。目前已廣泛應(yīng)用于醫(yī)療、監(jiān)控、軍事等重要領(lǐng)域[2?3]。其中移動目標(biāo)形狀還原的準(zhǔn)確率還有提高的空間。
近來有許多提高移動目標(biāo)檢測率的研究出現(xiàn):文獻(xiàn)[4]提出了一種基于混合高斯模型(GMM) 的背景減除(BS) 快速識別算法用于紅外視覺監(jiān)視系統(tǒng)偽裝人體目標(biāo)檢測。獲得了較好的人體目標(biāo)檢測效果,同時計算效率較高,但其只針對人體識別,因此通用性不足。文獻(xiàn)[5]采用一種基于增量式子空間學(xué)習(xí)的視覺跟蹤方法,有效解決了紅外圖像中背景、目標(biāo)運動方式復(fù)雜等問題。該方案針對復(fù)雜背景與運動方式仍然具有較好的檢測性能,但其計算效率稍低。文獻(xiàn)[6]在嵌入式目標(biāo)跟蹤平臺上引入了均值偏移算法,使得在復(fù)雜背景下或目標(biāo)受到遮擋時,依然表現(xiàn)出較好的檢測性能。
上述算法均獲得了較高的檢測率,但其對目標(biāo)輪廓還原性能均一般,在一些陰影熱點的影響下,容易出現(xiàn)輪廓變形,影響了算法的準(zhǔn)確性?;诖?,本文首先檢查前景目標(biāo),并基于輪廓顯著圖較好的檢測出目標(biāo)輪廓,然后使用二值化處理進(jìn)一步將輪廓窄化,獲得了較準(zhǔn)確的輪廓。實驗結(jié)果表明了本文算法的檢測率較高,同時對目標(biāo)輪廓的檢測極為準(zhǔn)確,性能較好。
1 本文算法
如圖1所示為本文算法總體流程,共分為3個部分:
(1) 基于統(tǒng)計背景消除的前景檢測;
(2) 基于輪廓顯著圖的輪廓檢測;
(3) 輪廓生成與優(yōu)化。
1.1 前景目標(biāo)檢測
基于輸入視頻(幀數(shù)量需足夠多),創(chuàng)建可準(zhǔn)確代表背景的統(tǒng)計背景模型。設(shè)當(dāng)前處理幀的序號為N+1,參考背景則基于前N個幀創(chuàng)建(取所有幀的像素中值),稱為中值圖像[Imed]。統(tǒng)計背景模型則利用帶權(quán)中值[μ]與帶權(quán)方差[σ2]來計算,如下:
式中:[Ii(x,y)]表示第[i]幀中位置[(x,y)]處的像素強(qiáng)度,采用權(quán)重參數(shù)[Wi(x,y)](針對每個像素)來降低異常點對性能的不利影響,[Wi(x,y)]計算如下:
[Wi(x,y)=exp(Ii(x,y)-Imed(x,y))2-2SD2] (3)
基于充分的實驗基礎(chǔ)與計算分析,將[SD]值設(shè)為5(效果最佳)。視頻幀背景的帶權(quán)中值圖像與帶權(quán)方差圖像如圖2所示。然后,基于中值、方差背景模型,計算視頻中各像素與背景像素(中值、方差)的馬氏距離的平方,其中大于閾值(馬氏距離)的像素作為前景像素,以此獲得視頻幀[I]的前景目標(biāo)[s],表示如下:[F(x,y)=1, (I(x,y)-μ(x,y))2σ(x,y)2>T20, 其他] (4)
基于充分的實驗基礎(chǔ)與計算分析,將T設(shè)為[T2]=81(性能最佳)。
圖2 視頻幀背景的帶權(quán)中值圖像與帶權(quán)方差圖像
然后,采用連通分量算法[7],將上述分完類的像素相互連接并將連接后的像素集合記為一個目標(biāo)對象。結(jié)合視頻的部分先驗信息(如圖像的寬、高比例等)計算目標(biāo)對象,并將其中的雜波過濾掉,最終將前景目標(biāo)較好地從背景像素分離出來。連通分量算法與雜波過濾后的輸出結(jié)果如圖3所示。
1.2 輪廓檢測
本步驟采用輸入視頻幀的梯度信息與背景信息來檢測輪廓,最終獲得前景目標(biāo)的輪廓。采用輪廓顯著圖[8](CSM)抑制差異較大的非目標(biāo)梯度值,并抑制前景與背景之間差值較大的像素。CSM的計算包括:輸入視頻幀的梯度幅度值(歸一化處理),前景與背景的梯度幅度差值(歸一化),從中選擇較小的值作為CSM,表示為:
式中:[Ix],[Iy]分別表示輸入圖像水平與垂直方向的梯度;[Bx]與[By]分別表示圖像背景的水平與垂直方向的梯度。第一個歸一化因子[Max]表示輸入梯度的最大值;第二個[Max]表示前景與背景梯度差值的最大值。CSM歸一化像素值的范圍為[0,1],像素值越大,表示該像素屬于目標(biāo)對象邊緣的可能性越大。CSM的每個像素值(歸一化)代表像素屬于前景對象邊緣的可能性。上述算法成功獲得了背景,但并不一定是最合適的,為了保證當(dāng)前待處理幀所選的背景合適,設(shè)計了自適應(yīng)的背景更新模型來產(chǎn)生新的背景幀。采用上述雜波過濾階段的移動目標(biāo)信息獲得當(dāng)前幀的背景[Bn+1(x,y)]:
靜止?fàn)顟B(tài):將所有處于移動狀態(tài)的像素作為前景像素,然后將該前景像素與上一幀的背景組合;
移動狀態(tài):使用上一幀的背景(處于靜止?fàn)顟B(tài)的像素)更新參考背景,表示為:
[Bn+1(x+y)=αBn(x,y)+(1+α)In+1(x,y), (x,y)靜止Bn(x,y), (x,y)移動] (6)
其中[α]表示更新背景時上一幀重要性的權(quán)重參數(shù)。
1.3 輪廓窄化處理及輪廓優(yōu)化
首先,為了產(chǎn)生較窄的輪廓,使用基于Canny算子的非極大值邊緣抑制,對上述輪廓進(jìn)行窄化處理并獲得較窄的輪廓tCSM。然后,將tCSM轉(zhuǎn)化為二值tCSM圖像選擇權(quán)重最高的輪廓。為了實現(xiàn)此步驟,需要設(shè)置一個合適的閾值來選出目標(biāo)輪廓的大多數(shù)像素點,同時需過濾背景噪聲。閾值的選擇:使用K?means聚類算法(分為兩個簇),兩個簇分別代表目標(biāo)(前景)與背景。像素較低的簇作為背景,并直接將其像素值設(shè)為0;像素較高的簇作為前景像素,并直接將其像素值設(shè)為1。
二值化處理后的效果圖如圖4所示,可以看出,已成功獲得目標(biāo)輪廓。
1.4 生成目標(biāo)形狀(剪影)
最后,從輪廓圖像生成目標(biāo)形狀。二值化輪廓圖像中必定包含較多的損壞的像素,輪廓并不完整,因此無法直接使用Flood?fill來獲取目標(biāo)形狀[9]。從圖4中可明顯看出,以上步驟獲得的輪廓需要關(guān)閉與膨脹處理,因此,使用diamond結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)處理(膨脹),然后使用disk結(jié)構(gòu)元素進(jìn)行關(guān)閉處理,膨脹與關(guān)閉處理可將二值化輪廓修復(fù)還原。最終使用Flood?fill(漫水填充)來生成目標(biāo)形狀。Matlab中具有膨脹、關(guān)閉處理和Flood?fill的工具庫,可直接使用,本算法的最終檢測效果圖如圖5所示。
2 實驗結(jié)果與分析
2.1 實驗環(huán)境與參數(shù)設(shè)置
使用輻射熱測量儀器拍攝視頻,拍攝環(huán)境為四川省內(nèi)江的一個空曠農(nóng)村,分別在兩種溫度與天氣條件下進(jìn)行拍攝(上午11點與下午4點左右)。每幀圖像大小為640×480,空中拍攝了18段紅外圖像視頻。從中選取4個視頻進(jìn)行實驗與分析,其中兩個視頻中有行人經(jīng)過,另外兩個視頻中有車輛經(jīng)過。
由于本文算法需要較多的背景幀來生成統(tǒng)計背景模型,因此對幀數(shù)量有一定要求。幀的總數(shù)量、背景幀的最大數(shù)量、背景幀的數(shù)量如表1所示。
表1 實驗紅外視頻序列
2.2 移動目標(biāo)檢測效果對比
本文算法基于Matlab R2011a編程實現(xiàn),硬件環(huán)境為:Intel Xeon CPU X5660,主頻2.79 GHz,內(nèi)存4 GB。為了評價算法性能,將本文算法與著名的Mixture of Gaussians(GMM)、文獻(xiàn)[10]進(jìn)行對比實驗。Matlab系統(tǒng)的工具箱中含有優(yōu)化的GMM實現(xiàn)庫,因此可直接使用;文獻(xiàn)[10]方案具有較高的檢測率和較低的虛警率,性能較好。三種算法對車輛視頻1與人體視頻2的檢測結(jié)果如圖6所示。
可以看出,GMM算法將目標(biāo)區(qū)域分割成了多個部分進(jìn)行處理,在車輛視頻1中,由于氣壓條件與熱噪聲的影響,GMM的檢測出現(xiàn)大量錯誤。而從圖6中可看出,本文算法可提取整個目標(biāo)區(qū)域,將目標(biāo)區(qū)域作為整體處理,并且沒有檢測錯誤。因為本文算法使用了輪廓顯著圖降低了輪廓檢測的錯誤率。文獻(xiàn)[10]算法成功檢測了目標(biāo),且并沒有過多的錯誤檢測,但對于目標(biāo)形狀的細(xì)節(jié)處理并不理想。原因在于文獻(xiàn)[10]算法的目標(biāo)是追求較高的檢測率和較低的虛警率,并沒有提取目標(biāo)對象的形狀與輪廓。與之相反,本文算法基于輪廓信息獲得了目標(biāo)的形狀信息,因此,對目標(biāo)輪廓檢測的效果較好。
2.3 算法性能評價
由于像素級評估需要手工精確標(biāo)定真實前景,實現(xiàn)困難,因此本文采用外接矩形框的評估方式,計算每一幀內(nèi)目標(biāo)的檢測率與虛警率,選用常用的三個指標(biāo)參數(shù):敏感度、PPV(真目標(biāo)預(yù)測度)和F?measure。
[敏感度=TPGT]; [PPV=TPTP+FP]
式中:GT,TP,F(xiàn)P分別表示Groud Truth,Ture Positive, False Psitive;GT表示視頻中含有目標(biāo)的幀數(shù)。敏感度值越高表示檢測率高,PPV值越高表示虛警率較低,PPV是算法的整體性能的衡量。F?measure則是敏感度的調(diào)和平均數(shù)。
實驗結(jié)果如表2所示,可看出本算法的檢測率為100%,而虛警率較低。
表2 本文算法性能評級
4個視頻的移動檢測效果如圖7所示。車輛視頻1中有2個目標(biāo)均在移動(轎車和鳥),本文算法成功檢測出2個目標(biāo),但有少量車輛像素被誤分為背景像素。本文算法對行人也具有較好的檢測正確率。人體視頻2的結(jié)果出現(xiàn)少量的錯誤,本文算法將人體陰影產(chǎn)生的熱點錯誤地識別成移動目標(biāo)。從實驗結(jié)果可看出,本文算法的總體性能較好,敏感度為1,平均F?measure值為0.989 5,性能較為優(yōu)秀。同時對本文算法的檢測處理時間進(jìn)行了統(tǒng)計,每幀處理時間為0.7 s左右,具有較好的計算效率,但還有提升的空間。
3 結(jié) 語
現(xiàn)有采用紅外視頻的移動目標(biāo)檢測均可成功檢測移動目標(biāo),具有較高的正確率,但在目標(biāo)圖像還原時,對目標(biāo)的輪廓還原效果欠佳。本文首先檢查前景目標(biāo),并基于輪廓顯著圖較好地檢測出目標(biāo)輪廓,然后使用二值化處理進(jìn)一步將輪廓窄化,獲得了較準(zhǔn)確的目標(biāo)輪廓。實驗結(jié)果表明了本文算法的檢測率較高,同時對目標(biāo)輪廓的檢測極為準(zhǔn)確,性能較好。
參考文獻(xiàn)
[1] 胡濤濤,盛琥,王立明.基于時空二維目標(biāo)描述的紅外小目標(biāo)跟蹤[J].激光與紅外,2014,44(10):1159?1163.
[2] 李科,徐克虎,張波.多特征自適應(yīng)融合的軍事偽裝目標(biāo)跟蹤[J].計算機(jī)工程與應(yīng)用,2012,48(34):171?174.
[3] 王溪筠.移動機(jī)器人非結(jié)構(gòu)場景圖像邊緣檢測算法[J].紅外技術(shù),2012,34(2):99?102.
[4] 張品,陳亦望,傅強(qiáng).使用 GMM 背景減除的紅外偽裝人體目標(biāo)快速識別算法[J].紅外與激光工程,2012,41(4):975?983.
[5] 常雅男,畢篤彥,查宇飛,等.基于增量式子空間學(xué)習(xí)的紅外目標(biāo)跟蹤研究[J].計算機(jī)測量與控制,2013,21(6):1668?1671.
[6] 孫航,韓紅霞,郭勁,等.基于均值偏移快速算法的紅外目標(biāo)跟蹤[J].儀器儀表學(xué)報,2012,33(5):1122?1127.
[7] 胡敏,蔡慧芬.基于形態(tài)學(xué)標(biāo)記連通的分水嶺圖像分割[J].電子測量與儀器學(xué)報,2011,25(10):864?869.
[8] 張立保.基于區(qū)域增長的遙感影像視覺顯著目標(biāo)快速檢測[J].中國激光,2012,39(11):205?211.
[9] NOSAL E. Flood?fill algorithms used for passive acoustic detection and tracking [C]// Conference onNew Trends for Environmental Monitoring Using Passive Systems.[S.l.]: IEEE, 2008: 1?5.
[10] AKULA A, GHOSH R, KUMAR S, et al. Moving target detection in thermal infrared imagery using spatiotemporal information [J]. JOSAA, 2013, 30(8): 1492?1501.