劉秋燕,陳耀武
(浙江大學(xué)數(shù)字技術(shù)及儀器研究所,杭州310027)
隨著軍隊信息化程度的提高,自動報靶技術(shù)在軍警射擊訓(xùn)練中得到了越來越廣泛的應(yīng)用。與傳統(tǒng)的人工報靶方法相比,自動報靶方法更安全可靠高效,能有效克服人工報靶產(chǎn)生的人為誤差,滿足軍事訓(xùn)練現(xiàn)代化需求,提高部隊射擊訓(xùn)練水平[1]。
目前國內(nèi)很多研究所相繼開發(fā)出了多種自動報靶系統(tǒng),但是應(yīng)用場景和報靶精度各有不同。聲電定位報靶系統(tǒng)精度較高,但應(yīng)用成本也高且系統(tǒng)復(fù)雜,射擊后無彈孔作為成績核查依據(jù);雙層電極短路自動報靶方法較成熟,但檢測精度低且成本高;半導(dǎo)體電子靶系統(tǒng)最大的特點是系統(tǒng)設(shè)計簡單且維護方便,但電子靶成本太高,目前只應(yīng)用于大型國際性射擊比賽;基于圖像處理技術(shù)的自動報靶方法研究對象多為圓環(huán)靶,且精度不高,主要供競技比賽使用[2-3]。因此,現(xiàn)有的報靶系統(tǒng)難以滿足軍警靶場野外實彈射擊的強適應(yīng)性和高精度要求[1]。
本文結(jié)合機器學(xué)習(xí)算法和圖像處理技術(shù),提出一種新的自動報靶方法。首先提取不同環(huán)境條件下的靶圖特征,并應(yīng)用Boosted Cascade算法訓(xùn)練分類器;然后對靶圖進(jìn)行圖像處理,使用霍夫變換和彈孔差影法求取靶心和彈孔位置;最后計算彈孔環(huán)值,輸出射擊成績。
本文提出的自動報靶方法實現(xiàn)過程如圖1所示。研究場景為軍警靶場,射擊靶為標(biāo)準(zhǔn)軍用胸型靶,圖像采集設(shè)備為高清攝像機。整個方法包括3個部分:圖像預(yù)處理、靶圖識別和彈孔識別。靶圖識別又可細(xì)分為Haar特征提取、分類器訓(xùn)練以及運用分類器識別靶圖。彈孔識別分為靶心識別、環(huán)線半徑識別、彈孔識別以及成績計算。
圖1 自動報靶方法實現(xiàn)過程
在本文方法所使用的系統(tǒng)中,靶面圖像由攝像機拍攝所得,通過圖像預(yù)處理能夠改善圖像質(zhì)量,提高靶圖識別的準(zhǔn)確度。
圖像預(yù)處理主要包括圖像灰度化和圖像濾波處理。圖像灰度化處理可利用RGB空間到灰度空間的轉(zhuǎn)換實現(xiàn),得到的灰度圖是以犧牲色調(diào)和飽和度為代價的,不影響靶圖中的邊緣和輪廓信息[4]。
靶面圖像在采集和傳輸處理過程中可能受外部噪聲和內(nèi)部噪聲的干擾和影響,因此,需要進(jìn)行濾波處理,本文采用中值濾波方法。經(jīng)過中值濾波能有效濾除圖像中夾雜的噪聲信息,特別是數(shù)字周圍由于光照因素造成的噪點,同時保留圖片的輪廓信息[5]。
經(jīng)過預(yù)處理的靶圖效果如圖2所示,圖2(a)是原始靶圖,圖2(b)是經(jīng)過灰度化和濾波處理的靶圖。
圖2 靶圖預(yù)處理
靶圖識別過程使用預(yù)先訓(xùn)練好的分類器對視頻序列中的圖像進(jìn)行分類并輸出靶圖。分類器的訓(xùn)練采用Boosted Cascade算法,該算法的設(shè)計思想[6-7]是通過學(xué)習(xí)建立多層級聯(lián)結(jié)構(gòu)的分類器,最終形成一個有效的分類器。每一級分類器都對應(yīng)一個或多個能夠區(qū)分目標(biāo)對象的“弱特征”(并不是對象的全部特征),只有最終能夠通過所有分類器的圖片被認(rèn)為是需要的目標(biāo)圖片。一般而言,級數(shù)越高,所包含的目標(biāo)對象特征越復(fù)雜。
2.3.1 弱特征選取
本文方法選取的弱特征是Haar特征,該特征是由Viola等人[8]在其人臉檢測系統(tǒng)中引入的一種簡單矩形特征,能夠反映圖像的灰度變化情況,因此,同樣適用于檢測胸型靶。Haar特征模板含有白色和黑色2種矩形,并定義模板特征值為白色矩形像素和與黑色矩形像素和之差。算法中使用積分圖[9](Integral Image)的方法,遍歷一次圖像得到圖像的積分圖,之后任一矩形的特征可通過其4個頂點的積分圖值計算得到。
2.3.2 分類器訓(xùn)練
一個典型的N級分類器的結(jié)構(gòu)[10]如圖3所示,假設(shè)每一級分類器消除負(fù)樣本的概率為h,將正樣本錯誤消除的概率為f,那么經(jīng)過N級分類器后,檢測率hitrate=(1-f)N,虛警率為falsealarm=hN。
圖3 N級分類器結(jié)構(gòu)
從圖3的分類器結(jié)構(gòu)和Boosted Cascade算法原理可知,分類器訓(xùn)練主要包括以下3個步驟:
(1)確定訓(xùn)練集:訓(xùn)練集的選擇對提高靶圖識別率和適應(yīng)性有重要作用??紤]到野外實彈射擊可能遇到的復(fù)雜天氣情況,本文方法收集包括晴天、陰天不同光照條件以及不同時間段的正負(fù)樣本集。
(2)確定分類器級數(shù)、檢測率和虛警率:由于本方法用于訓(xùn)練的樣本數(shù)量較大,為了更好地訓(xùn)練分類器需要設(shè)置較大的級數(shù)和較高的錯誤消除概率。所以設(shè)置分類器級數(shù)N=20,負(fù)樣本消除概率h=50%,正樣本錯判概率f=0.05%。
(3)學(xué)習(xí)訓(xùn)練:將初始樣本集輸入分類器,每一級分類器都對樣本集進(jìn)行分類,前一級分類器的輸出結(jié)果作為后一級分類器的輸入。低層次的分類器使用較少特征快速排除掉大量明顯的非靶面圖像,隨著級數(shù)增加,檢測特征數(shù)目也增加,以此提高靶圖識別精度。
至此,靶圖分類器已訓(xùn)練完成,將此分類器應(yīng)用到攝像機采集到的視頻圖像,即可快速識別出靶圖。
彈孔提取與環(huán)值計算是自動報靶技術(shù)的另一個核心部分,主要包括:靶心坐標(biāo)和環(huán)線半徑提取,彈孔識別以及環(huán)值計算[11]。
2.4.1 靶心坐標(biāo)和環(huán)線半徑提取
靶心是一個標(biāo)準(zhǔn)圓,使用霍夫變換來識別靶心坐標(biāo)和半徑[13]。設(shè)靶心圓的方程為:(x-a)2+(y-b)2=r2((a,b)為圓心,r為半徑),通過霍夫變換,將圖像空間對應(yīng)到參數(shù)空間。對于圖像空間中圓周上任意一點均對應(yīng)于參數(shù)空間中一個三維錐面,而對于空間中滿足圓周的全部點,則對應(yīng)于參數(shù)空間的一組圓錐面簇。所以對圖像上每一個像素點計算(a,b,r)并累計次數(shù),次數(shù)最大值對應(yīng)的(a,b,r)就是圖像空間中所求圓周的圓心坐標(biāo)和半徑[14]。靶心識別結(jié)果如圖4(c)所示。
圖4 靶心坐標(biāo)與環(huán)線半徑提取
2.4.2 彈孔識別和環(huán)值計算
在實彈射擊訓(xùn)練中,訓(xùn)練員進(jìn)行連續(xù)射擊,在靶圖像上將會出現(xiàn)多個彈孔,所以,本文在傳統(tǒng)的基于時間序列圖像的差影法上進(jìn)行改進(jìn),提出了一種基于彈孔的差影法來識別連續(xù)彈孔。與基于時間序列圖像的差影法相比,該改進(jìn)方法能在一定程度上降低靶面抖動對彈孔識別的影響,而且計算量更小。
彈孔差影法首先需要提取出靶圖上的所有彈孔,然后與上一次射擊結(jié)果做差,以找出新增加的彈孔,作為本次射擊結(jié)果。分析實際獲得的射擊圖像,發(fā)現(xiàn)彈孔的灰度值跟靶圖其他部分灰度值差異較大,所以,本文提出了一種基于灰度統(tǒng)計的彈孔識別方法。首先統(tǒng)計不含彈孔的原始靶圖RGB 3個通道上的彩色數(shù)據(jù)信息。接著根據(jù)直方圖信息對包含彈孔的靶圖按像素進(jìn)行標(biāo)記,對RGB通道信息與統(tǒng)計結(jié)果相差較大的點標(biāo)記為白色,其余的標(biāo)記為黑色,圖5(a)是經(jīng)過標(biāo)記得到的疑似彈孔區(qū)域。這些疑似彈孔區(qū)域包括部分非彈孔干擾區(qū)域,干擾區(qū)域與彈孔區(qū)域相比,最大的特點是包含的像素數(shù)目很少,可以利用數(shù)學(xué)形態(tài)學(xué)方法來處理。本文通過一次開運算來去掉這些干擾區(qū)域,識別結(jié)果如圖5(b)所示。對于連續(xù)射擊產(chǎn)生的新彈孔,與前一次射擊結(jié)果做差則得到新彈孔位置。
圖5 彈孔識別
至此,彈孔坐標(biāo)、靶心坐標(biāo)和環(huán)線半徑已經(jīng)完全識別出,可以開始計算環(huán)值。根據(jù)射擊比賽規(guī)則,只有位于胸型靶有效區(qū)域的彈孔才計算成績,所以在計算成績前,先提取靶圖有效區(qū)域,檢測射擊結(jié)果是否有效。如果成績無效,直接輸出成績0,不再進(jìn)行后續(xù)計算。靶圖有效區(qū)域只需要對圖4(c)的結(jié)果填充靶心即可。
對于有效成績,設(shè)彈孔中心位置與靶心的距離為L,ri為第i環(huán)的環(huán)值半徑,環(huán)值計算分為2步:
(1)計算環(huán)值的整數(shù)部分A,依次判斷L是否小于等于ri(i=10,9,8,7,6),第1個不小于距離值的半徑ra即為A。
將本文提出的自動報靶方法運用到實際的自動報靶系統(tǒng),圖像采集設(shè)備為高清攝像機,安裝在距離射擊靶6m處,圖6是在不同光照條件下進(jìn)行連續(xù)射擊的判靶結(jié)果。射擊分為2組,第1組為室內(nèi)正常光照,第2組為室內(nèi)弱光照,每組連續(xù)射擊6次。每組第1張圖片為輸入分類器的圖片,后面6張為系統(tǒng)輸出的射擊成績判定結(jié)果。
圖6 2組室內(nèi)射擊的判靶結(jié)果
從室內(nèi)實驗結(jié)果可以看到,該方法能識別不同光照條件下的靶面并正確計算射擊成績。
對900次野外實彈射擊成績進(jìn)行統(tǒng)計,統(tǒng)計結(jié)果如表1所示,射擊場地為野外空曠場所,射擊距離100m,射擊靶為標(biāo)準(zhǔn)軍用胸型靶,射擊環(huán)境分別為晴天、陰天的不同時刻。從表中結(jié)果可以看到,報靶精度能達(dá)到98.5%以上(報靶精度的計算以人工報靶成績?yōu)闃?biāo)準(zhǔn))。
表1 野外實彈射擊統(tǒng)計結(jié)果
本文提出一種基于視頻圖像分析的自動報靶方法,使用Boosted Cascade算法訓(xùn)練分類器識別靶面,利用圖像處理方法識別靶心與彈孔。實驗結(jié)果表明,該方法能正確識別不同環(huán)境下的靶面圖像,并正確計算射擊成績,對軍警靶場不同天氣情況以及不同時刻的實彈射擊成績統(tǒng)計結(jié)果顯示,其報靶精度能達(dá)到98.5%以上。將機器學(xué)習(xí)算法應(yīng)用于靶面識別可發(fā)揮學(xué)習(xí)算法的優(yōu)勢,提高自動報靶系統(tǒng)對環(huán)境的適應(yīng)能力,但由于分類器的學(xué)習(xí)訓(xùn)練比較復(fù)雜,因此提高分類器的訓(xùn)練效率是下一步的研究方向。
[1]Ye Cuiliu,Mi Hong.The Technology of Image Processing Used in Automatic Target-scoring System[C]//Proceedings of the 4th International Joint Conference on Computational Sciences and Optimization.Washington D.C.,USA:IEEE Press,2011:349-352.
[2]謝小亮.基于圖像處理技術(shù)的自動報靶系統(tǒng)[D].重慶:重慶大學(xué),2012.
[3]張麗霞.基于圖像技術(shù)的智能報靶系統(tǒng)設(shè)計[D].南京:南京理工大學(xué),2012.
[4]陸祥翠.基于圖像處理的靶圖識別技術(shù)研究[J].計算機光盤軟件與應(yīng)用,2014,(1):309-310.
[5]Arce G R,McLoughlin M.Theoretical Analysis of the Max/Median Filter[J].IEEE Transactions on Acoustics,Speech and Signal Processing,1987,35(1):60-69.
[6]Zhang Weize,Tong Ruofeng.Boosted Cascade of Scattered Rectangle Features for Object Detection[J].Science in China Series F:Information Sciences,2009,52(2):236-243.
[7]杜 宇.基于Boosted Cascade算法的人臉檢測和跟蹤系統(tǒng)[J].電子科技,2006,(7):67-70.
[8]Viola P,Jones M J.Robust Real-time Face Detection[J].International Journal of Computer Vision,2004,57(2):137-154.
[9]Viola P,Jones M.Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2001:511-518.
[10]Lienhart R,Maydt J.An Extended Set of Haar-like Features for Rapid Object Detection[C]//Proceedings of IEEE International Conference on Image Processing.Washington D.C.,USA:IEEE Press,2002:900-903.
[11]Aryan P R.Vision Based Automatic Target Scoring System for Mobile Shooting Range[C]//Proceedings of ICACSIS’12.Washington D.C.,USA:IEEE Press,2012:325-329.
[12]Xu Xiangyang,Xu Shengzhou,Jin Lianghai,et al.Characteristic Analysis of Otsu Threshold and Its Applications[J].Pattern Recognition Letters,2011,32(7):956-961.
[13]Fan Xinnan,Cheng Qianqian.Design of Automatic Targetscoring System of Shooting Games Based on Computer Vision[C]//Proceedings of IEEE International Conference on Automation and Logistics.Washington D.C.,USA:IEEE Press,2009:825-830.
[14]焦圣喜,肖德軍,闕一凡.霍夫變換算法在圓心視覺定位中的應(yīng)用研究[J].科學(xué)技術(shù)與工程,2013,13(14):275-279.