陳世偉,楊小岡,張勝修,王雪梅
(第二炮兵工程大學(xué)303教研室,陜西西安710025)
目標(biāo)自動(dòng)識(shí)別是成像末制導(dǎo)過(guò)程中的一個(gè)關(guān)鍵環(huán)節(jié),也是當(dāng)前的一個(gè)技術(shù)難點(diǎn),尤其是對(duì)于地面復(fù)雜背景下的目標(biāo)識(shí)別,存在目標(biāo)形態(tài)各異、背景復(fù)雜,特征描述困難,模板圖像不宜制作等諸多困難[1]。宋丹等[2]提出了一種基于仿射梯度方向直方圖特征的目標(biāo)識(shí)別算法,具備很好的旋轉(zhuǎn)不變性和錯(cuò)切不變性,但是對(duì)目標(biāo)信息保障要求過(guò)高。楊校余、張?zhí)煨虻龋?]以及劉婧等[4]均以目標(biāo)的三維模型為基礎(chǔ)來(lái)制作匹配模板圖像。這些方法通常只適用于背景較為簡(jiǎn)單、高大、顯著目標(biāo),而背景復(fù)雜、遠(yuǎn)距離、低矮、存在遮擋等情況下的目標(biāo)則很難或者不能直接識(shí)別。針對(duì)這一問(wèn)題,李志軍等[5]提出了一種相對(duì)定位方法。其思想是在制定末制導(dǎo)策略時(shí),選擇對(duì)直接目標(biāo)附近的高大、顯著、容易識(shí)別的“相對(duì)定位目標(biāo)”進(jìn)行識(shí)別,進(jìn)而利用它與直接目標(biāo)之間在實(shí)時(shí)圖中的相對(duì)位置關(guān)系對(duì)直接目標(biāo)進(jìn)行相對(duì)定位。但是,該方法的運(yùn)用也存在一些問(wèn)題:相對(duì)定位目標(biāo)的選取數(shù)量和質(zhì)量人工很難把握;對(duì)于選取的目標(biāo)進(jìn)行識(shí)別依然存在諸多困難。
針對(duì)上述問(wèn)題,本文提出一種新的基于最穩(wěn)定極值區(qū)域的相對(duì)定位目標(biāo)選取與識(shí)別方法。具體流程如圖1所示,首先根據(jù)目標(biāo)區(qū)域航拍偵察得到的基準(zhǔn)圖像進(jìn)行MSER特征區(qū)域提取,再通過(guò)一定策略自適應(yīng)選取相對(duì)顯著的特征區(qū)域作為相對(duì)定位目標(biāo),再利用仿射橢圓對(duì)MSER特征區(qū)域進(jìn)行擬合,制成基準(zhǔn)數(shù)據(jù)模板。當(dāng)飛行器按照預(yù)定航跡進(jìn)入末制導(dǎo)目標(biāo)自動(dòng)識(shí)別階段時(shí),對(duì)實(shí)時(shí)圖采用同樣的方法進(jìn)行MSER區(qū)域提取擬合,并與基準(zhǔn)數(shù)據(jù)模板進(jìn)行規(guī)則化處理,然后根據(jù)互相關(guān)性準(zhǔn)則提取確定基準(zhǔn)數(shù)據(jù)模版和實(shí)時(shí)圖像間匹配的MSER特征區(qū)域?qū)?,最后根?jù)雙層匹配矯正策略剔除誤匹配,從而實(shí)現(xiàn)相對(duì)定位目標(biāo)的檢測(cè)識(shí)別。
圖1 相對(duì)定位目標(biāo)選取與識(shí)別算法流程圖Fig.1 Flow diagram of image selection and recognition
2004年,J.Matas等人在研究寬基線圖像匹配問(wèn)題時(shí)借鑒分水嶺思想提出了最穩(wěn)定極值區(qū)域算法[6]。該方法具有良好的穩(wěn)定性、抗噪性和仿射不變性,計(jì)算簡(jiǎn)單高效。2005年,K.Mikolajczyk等人對(duì)六種主要的仿射無(wú)關(guān)局部特征點(diǎn)檢測(cè)子進(jìn)行了比較[7],其中一個(gè)很重要的比較結(jié)果就是使用MSER方法檢測(cè)出的局部在視角變換、尺度變換、光照變換、圖像壓縮和圖像模糊這五種情況下在重現(xiàn)性和區(qū)分性方面處于領(lǐng)先的位置。
下面給出MSER區(qū)域特征提取的具體步驟:
(1)預(yù)處理。對(duì)輸入的灰度影像采用Bin-Sort算法,按灰度值對(duì)所有像元進(jìn)行降序或升序排序;
(2)極值區(qū)域合并與選取?;谏喜脚判蚝蟮挠跋袷褂煤喜ⅲ檎?Union-Find)算法構(gòu)造部件樹(shù),并詳細(xì)記錄像素是否放入操作域地圖(Operating Region Map,ORM)中,在ORM中的位置以及合并-查找索引。在形成的部件樹(shù)上,從某個(gè)節(jié)點(diǎn)開(kāi)始向上搜索分支,同時(shí)利用閾值對(duì)灰度影像進(jìn)行二值化聚類(lèi)操作,不斷查找與合并極值區(qū)域,并根據(jù)適當(dāng)?shù)呐袥Q條件進(jìn)行極值區(qū)域的選取;
(3)MSER區(qū)域檢測(cè)。通過(guò)上步可以獲得該圖像所對(duì)應(yīng)的全部極值區(qū)域序列,針對(duì)每一個(gè)極值區(qū)域序列,計(jì)算區(qū)域變化率q(i)=|Qi+△-Qi-△|/|Qi|。當(dāng)且僅當(dāng) q(i)在 i*處取得局部極小值時(shí),極值區(qū)域Qi才被作為最大值穩(wěn)定區(qū)域提取出來(lái)。此時(shí),僅提取出了最小灰度MSER+,為提取最大灰度的MSER-,需要將原始圖像灰度值進(jìn)行反轉(zhuǎn):I反=Imax-I,重復(fù)步驟(2)、(3),提取出MSER-。
最穩(wěn)定極值區(qū)域作為一種不規(guī)則的仿射不變區(qū)域,這不利于特征描述操作。通常需要對(duì)這些不規(guī)則的特征區(qū)域進(jìn)行擬合,如橢圓擬合、多邊形擬合、凸包圍擬合等。由于特征區(qū)域協(xié)方差矩陣的特征值和特征向量唯一確定一個(gè)橢圓,因此這里采用橢圓擬合方法。
根據(jù)相對(duì)定位原理[8],理論上只要識(shí)別出一個(gè)相對(duì)定位目標(biāo)就可以對(duì)直接目標(biāo)進(jìn)行定位計(jì)算??紤]到飛行中獲得的實(shí)時(shí)圖與提前偵察獲得的基準(zhǔn)圖之間會(huì)有一定的變化,提取后的MSER特征區(qū)域不可能完全相同,其中一些特征區(qū)域并不適合作為相對(duì)定位目標(biāo)。另外,還需要有一定數(shù)量的相對(duì)定位目標(biāo),這樣才能保證有較高的識(shí)別概率。因此,如何自動(dòng)選取相對(duì)定位目標(biāo)非常關(guān)鍵。如果設(shè)置固定的面積閾值,一方面可能會(huì)造成符合條件的特征區(qū)域過(guò)少甚至沒(méi)有,另一方面可能造成特征區(qū)域過(guò)多從而增加后續(xù)的匹配識(shí)別工作量。從識(shí)別的角度分析,相對(duì)定位目標(biāo)應(yīng)該具備面積較大、特征顯著、目標(biāo)附近、數(shù)量適當(dāng)?shù)忍攸c(diǎn)。因此,這里采用比例選取、總量控制、就近取點(diǎn)的策略來(lái)選取相對(duì)定位目標(biāo)。具體方法如下,首先計(jì)算每一個(gè)特征區(qū)域的選擇權(quán)重指數(shù),然后將所有特征區(qū)域按選擇權(quán)重指數(shù)從大到小排序,最后取前十個(gè)作為相對(duì)定位目標(biāo)。選擇權(quán)重指數(shù)λi可以通過(guò)公式(1)得出:
其中,Si為特征區(qū)域面積;Li特征區(qū)域擬合橢圓中心與直接目標(biāo)中心的距離。
為了便于關(guān)聯(lián)特征間進(jìn)行特征匹配,需要將提取的MSER特征區(qū)域進(jìn)行規(guī)則化處理,即將不同尺寸的橢圓擬合區(qū)域映射為某個(gè)固定大小的圓形區(qū)域,從而消除尺度縮放和平移等因素的影響?;ハ嚓P(guān)性在早期模板匹配中有較好的應(yīng)用,但是不能抗旋轉(zhuǎn)、扭曲等畸變影響,而歸則化后的MSER區(qū)域原理上可以消除扭曲變形、尺度大小和旋轉(zhuǎn)方向上的差異。針對(duì)MSER區(qū)域這一優(yōu)點(diǎn),引入特征區(qū)域之間的互相關(guān)性指標(biāo)corr作為匹配量度。兩個(gè)特征區(qū)域之間的互相關(guān)性指標(biāo)可以通過(guò)式(2)得出:
式中,MSERm(i,j),MSERn(i,j)分別代表兩幅圖像中的MSER區(qū)域的灰度值。
由于在基準(zhǔn)圖上設(shè)定的相對(duì)定位點(diǎn)數(shù)量有限,且互相關(guān)性指標(biāo)計(jì)算簡(jiǎn)單,因此采用窮盡搜索法來(lái)尋找實(shí)時(shí)圖上的匹配特征區(qū)域。
當(dāng)特征區(qū)域之間灰度信息區(qū)別明顯時(shí),直接采用相關(guān)性指標(biāo),設(shè)置恰當(dāng)?shù)拈撝禃r(shí)即表示實(shí)現(xiàn)正確匹配。但對(duì)于復(fù)雜地面建筑物圖像,出現(xiàn)區(qū)域灰度信息接近的概率很高,因此會(huì)出現(xiàn)一對(duì)多的誤匹配情況。針對(duì)這個(gè)問(wèn)題,文獻(xiàn)[9]中采用RANSAC算法[10]來(lái)消除誤匹配。但是,RANSAC算法計(jì)算參數(shù)的迭代次數(shù)沒(méi)有上限,尋找這樣的支撐點(diǎn)集需要的迭代次數(shù)非常高,將會(huì)浪費(fèi)很多的時(shí)間。針對(duì)以上不足,文中設(shè)計(jì)了一種雙層匹配識(shí)別策略。首先對(duì)匹配特征對(duì)進(jìn)行預(yù)檢測(cè),即利用位置權(quán)重指數(shù)μ來(lái)消除大量的誤匹配情況,對(duì)于每組一對(duì)多匹配,只取權(quán)重指數(shù)最大的一對(duì),然后再采用RANSAC算法進(jìn)一步剔除誤匹配特征對(duì),最后實(shí)現(xiàn)相對(duì)定位目標(biāo)的精確匹配識(shí)別。這種雙層匹配矯正策略既能減少RANSAC算法的迭代次數(shù)加快速度,又能進(jìn)一步保證識(shí)別精度。位置權(quán)重指數(shù)μ可由公式(3)計(jì)算得出:
其中,corr為互相關(guān)性指標(biāo);d*為每對(duì)匹配特征區(qū)域擬合橢圓中心的2-范數(shù)。
根據(jù)相對(duì)定位原理,在相對(duì)定位目標(biāo)識(shí)別過(guò)程中如果誤識(shí)別個(gè)數(shù)大于或等于正確識(shí)別個(gè)數(shù)時(shí),理論上將不能正確定位直接目標(biāo)。因此,本文以相對(duì)誤識(shí)別率RERP作為單次識(shí)別實(shí)驗(yàn)的評(píng)價(jià)指標(biāo),來(lái)反映直接目標(biāo)的定位精度;將絕對(duì)誤識(shí)別率AERP作為多次識(shí)別實(shí)驗(yàn)的評(píng)價(jià)指標(biāo),來(lái)考察算法的魯棒性[11-12]。
其中,Ni為第i次單次識(shí)別實(shí)驗(yàn)中的誤識(shí)別個(gè)數(shù);Mi為正確識(shí)別個(gè)數(shù);Oi為不能識(shí)別的個(gè)數(shù)。
實(shí)驗(yàn)環(huán)境為:Intel酷睿1.7 G處理器,4G內(nèi)存,Windows 8操作系統(tǒng),MatlabR2014a計(jì)算平臺(tái)。實(shí)驗(yàn)選取10組不同類(lèi)型的復(fù)雜地面場(chǎng)景圖像采用MSER特征和SIFT特征進(jìn)行相對(duì)定位目標(biāo)的選取與識(shí)別對(duì)比實(shí)驗(yàn)。表1給出本次實(shí)驗(yàn)的對(duì)比結(jié)果??梢钥床捎肧IFT特征算法的誤識(shí)別率和平均耗時(shí)都高于本文算法。
表1 誤識(shí)別率統(tǒng)計(jì)結(jié)果Tab.1 Statistic result of error recognition probability
圖2和圖3分別為利用可見(jiàn)光和紅外前視圖像進(jìn)行相對(duì)定位目標(biāo)識(shí)別仿真實(shí)驗(yàn)的結(jié)果。其中,圖中左半部分為基準(zhǔn)圖,右半部分為實(shí)時(shí)圖,用橢圓表示提取的特征區(qū)域。基準(zhǔn)圖中用本文算法在直接目標(biāo)(矩形框)周?chē)赃m應(yīng)選取的10個(gè)特征區(qū)域作為相對(duì)定位目標(biāo)。圖2中實(shí)時(shí)圖與基準(zhǔn)圖存在較大的視角差異和一定的旋轉(zhuǎn)變換,實(shí)時(shí)圖共提取了18個(gè)特征區(qū)域,采用本文算法進(jìn)行匹配識(shí)別,正確識(shí)別出7個(gè)相對(duì)定位目標(biāo),沒(méi)有誤識(shí)別,實(shí)驗(yàn)測(cè)重考察算法的抗旋轉(zhuǎn)畸變能力。圖3中基準(zhǔn)圖和實(shí)時(shí)圖存在較大的尺度差異,并帶有一定的橫向偏差,實(shí)時(shí)圖共提取了61個(gè)特征區(qū)域,最終正確識(shí)別出6個(gè)相對(duì)定位目標(biāo),沒(méi)有誤識(shí)別。實(shí)驗(yàn)主要考察算法的抗尺度變化能力。
圖2 可見(jiàn)光圖像識(shí)別Fig.2 Recognition of optical images
圖3 紅外圖像識(shí)別實(shí)驗(yàn)Fig.3 Recognition of infrared images
本文提出了一種新的相對(duì)定位目標(biāo)選取與識(shí)別方法。算法利用具有仿射不變性的MSER特征區(qū)域作為相對(duì)定位目標(biāo),根據(jù)MSER特征的選擇權(quán)重指數(shù)自適應(yīng)選取具有較好顯著特性的區(qū)域作為相對(duì)定位目標(biāo),解決了成像末制導(dǎo)相對(duì)定位技術(shù)中相對(duì)定位目標(biāo)選取質(zhì)量難于控制的問(wèn)題。基于MSER特征選取的相對(duì)定位目標(biāo)對(duì)尺度變化和圖像旋轉(zhuǎn)具有不變性,解決了基準(zhǔn)圖像與實(shí)時(shí)圖像之間可能存在尺度和旋轉(zhuǎn)角度差異而造成的誤識(shí)別問(wèn)題。根據(jù)互相關(guān)性準(zhǔn)則進(jìn)行有效的特征粗匹配,利用雙層匹配矯正策略剔除誤匹配,實(shí)現(xiàn)了對(duì)相對(duì)定位目標(biāo)的準(zhǔn)確識(shí)別。實(shí)驗(yàn)結(jié)果表明,針對(duì)復(fù)雜地面建筑場(chǎng)景,該方法的相對(duì)誤識(shí)別率最大為0.125,絕對(duì)誤識(shí)別率僅為0.028?;緷M足相對(duì)定位技術(shù)的要求,為相對(duì)定位技術(shù)在成像末制導(dǎo)上的應(yīng)用提供了有利的條件。
[1] MING Delie,TIAN Jinwen.Automatic infrared condensing tower target recognition using gradient vector features[J].Journal of Astronautics,2010,31(4):1190-1194.(in Chinese)明德烈,田金文.紅外前視對(duì)一類(lèi)特殊建筑目標(biāo)識(shí)別技術(shù)研究[J].宇航學(xué)報(bào),2010,31(4):1190-1194.
[2] SONG Dan,TANG Linbo,ZHAO Baojun.The object recognition algorithm based on affine histogram of oriented gradient[J].Journal of Electronics & Information Technology,2013,35(6):1429-1434.(in Chinese)宋丹,唐林波,趙保軍.基于仿射梯度方向直方圖特征的目標(biāo)識(shí)別算法[J].電子與信息學(xué)報(bào),2013,35(6):1429-1434.
[3] YANG Xiaoyu,ZHANG Tianxu,LU Ying.Building recognition based on geometric modeling FLIR images sequences[J].Journal of Infrared,Millimeter,and Terahertz Waves,2009,30(5):468-483.
[4] LIU Jing,SUN Jiyin,ZHU Junlin,et al.FLIR scene matching algorithm for complex ground target[J].Application Research of Computers,2010,27(1):350-352.(in Chinese)劉婧,孫繼銀,朱俊林,等.復(fù)雜地面目標(biāo)前視紅外景象匹配算法[J].計(jì)算機(jī)應(yīng)用研究,2010,27(1):350-352.
[5] LI Zhijun,LIU Yang,CHEN Zengping,et al.Relative positioning technology of FLIR ground targets in terminal guidance[J].Infrared and Laser Engineering,2012,41(11):2861-2864.(in Chinese)李志軍,劉洋,陳曾平,等.前視紅外地面固定目標(biāo)末制導(dǎo)相對(duì)定位技術(shù)[J].紅外與激光工程,2012,41(11):2861-2864.
[6] Matas J,Chum O,Urban M,et al.Robust wide-baseline stereo from maximally stable external regions[J].Image Vision Computing,2004,22(10):761-767.
[7] K Mikolajczyk,T Tuytelaars,et al.A comparison of affine region detectors.IJCV,2005,65(1-2):43-72.
[8] ZHANG Guangjun,WEI Zhenzhong.A novel calibration approach to structured light 3D vision inspection[J].Optics & Laser Technology,2002,34(5):373-380.
[9] CHEN Bin,ZHAO Yigong,et al.A new approach to scene matching during electro-optical imaging terminal guidance[J].Acta Optica Sinica,2010,30(1):163-165.(in Chinese)陳冰,趙亦工,等.一種新的光電成像末制導(dǎo)景象匹配方法[J].光學(xué)學(xué)報(bào),2010,30(1):163-165.
[10] R Hartley,A Zisserman.Multiple view geometry in computer vision[M].2nded.Cambridge:Cambridge University Press,2003:290-293.
[11] ZHANG Shengchong,CAI Jun,et al.Algorithm to reduce false alarm of IR small targets detection in complex background[J].Laser & Infrared,2015,45(2):221-224.(in Chinese)張晟翀,蔡軍,等.復(fù)雜背景下減少紅外小目標(biāo)檢測(cè)虛警率的算法[J].激光與紅外,2015,45(2):221-224.
[12] CHENG Xiangzheng,ZHAO Wei,et al.Registration method between high-low resolution images based on calibration information[J].Laser & Infrared,2015,45(2):214-220.(in Chinese)程相正,趙威,等.基于標(biāo)定信息的高低分辨率圖像配準(zhǔn)方法[J].激光與紅外,2015,45(2):214-220.