李竹林
延安大學(xué)計(jì)算機(jī)學(xué)院,陜西延安716000
景象匹配技術(shù)是飛行器匹配定位輔助導(dǎo)航系統(tǒng)的核心,是利用飛行器裝載的圖像傳感器在飛行過(guò)程中采集實(shí)時(shí)景象圖,與預(yù)先制備的基準(zhǔn)圖進(jìn)行實(shí)時(shí)匹配,計(jì)算出導(dǎo)航定位的相關(guān)信息[1]。但是由于成像時(shí)的天氣、時(shí)間、空間等自然條件的變化,成像傳感器和成像姿態(tài)差異等方面的原因,使得基準(zhǔn)圖與實(shí)時(shí)圖之間存在著較大的差異,增大了匹配的難度。因此,如何提高景象匹配算法的正確匹配率、時(shí)間,以及算法的適應(yīng)能力是研究景象匹配技術(shù)的熱點(diǎn)與難點(diǎn)[2-3]。目前,國(guó)內(nèi)外對(duì)景象匹配算法的研究表明,基于特征的景象匹配算法在景象匹配中效果較好[2,4]。但算法基本上是針對(duì)某一種應(yīng)用而設(shè)計(jì)的,較為通用的匹配算法研究是該研究領(lǐng)域的難點(diǎn)之一。本文研究一種基于區(qū)域特征的景象匹配算法,充分考慮了景象匹配時(shí)圖像的灰度、形狀、紋理信息等因素的變化情況進(jìn)行相似性度量,并對(duì)其匹配的時(shí)間、正確匹配率以及適應(yīng)性做了大量的仿真實(shí)驗(yàn)與分析。結(jié)果表明,算法效率較高,適應(yīng)性較好。
在景象匹配中,所關(guān)心的并不是實(shí)時(shí)圖和基準(zhǔn)圖中所有的像素的對(duì)應(yīng)關(guān)系,而是判斷圖像中是否包含的打擊目標(biāo)。因此,通常對(duì)基準(zhǔn)圖中已提取的區(qū)域首先進(jìn)行人工交互判別,對(duì)有意義的標(biāo)志性區(qū)域作標(biāo)記。這樣,景象匹配時(shí),在實(shí)時(shí)圖中只尋找對(duì)應(yīng)的區(qū)域即可。所以,基于區(qū)域特征的匹配算法比基于特征點(diǎn)的算法更適合景象匹配,而且區(qū)域特征比點(diǎn)特征包含更多的信息,可區(qū)分性強(qiáng),可以大大提高匹配的速度和正確匹配率。根據(jù)景象匹配技術(shù)的需求,文中對(duì)M atas[5]提出的MSER算法進(jìn)行研究應(yīng)用。
M atas提出了穩(wěn)定極值區(qū)域(M aximally Stable Extrema Regions,MSER)提取算法,其思想是所提取的最大穩(wěn)定極值區(qū)域內(nèi)的所有像素亮度比區(qū)域邊界外的像素高,或者比區(qū)域邊界外的像素低。
設(shè)景象圖片的像素值為I(i,j),若
則I在(i0,j0)處取得極值,且當(dāng)0時(shí),取極小值;當(dāng)0時(shí),取極大值。
在前視制導(dǎo)方式下,彈載終端在時(shí)間t內(nèi),對(duì)地形或目標(biāo)進(jìn)行拍攝形成實(shí)時(shí)序列圖,來(lái)表征目標(biāo)的影像。其中序列影像的拍攝時(shí)間間隔Δt足夠小。按照序列影像的先后時(shí)序與預(yù)先裝載的基準(zhǔn)圖進(jìn)行匹配,當(dāng)重疊區(qū)域大于90%以上時(shí),認(rèn)為匹配成功。
(1)平均灰度與方差。設(shè)M×N區(qū)域的平均灰度與方差分別為表達(dá)式(2)與(3)[1,6]:
其中,I(i,j)為像素點(diǎn)(i,j)的灰度值;方差V反映了區(qū)域總的起伏程度。
(2)仿射不變矩。給定離散化的數(shù)字圖像f(x,y),其p+q階矩定義為:
將一階矩用零階矩歸一化后即得到目標(biāo)區(qū)域的灰度質(zhì)心坐標(biāo)為:
以灰度質(zhì)心為坐標(biāo)原點(diǎn)的矩稱為中心矩,即
為了使中心矩不隨比例縮放而變,進(jìn)行歸一化處理,可以得到歸一化的不變矩為:
式(7)中,r=(p+q)/2,p+q=2,3,…。
Jan Flusser用不大于三階的矩構(gòu)造了3個(gè)不變矩組[7]:
大量實(shí)驗(yàn)表明,仿射不變矩在圖像發(fā)生仿射變換的情況下,仍可清晰地表征圖像特性,因此利用仿射不變矩可以識(shí)別形狀發(fā)生變化的局部區(qū)域。
(3)紋理信息熵。設(shè)區(qū)域中相距位置為(Δx,Δy),且其灰度值差的絕對(duì)值|h-k|的像對(duì)出現(xiàn)的次數(shù)記為mkk,其熵信息可以表示為[8]:
用公式(9)計(jì)算已確定的初始對(duì)應(yīng)區(qū)域的紋理信息熵。熵的絕對(duì)值越大,圖像所含信息也越多,就越有利于匹配,反之則不利于匹配。
綜上四方面的區(qū)域特征描述,即區(qū)域灰度、區(qū)域總的起伏程度、區(qū)域形狀以及區(qū)域紋理,作為景象匹配時(shí)的主要決定因素,增強(qiáng)匹配的適應(yīng)性與準(zhǔn)確性,提高了匹配的正確率。
在景象匹配中,灰度信息、方差、仿射不變矩以及紋理信息熵等6個(gè)屬性值構(gòu)成區(qū)域的特征矢量λ={,V,J1,J2,J3,fENT}用于度量區(qū)域的相似性,而距離法是度量?jī)蓚€(gè)矢量最簡(jiǎn)潔有效的方法。Hausdorff距離是匹配點(diǎn)特征的一種方法,它不需要建立點(diǎn)之間的一一對(duì)應(yīng)關(guān)系,只是計(jì)算兩個(gè)點(diǎn)集之間的相似程度(最大距離),所以可以有效地處理很多特征點(diǎn)的情況[8-9]。本文的匹配基元是區(qū)域,為了提高匹配的準(zhǔn)確性,計(jì)算了區(qū)域的6個(gè)屬性變量,可作為Hausdorff相似性度量的點(diǎn)集。因此選擇Hausdorff距離作為度量方法可以提高匹配正確率與實(shí)時(shí)性。
給定兩個(gè)有限點(diǎn)集A={a1,a2,…,ap}和B={b1,b2,…,bq},則A、B間的Hausdorff距離H(A,B)定義為:
其中,h(A,B)和h(B,A)分別為A→B與B→A的有向Hausdorff距離,定義為:
其中符號(hào)‖·‖為定義在點(diǎn)集A和B上的某種距離范數(shù),比如歐氏距離。
(1)基準(zhǔn)圖的處理步驟
步驟1 對(duì)基準(zhǔn)圖進(jìn)行去噪、增強(qiáng)、剪裁等預(yù)處理。
步驟2 用MSER算法檢測(cè)基準(zhǔn)圖的穩(wěn)定極值區(qū)域,作為特征區(qū)域。
步驟3 通過(guò)人機(jī)交互的方式,對(duì)具有標(biāo)志性的區(qū)域作標(biāo)記。
步驟4 計(jì)算基準(zhǔn)圖中已標(biāo)記區(qū)域的特征矢量λ={V,J1,J2,J3,fENT}。
(2)景象匹配算法步驟
步驟1 用MSER算法檢測(cè)出實(shí)時(shí)圖中的穩(wěn)定極值區(qū)域,作為特征區(qū)域。
步驟2 計(jì)算實(shí)時(shí)圖中檢測(cè)到的區(qū)域特征矢量λ′={'1,V,J′1,J′2,J′3,f′ENT}。
步驟3 計(jì)算H(A,B)的值,用Hausdorff距離法實(shí)現(xiàn)實(shí)時(shí)圖與基準(zhǔn)圖間的匹配。
步驟4 若H<δ(δ為給定的閾值),則說(shuō)明匹配成功,則轉(zhuǎn)步驟5;否則,若實(shí)時(shí)圖序列不為空,則取下一張實(shí)時(shí)圖像,重新執(zhí)行步驟1~步驟4。
步驟5 結(jié)束。
在仿真實(shí)驗(yàn)的過(guò)程中,為了計(jì)算簡(jiǎn)單,取基準(zhǔn)圖大小為640像素×640像素,實(shí)時(shí)圖大小為160像素×160像素。
對(duì)圖1(a)~(c)中的示例圖進(jìn)行模擬實(shí)驗(yàn),其中,基準(zhǔn)圖中的5個(gè)標(biāo)志性區(qū)域,如圖2(f)所示,它們屬性值的實(shí)驗(yàn)數(shù)據(jù)見表1所示,表2給出景象匹配的正確率。
表1 基準(zhǔn)圖中標(biāo)記區(qū)域的屬性值
表2 圖像匹配結(jié)果
在該實(shí)驗(yàn)結(jié)果中,由于不變矩的值較大,根據(jù)經(jīng)驗(yàn)值,給定的Hausdorff距離閾值為25,其最佳匹配平均時(shí)間可達(dá)到0.138 s,最差為0.64 s;最佳正確匹配率為92.67%,滿足了前視景象匹配的基本要求[1]。
下面就常發(fā)生的一些變換及噪聲情況下算法的適應(yīng)性能力進(jìn)行實(shí)驗(yàn)。以下幾種情況所用圖像為同一組,每種情況實(shí)驗(yàn)次數(shù)為100次,然后取平均值。
(1)噪聲情況
圖像的信噪比是衡量圖像質(zhì)量的一個(gè)重要參數(shù),也是景象匹配中描述噪聲干擾大小的重要手段。設(shè)大小為M×N的原始圖像為X(m,n),-X(m,n)為原始圖像的均值圖像,含噪聲重構(gòu)圖像為X′(m,n),則圖像的信噪比[10]定義為:
圖1 實(shí)時(shí)圖序列和基準(zhǔn)圖
由于信噪比不是線性屬性,為了方便,本文采用加噪級(jí)數(shù)來(lái)代替信噪比,每一級(jí)噪聲對(duì)應(yīng)其相應(yīng)的信噪比值。下面選高斯噪聲和椒鹽噪聲這兩種典型而常見的噪聲模型進(jìn)行分析。
①高斯噪聲。高斯噪聲匹配數(shù)據(jù)如表3(表中平均匹配時(shí)間為416.23ms)。數(shù)據(jù)的采集方法:每一級(jí)高斯噪聲均值為0,方差為0.1。
表3 算法在高斯噪聲下的匹配數(shù)據(jù)
②椒鹽噪聲。椒鹽噪聲匹配數(shù)據(jù)如表4(表中平均匹配時(shí)間為592.38m s)。數(shù)據(jù)的采集條件與高斯噪聲情況基本相同,只不過(guò)每一級(jí)高斯噪聲換成了強(qiáng)度為0.005的椒鹽噪聲。
表4 算法在椒鹽噪聲下的匹配數(shù)據(jù)
從整體上看,該算法的抗噪能力較強(qiáng),但在椒鹽噪聲下的正確匹配率較高斯噪聲有所提高。當(dāng)噪聲級(jí)數(shù)小于5的時(shí)候,算法的穩(wěn)定性非常好。
(2)幾何畸變情況
由于巡航導(dǎo)彈在空中的飛行姿態(tài)是不斷變化的,如爬升、俯沖、側(cè)翻等,這就引起彈上獲取實(shí)時(shí)圖的光學(xué)系統(tǒng)的視角不斷變化,最終造成實(shí)時(shí)圖存在各種幾何畸變。本文選取三種典型的幾何畸變進(jìn)行分析。
①旋轉(zhuǎn)失真。旋轉(zhuǎn)失真匹配仿真試驗(yàn)數(shù)據(jù)見表5(表中平均匹配時(shí)間為546.37ms)。
表5 算法在旋轉(zhuǎn)失真下的匹配數(shù)據(jù)
從表中數(shù)據(jù)可以看出,隨著旋轉(zhuǎn)角度的增加,即畸變幅度的增大,各算法的匹配正確匹配概率降低。但是由于算法的相似性度量時(shí),不僅僅采用灰度相關(guān)法,而且考慮到區(qū)域的形狀信息和紋理信息,因此,對(duì)于旋轉(zhuǎn)變化,當(dāng)旋轉(zhuǎn)的角度不是很大時(shí),算法的適應(yīng)性較好。
②扭曲失真。匹配仿真試驗(yàn)數(shù)據(jù)見表6(表中平均匹配時(shí)間為582.76m s)。
表6 算法在扭曲失真下的匹配數(shù)據(jù)
從匹配數(shù)據(jù)上看,當(dāng)形狀發(fā)生了嚴(yán)重的畸變時(shí),算法對(duì)扭曲失真的適應(yīng)性不好。
③比例失真。圖像是發(fā)生均勻比例變換,匹配仿真試驗(yàn)數(shù)據(jù)見表7(表中平均匹配時(shí)間為462.15ms)。
表7 算法在比例失真下的匹配數(shù)據(jù)
從匹配數(shù)據(jù)上看,算法對(duì)比例失真的適應(yīng)性較好,這是由于比例失真只是圖像的相似性變換,只要相似性度量算法合理,匹配效率就可能基本保持。
(3)灰度畸變情況。
由于各種天候的影響,如晴天、陰天、雨、雪、霧等,容易造成預(yù)先獲得的基準(zhǔn)圖與巡航導(dǎo)彈實(shí)時(shí)攝取的實(shí)時(shí)圖發(fā)生整體灰度上的差異,這些差異主要存在于圖像的亮度、對(duì)比度等。
①亮度失真。亮度失真的匹配數(shù)據(jù)見表8(表中平均匹配時(shí)間為497.54m s)。
表8 算法在亮度失真下的匹配數(shù)據(jù)
表8中,亮度變化單位lx為勒克司,1 lx=1 lm/m2。
從匹配數(shù)據(jù)上看,隨著亮度的變化,匹配的性能迅速下降。這也是基于灰度特性的匹配算法的面臨的一大難題。
②對(duì)比度失真。對(duì)比度范圍從0.58變化至1.80。表9所示為匹配實(shí)驗(yàn)數(shù)據(jù)(表中平均匹配時(shí)間為550.78ms)。
如果對(duì)比度小于1.00,且越變?cè)叫r(shí),圖像像素是亮的變暗,暗的變亮。因此隨著對(duì)比度的降低,正確的匹配率也隨之而降。特別是,當(dāng)對(duì)比小于0.70時(shí),由于圖像灰度過(guò)于集中,使圖像特征變得模糊,匹配概率會(huì)很低。當(dāng)對(duì)比度大于1.00且越變?cè)酱髸r(shí),圖像像素是亮的變得更亮,暗的變得更暗,且各像素變化幅度是相同的。因此,在較高對(duì)比度情況下,正確的匹配率基本上不受影響,反而會(huì)因?yàn)閷?duì)比度適中匹配效果增強(qiáng)。
表9 算法在對(duì)比失真下的匹配數(shù)據(jù)
綜合上述分析,可以看出,本文的景象匹配算法總體的適應(yīng)性良好。特別是對(duì)旋轉(zhuǎn)、尺度、噪聲、灰度變化的適應(yīng)性較好。但是對(duì)于形狀發(fā)生扭曲、對(duì)比度嚴(yán)重失真,以及亮度變換非常大的情況,適應(yīng)性不好。
提出一種基于區(qū)域特征的景象匹配的算法,利用區(qū)域的灰度、形狀、紋理以及起伏程度特性,構(gòu)造了相似性度量函數(shù),解決了實(shí)時(shí)景象與基準(zhǔn)圖景象的區(qū)域塊匹配問(wèn)題。模擬實(shí)驗(yàn)和算法適應(yīng)性分析表明,該方法的正確匹配率與平均匹配時(shí)間均可達(dá)到要求,且對(duì)旋轉(zhuǎn)、尺度、噪聲、灰度變化的適應(yīng)性較好。因此,本文算法對(duì)景象匹配具有重要的參考價(jià)值。
[1]曹菲.景象匹配制導(dǎo)基準(zhǔn)圖選定準(zhǔn)則研究[D].西安:第二炮兵工程學(xué)院,2006.
[2]郭勤.景象匹配技術(shù)發(fā)展概述[J].紅外與激光工程,2007,36(S2):57-61.
[3]王剛,段曉君,王正明.基于圖像區(qū)域相關(guān)的景象匹配概率與精度研究[J].宇航學(xué)報(bào),2009,30(3):1237-1242.
[4]李竹林.立體匹配技術(shù)研究及其在導(dǎo)彈精確制導(dǎo)中的應(yīng)用[D].西安:第二炮兵工程學(xué)院,2008.
[5]Matas J,Chum O,Urban M,et al.Robust wide baseline stereo from maximally stable extremal regions[J].Image and Vision Computing,2004,22(10):761-767.
[6]孫即詳.圖像分析[M].北京:科學(xué)出版社,2005.
[7]Flusser J,Suk T.Pattern recognition by affine moment invariants[J].Pattern Recognition,1993,26(1):167-174.
[8]Yang C H,Lai S H,Chang L W.Reliable image matching via modified Hausdorff distance with normalized gradient consistency measure[C]//Proc of International Conf Information Technology:Research and Education,Hsinchu,Taiwan,China,2005:158-161.
[9]牛力丕,毛士藝,陳煒.基于Hausdorff距離的圖像配準(zhǔn)研究[J].電子與信息學(xué)報(bào),2007,29(1):35-38.
[10]Gonzalez R C,Woods R E.Digital image processing[M].2nd ed.[S.l.]:Prentice Hall,2002.