李 壯,雷志輝,于起峰

國防科學(xué)技術(shù)大學(xué)航天與材料工程學(xué)院,湖南長沙410073

基于梯度徑向夾角直方圖的異源圖像匹配

李 壯,雷志輝,于起峰

國防科學(xué)技術(shù)大學(xué)航天與材料工程學(xué)院,湖南長沙410073

提出一種圖像全局特征描述方法——梯度徑向夾角金字塔直方圖。該特征不受圖像灰度級(jí)非線性變換和圖像旋轉(zhuǎn)的影響,具有較強(qiáng)的抗噪聲能力。基于該特征的匹配算法能夠?qū)Υ嬖谛D(zhuǎn)變換的異源圖像進(jìn)行匹配。用SAR圖像和可見光圖像對(duì)匹配算法進(jìn)行測試,結(jié)果表明基于梯度徑向夾角金字塔直方圖匹配方法的匹配成功率優(yōu)于傳統(tǒng)方法。由于對(duì)基準(zhǔn)圖進(jìn)行離線預(yù)處理,同時(shí)避免角度空間搜索,算法的實(shí)時(shí)計(jì)算時(shí)間比傳統(tǒng)方法小3個(gè)數(shù)量級(jí)。

異源圖像;圖像匹配;旋轉(zhuǎn)不變;梯度矢量;徑向矢量;金字塔直方圖

1 引 言

由不同類型傳感器獲得的圖像被稱為異源圖像。由于不同傳感器間的成像特性存在差別,同一場景在異源圖像上可能呈現(xiàn)完全不同的圖像,因此傳統(tǒng)的同源圖像匹配方法一般無法直接應(yīng)用于異源圖像。

國際上主流的異源圖像匹配方法可以分為兩大類,基于特征的匹配方法和基于區(qū)域的匹配方法?；谔卣鞯钠ヅ浞椒òㄌ卣魈崛?、特征描述、特征匹配三個(gè)步驟。理論上,基于特征的匹配方法對(duì)圖像變形有較好的適應(yīng)性,但是在異源圖像中提取同名特征本身也是一個(gè)難題,目前的算法通常都只是針對(duì)某類圖像有效,而對(duì)于噪聲污染嚴(yán)重的圖像如SAR圖像等,尚無較好的同名特征提取方法。傳統(tǒng)的特征描述方法有小波特征[1]、形狀上下文[2]、矩方法[3]、SIFT[4]、PCASIFT[5]、SURF[6]等,文獻(xiàn)[7]中對(duì)不同的特征描述方法進(jìn)行了分析和比較。這些特征描述方法只適用圖像描述區(qū)域較小,內(nèi)容簡單,區(qū)域統(tǒng)計(jì)特性明顯的情況。例如SIFT特征的有效描述區(qū)域在幾十個(gè)像素內(nèi),且要求該區(qū)域內(nèi)有較明顯的主方向。由于異源圖像提取的特征存在大量非同名點(diǎn),因此傳統(tǒng)的特征匹配方法的有效性也難以保證。

基于區(qū)域的匹配方法通常將整幅圖像或圖像子區(qū)[8]的灰度或梯度信息進(jìn)行匹配。此類方法中利用了圖像的所有的空間信息和灰度信息,抗噪性較基于特征的方法更高。常用的基于區(qū)域的匹配方法包括灰度互相關(guān)方法[9]、梯度相關(guān)方法[10]、互信息方法[11],這些方法的主要缺點(diǎn)是對(duì)圖像旋轉(zhuǎn)及灰度變化比較敏感,另外,由于計(jì)算相似度時(shí)需要用到全部像素信息,因此計(jì)算量也比較大,盡管有優(yōu)化的匹配空間搜索策略[11-12],其優(yōu)化后的時(shí)間仍難滿足實(shí)時(shí)性的要求。

基于區(qū)域的匹配方法能夠克服局部噪聲,而基于特征的匹配方法能夠適應(yīng)圖像變形。綜合二者的優(yōu)點(diǎn),提出一種旋轉(zhuǎn)不變的圖像全局特征描述方法——梯度-徑向夾角金字塔直方圖(GRAPH),并將該特征應(yīng)用在異源圖像匹配中。同時(shí)重點(diǎn)介紹梯度-徑向夾角金字塔直方圖的計(jì)算方法,在得到圖像的梯度-徑向夾角金字塔直方圖后,對(duì)基準(zhǔn)圖不同窗口的特征向量與實(shí)時(shí)圖的特征向量進(jìn)行比較,定義距離最近者為實(shí)時(shí)圖在基準(zhǔn)圖中的最佳匹配。

2 梯度-徑向夾角金字塔直方圖

建立梯度-徑向夾角金字塔直方圖分為下面五個(gè)步驟:選取有效區(qū)域;計(jì)算徑向矢量(radius direction vector,RDV);計(jì)算歸一化梯度矢量(normalized gradient vector,NGV);計(jì)算梯度-徑向夾角(gradient radius angle,GRA);用金字塔直方圖(pyramid histogram,PH)統(tǒng)計(jì)有效區(qū)域內(nèi)梯度-徑向夾角的分布情況。

2.1 選取有效區(qū)域

為使圖像特征描述具有旋轉(zhuǎn)不變性,首先需要選取旋轉(zhuǎn)不變區(qū)域作為計(jì)算特征描述的有效區(qū)域。在所有形狀中,只有圓形能夠滿足旋轉(zhuǎn)不變的性質(zhì),因此將特征描述的定義域設(shè)定為圓形。不失一般性,可以將圖像中心看作圖像旋轉(zhuǎn)的軸心,則取以圖像中心點(diǎn)為圓心的最大內(nèi)接圓作為有效區(qū)域。如圖1,白色圓形區(qū)域?yàn)橛行^(qū)域,圖像旋轉(zhuǎn)前后有效區(qū)域內(nèi)部的像素能夠一一對(duì)應(yīng),而其他形狀如灰色矩形區(qū)域內(nèi)的像素?zé)o法對(duì)應(yīng)。定義有效區(qū)域內(nèi)的像素為有效像素,下文中所有的計(jì)算都是針對(duì)有效像素進(jìn)行,不再另加說明。

圖1 有效區(qū)域選取示意圖Fig.1 Select valid region

2.2 計(jì)算徑向矢量

首先定義本文對(duì)矢量操作的標(biāo)記符號(hào)。對(duì)于矢量v=a+bj,記矢量長度為矢量方向?yàn)椤蟰=acrtan(b/a)。對(duì)矢量旋轉(zhuǎn)操作記為Rotate(v,θ),其中θ為順時(shí)針旋轉(zhuǎn)角度。下文中vr表示徑向矢量,vd表示梯度矢量。

設(shè)圖像有效區(qū)域的中心點(diǎn)為O(x0,y0),則對(duì)于任意有效像素A=I(x,y),定義該點(diǎn)的徑向矢量為當(dāng)圖像旋轉(zhuǎn)θ度后,A對(duì)應(yīng)像素AR的徑向矢量為

2.3 計(jì)算歸一化梯度矢量

文獻(xiàn)[10]中提出利用歸一化梯度矢量進(jìn)行匹配的方法。圖像中一點(diǎn) I(x,y)處的歸一化梯度矢量定義為

梯度矢量歸一化操作本質(zhì)上是去除梯度矢量的強(qiáng)度信息,只保留梯度矢量方向。文獻(xiàn)[10]主要用歸一化梯度矢量解決同源圖像存在亮度變化時(shí)的匹配問題,并沒有考慮異源圖像灰度反轉(zhuǎn)或存在密集噪聲的問題,另外圖像中存在梯度方向不穩(wěn)定像素,如湖泊,其內(nèi)部梯度很小但是通常不為零,則梯度方向一般僅受噪聲影響,分布非常雜亂。將這類不穩(wěn)定像素的歸一化梯度矢量加入到圖像匹配算法中,必將影響匹配的可靠性。

為了解決異源圖像中灰度反轉(zhuǎn),即同名點(diǎn)的梯度方向可能相反的問題,一種直觀的想法是將圖像梯度由[0,2π)規(guī)定到[0,π),本文中將方向規(guī)定化操作放在計(jì)算梯度-徑向夾角后進(jìn)行,具體見2.4節(jié)公式(7)。

為了消除噪聲影響,可以采用低通濾波。實(shí)際上,濾波操作還會(huì)增大梯度方向一致區(qū)域,利于圖像匹配。

為了消除不穩(wěn)定像素的影響,設(shè)定閾值 Th,舍棄梯度強(qiáng)度小于閾值的像素點(diǎn)。為了使閾值適用于不同類型圖像,先將圖像進(jìn)行濾波和灰度線性增強(qiáng)處理。在灰度線性增強(qiáng)中,去除圖像灰度直方圖中最亮和最暗的像素各1%,將剩余的灰度級(jí)線性拉伸到[0,255]區(qū)間。梯度強(qiáng)度閾值 Th設(shè)為20,對(duì)于不同類型圖像都得到較好結(jié)果。

2.4 計(jì)算梯度-徑向夾角

圖像旋轉(zhuǎn)θ度后,I(x,y)對(duì)應(yīng)的像素點(diǎn)為IR(x1,y1),其歸一化梯度矢量也將旋轉(zhuǎn)θ度。

定義vr與vd的夾角α為梯度-徑向夾角。圖像旋轉(zhuǎn)θ度后,與A對(duì)應(yīng)的像素AR的梯度-徑向夾角為

由上式可知,梯度-徑向夾角不受圖像旋轉(zhuǎn)影響。已知?dú)w一化梯度矢量和徑向矢量,則可通過反余弦函數(shù)計(jì)算梯度-徑向夾角。

規(guī)定梯度矢量相位超前徑向矢量相位時(shí),梯度-徑向夾角為正,將α量化到(-π,π),記為α2π,有如下計(jì)算公式,其中vdx、vdy分別為vd的實(shí)部和虛部,vry、vrx為 vr的實(shí)部和虛部。vdx×vry-vdy× vrx>0表示vd相位超前vr,vdx×vry-vdy×vrx<0表示vd相位滯后vr。

為了適應(yīng)異源圖像中梯度反向的情況,需將梯度-徑向夾角量化到[0,π)。

需要特別說明,任意一點(diǎn)的徑向矢量只與該點(diǎn)在窗口中的幾何位置有關(guān),故可以預(yù)先將窗口內(nèi)每一點(diǎn)的歸一化徑向矢量制成二維查找表。在對(duì)基準(zhǔn)圖進(jìn)行匹配搜索時(shí),每個(gè)窗口只需查表就可確定其中每點(diǎn)的歸一化徑向矢量。圖像匹配時(shí),同樣可以預(yù)先將反余弦函數(shù)制成查找表,通過查表加快算法速度。

2.5 圓形金字塔直方圖

圖像旋轉(zhuǎn)后,由于對(duì)應(yīng)點(diǎn)的空間坐標(biāo)發(fā)生改變,無法直接比較對(duì)應(yīng)像素的梯度-徑向夾角。一種合理的方法是采用直方圖表示圖像的區(qū)域統(tǒng)計(jì)特征。建立梯度-徑向夾角的直方圖,則該直方圖具有旋轉(zhuǎn)不變特性。由公式(6)、(7)將夾角量化到[0,π)區(qū)間。本文中將角度空間劃分12個(gè)區(qū)間,每個(gè)區(qū)間對(duì)應(yīng)直方圖一個(gè)柵格,則可以用12維向量表示直方圖。

實(shí)際應(yīng)用時(shí),僅用12維向量表示一幅圖像,則向量的分辨能力有限,無法實(shí)現(xiàn)可靠匹配。文獻(xiàn)[13]在研究圖像分類時(shí),提出一種梯度方向的金字塔直方圖特征,能夠通過金字塔層數(shù)的改變調(diào)整對(duì)圖像的表示能力。為了增加向量維數(shù),提高特征的表示能力,同時(shí)保證特征描述的旋轉(zhuǎn)不變性,本文采用一種圓形金字塔分層方法。圖2是3層圓環(huán)金字塔示意圖,其中L1層每個(gè)區(qū)域面積為L0層區(qū)域面積的一半,L2層每個(gè)區(qū)域面積為L1層區(qū)域面積的一半,依此類推。分別在L0、L1、L2層每個(gè)子區(qū)計(jì)算梯度-徑向夾角直方圖,由于不同層上的區(qū)域直方圖統(tǒng)計(jì)的區(qū)域面積(有效像素)不同,用直方圖向量除以該統(tǒng)計(jì)區(qū)域面積得到歸一化直方圖(為了計(jì)算時(shí)可以用整數(shù)表示直方圖向量,再乘上L0層區(qū)域面積)。將全部歸一化直方圖向量首尾拼接,得到圓環(huán)區(qū)域金字塔直方圖。圖3為5層圓形金字塔梯度-徑向夾角直方圖特征,由372維向量表示。

圖2 圓形金字塔直方圖Fig.2 Round pyramid histogram

圖3 梯度-徑向夾角金字塔直方圖特征Fig.3 GRAPH descriptor

理論上,梯度-徑向夾角金字塔直方圖特征是一種真正的圖像旋轉(zhuǎn)不變稀疏特征描述,它不依賴于主方向的選取,比傳統(tǒng)的方法有更強(qiáng)的適應(yīng)性。梯度-徑向夾角金字塔直方圖特征能夠?qū)崿F(xiàn)圖像灰度非線性變化,梯度方向反向等復(fù)雜條件下同源或異源圖像間的匹配。

3 圖像匹配算法實(shí)現(xiàn)

在圖像匹配的許多應(yīng)用中,只需要得到一幅圖像中心點(diǎn)在另一幅圖像中的對(duì)應(yīng)位置,無需獲得兩幅圖像的全部變換參數(shù)下精確配準(zhǔn)。這種情況下,可以使用中心點(diǎn)匹配模型。中心點(diǎn)匹配模型中,有實(shí)時(shí)圖 I1和基準(zhǔn)圖 I2,通常實(shí)時(shí)圖場景完全包含在基準(zhǔn)圖場景中,匹配目的是要找出實(shí)時(shí)圖中心在基準(zhǔn)圖中的對(duì)應(yīng)位置。以圖像中心為原點(diǎn),用 TRT={x,y,θ}表示對(duì)基準(zhǔn)圖的平移-旋轉(zhuǎn)變換(RT變換),IRT表示全體RT變換的集合,則圖像匹配的目的就是尋找使某種條件達(dá)到極值的 TRTm。即

S upport(I1,TRT(I2))為對(duì)基準(zhǔn)圖做 RT變換 TRT時(shí),對(duì)匹配的一種支持度。

如果能夠找到一種旋轉(zhuǎn)不變的圖像描述D,使得S upport(D(I1),D(TRT(I2)))=S upport (D(I1),D(TT(I2))),其中 TT={x,y}表示對(duì)基準(zhǔn)圖的平移變換,則只需進(jìn)行平移空間的搜索匹配,就能夠得到最佳匹配位置。梯度-徑向夾角金字塔直方圖正是這樣一種旋轉(zhuǎn)不變圖像描述。對(duì)于圖像 I,其梯度-徑向夾角金字塔直方圖特征D(I)是一維向量。則可以設(shè)定 S upport(D(I1), D(TT(I2)))=-Dis(D(I1),D(TT(I2))),其中Dis(·)是向量間的χ2距離[14]。對(duì)于向量 va= {ai},vb={bi},有

圖4中給出基于梯度-徑向夾角金字塔直方圖的圖像匹配算法,該算法適用于同源圖像或者異源圖像間的匹配。低通濾波和灰度線性增強(qiáng)是非常重要的兩個(gè)預(yù)處理過程,試驗(yàn)中發(fā)現(xiàn),對(duì)于SAR圖像和可見光圖像的匹配,如果不做這兩步,將會(huì)影響匹配的效果。雙查找表的加入大大提高了算法運(yùn)算速度。整個(gè)匹配過程采用平移位置上搜索匹配的策略,搜索步長設(shè)為2像素。算法中的灰色區(qū)域表示該步驟可以在任務(wù)開始前離線處理和加載。因此,實(shí)時(shí)處理的步驟只有實(shí)時(shí)圖的處理和直方圖距離計(jì)算,大大減少了實(shí)時(shí)任務(wù)的計(jì)算壓力。

圖4 圖像匹配算法流程圖Fig.4 Image matching algorithm flow chart

4 試驗(yàn)結(jié)果及分析

理論上,梯度-徑向夾角金字塔直方圖不受圖像旋轉(zhuǎn)和灰度級(jí)非線性變換的影響,為了驗(yàn)證這兩個(gè)性質(zhì),下面用仿真圖測試梯度-徑向夾角金字塔直方圖特征的抗旋轉(zhuǎn)和灰度變化性能。圖5中,第一行是輸入圖像和對(duì)應(yīng)的梯度-徑向夾角金字塔直方圖特征。第二行是對(duì)輸入圖像旋轉(zhuǎn)并作非線性灰度級(jí)變換和對(duì)應(yīng)的梯度-徑向夾角金字塔直方圖特征。圖中兩個(gè)直方圖相似度很高,通過計(jì)算直方圖距離,發(fā)現(xiàn)它們之間存在細(xì)微差別。存在差別的主要原因是計(jì)算梯度時(shí)采用了3×3方形窗口,在圖像旋轉(zhuǎn)時(shí),對(duì)應(yīng)像素點(diǎn)的梯度矢量除旋轉(zhuǎn)外還會(huì)存在由于方形窗口引入的誤差,考慮到此差異很小,幾乎不會(huì)對(duì)匹配造成影響,因此并沒有采用更復(fù)雜的方法,如大尺度圓形窗口來消除它。圖5中的試驗(yàn)說明梯度-徑向夾角金字塔直方圖特征能夠克服圖像灰度級(jí)非線性變換和圖像旋轉(zhuǎn)的影響。

圖5 圖像旋轉(zhuǎn)和灰度級(jí)變換下的梯度-徑向夾角金字塔直方圖特征Fig.5 GRAPH feature after image rotation and grey level transform

為了測試梯度-徑向夾角金字塔直方圖特征對(duì)不同圖像的表達(dá)力和分辨能力,對(duì)多幅衛(wèi)星圖像計(jì)算特征進(jìn)行描述。采用χ2距離計(jì)算不同圖像的梯度-徑向夾角金字塔直方圖特征間的差異程度,見表1,表內(nèi)數(shù)值為向量距離,無量綱。試驗(yàn)說明,對(duì)于任意兩幅不相關(guān)的圖像,它們的直方圖距離比較大,對(duì)于任意選擇的7幅圖像,直方圖距離最小的為6 782。

對(duì)一幅衛(wèi)星圖像及其旋轉(zhuǎn)30°和60°后的圖像計(jì)算梯度-徑向夾角金字塔直方圖特征描述如圖6。采用χ2距離計(jì)算得到直方圖間距離如表2,其中最大的距離為648。與表1中的距離相比較,圖像旋轉(zhuǎn)產(chǎn)生的向量距離小一個(gè)量級(jí)以上。

表1 不同場景圖像的直方圖特征距離Tab.1 Distances of different GRAPHfeature

圖6 圖像旋轉(zhuǎn)不同角度的梯度-徑向夾角金字塔直方圖特征描述Fig.6 GRAPH feature descriptor respected to different rotate angles

表2 圖像旋轉(zhuǎn)不同角度的梯度-徑向夾角金字塔直方圖特征距離Tab.2 Distances of different GRAPHfeatures respected to different rotate angles

基于梯度-徑向夾角金字塔直方圖特征進(jìn)行圖像匹配,首先測試匹配算法對(duì)同源圖像的效果?；鶞?zhǔn)圖為一幅遙感照片,實(shí)時(shí)圖是從基準(zhǔn)圖中選取的一小塊區(qū)域,并進(jìn)行了角度旋轉(zhuǎn)。匹配結(jié)果如圖7(a),實(shí)時(shí)圖和基準(zhǔn)圖間只有平移和旋轉(zhuǎn)變化,白色圓環(huán)的中心對(duì)應(yīng)實(shí)時(shí)圖中心在基準(zhǔn)圖中的匹配位置。圖7(b)是過匹配點(diǎn)沿 x軸方向各窗口與實(shí)時(shí)圖直方圖相似性(距離倒數(shù))曲線。匹配真值為(406,241),梯度-徑向夾角直方圖特征匹配結(jié)果為(406,240)。圖7的試驗(yàn)驗(yàn)證了本文方法原理上的正確性,即對(duì)同源圖像能夠得到正確結(jié)果。

圖7 旋轉(zhuǎn)圖像匹配Fig.7 Matching rotated images

為了測試梯度-徑向夾角金字塔直方圖特征對(duì)異源圖像的匹配效果,選取美國Sandia國家實(shí)驗(yàn)室提供的SAR圖像做實(shí)時(shí)圖,Google Earth中的光學(xué)衛(wèi)星圖像做基準(zhǔn)圖,兩圖存在平移旋轉(zhuǎn)變化,另外還有一定程度的圖像畸變。為了考核匹配結(jié)果是否正確,手工選擇多組同名特征點(diǎn),用最小二乘方法得到最優(yōu)匹配解作為匹配點(diǎn)的參考值。由于手選同名點(diǎn)的存在誤差,故無法說明這兩個(gè)結(jié)果哪個(gè)更真,但是只要結(jié)果接近,一般坐標(biāo)差異在5個(gè)像素內(nèi),即可認(rèn)為匹配結(jié)果可以接受,本方法只考核匹配正確性,并不考核匹配精度。采用梯度-徑向夾角金字塔直方圖特征匹配結(jié)果如圖8(a)、9(a)。中心點(diǎn)匹配模型,圖8(a)中匹配參考值為(363,220),本文方法匹配結(jié)果為(361,221),匹配結(jié)果與參考值距離約2個(gè)像素,故匹配結(jié)果正確。過匹配點(diǎn)沿 x軸方向各窗口與實(shí)時(shí)圖直方圖相似性曲線如圖8(b),圖8(c)、(d)分別為互信息和文獻(xiàn)[8]方法匹配結(jié)果,匹配位置錯(cuò)誤。圖9(a)中匹配參考值為(116,330),本文方法匹配結(jié)果為(116,331),匹配結(jié)果正確。過匹配點(diǎn)沿 x軸方向各窗口與實(shí)時(shí)圖直方圖相似性曲線如圖9(b),圖9(c)、(d)分別為互信息和文獻(xiàn)[8]方法匹配結(jié)果,匹配位置錯(cuò)誤。

圖8 異源圖像匹配Fig.8 Matching multi-sensor images

圖8、圖9說明本文方法能夠適用于異源圖像的匹配,但是相似曲線主次峰比值較小,表明異源圖像匹配結(jié)果可靠性沒有同源圖像匹配可靠性高。準(zhǔn)備了一組待匹配圖像,包括30對(duì)SAR圖像和光學(xué)圖像,SAR圖像作為實(shí)時(shí)圖,尺寸為300× 300像素,光學(xué)圖像作為基準(zhǔn)圖,尺寸為600×600像素。分別對(duì)其中的SAR圖像旋轉(zhuǎn)15°、30°、45°得到另外三組待匹配圖像。將本文方法與互信息及文獻(xiàn)[8]方法進(jìn)行了對(duì)比。本文方法將基準(zhǔn)圖直方圖計(jì)算作為離線處理,不計(jì)入計(jì)算時(shí)間?；バ畔⒎椒ê臀墨I(xiàn)[8]方法分別進(jìn)行平移搜索和平移加旋轉(zhuǎn)搜索,其中旋轉(zhuǎn)搜索步長為10°。匹配成功率為成功匹配圖像數(shù)比總的圖像數(shù)。三種方法的匹配成功率和計(jì)算時(shí)間見表3。在圖像只存在平移變換時(shí),文獻(xiàn)[8]方法只進(jìn)行平移搜索時(shí)的成功率最高,本文方法次之,而文獻(xiàn)[8]方法進(jìn)行平移加旋轉(zhuǎn)搜索時(shí),其成功率大幅降低,低于本文方法。對(duì)旋轉(zhuǎn)15°、30°、45°的圖像進(jìn)行匹配時(shí),本文方法成功率遠(yuǎn)高于互信息方法和文獻(xiàn)[8]方法。實(shí)時(shí)計(jì)算時(shí)間上本文方法遠(yuǎn)低于了互信息方法和文獻(xiàn)[8]方法,降低了2個(gè)數(shù)量級(jí)以上。這是因?yàn)楸疚姆椒o需旋轉(zhuǎn)搜索,且將基準(zhǔn)圖進(jìn)行了離線計(jì)算,實(shí)時(shí)計(jì)算時(shí)只需獲得實(shí)時(shí)圖的梯度徑向夾角直方圖,并進(jìn)行直方圖比較操作。而另外兩種方法對(duì)每個(gè)窗口計(jì)算時(shí)都同時(shí)需要實(shí)時(shí)圖和對(duì)應(yīng)基準(zhǔn)圖窗口內(nèi)的全部像素信息,無法進(jìn)行離線預(yù)處理。

圖9 異源圖像匹配Fig.9 Matching multi-sensor images

表3 不同匹配方法對(duì)比Tab.3 Comparison of different matching methods

上面試驗(yàn)中的異源圖像之間存在復(fù)雜的幾何形變,憑經(jīng)驗(yàn)給出的匹配真值只能用以判斷匹配正確與否,不能用來考核算法匹配精度。為此,制作仿真異源圖對(duì)算法精度進(jìn)行考核。首先選擇內(nèi)容豐富的光學(xué)衛(wèi)星圖像作為基準(zhǔn)圖。取基準(zhǔn)圖上的一部分區(qū)域,進(jìn)行非線性灰度變換,加入斑點(diǎn)噪聲并隨機(jī)旋轉(zhuǎn)一定角度,得到仿真實(shí)時(shí)圖。通過對(duì)多組仿真圖像的匹配試驗(yàn)得到匹配誤差均值為0.9像素,誤差方差為0.8。

5 結(jié) 論

本文提出了一種基于梯度-徑向夾角金字塔直方圖特征的旋轉(zhuǎn)不變圖像描述方法,并將它應(yīng)用于任意旋轉(zhuǎn)角度下的異源圖像匹配。試驗(yàn)說明了該特征描述方法能夠克服圖像旋轉(zhuǎn)和灰度變化。在存在圖像旋轉(zhuǎn)、平移和一定程度圖像畸變的異源圖像上進(jìn)行了測試,結(jié)果表明該方法能夠?qū)崿F(xiàn)大部分異源圖像間的正確匹配。另外本文方法在處理時(shí)間上大大優(yōu)于各種常有的匹配方法。只利用梯度-徑向夾角金字塔直方圖特征進(jìn)行匹配,尚無法解決圖像存在較大尺度變化和形狀畸變的情況下的匹配。下一步研究工作重點(diǎn)是提高匹配成功率,同時(shí)爭取解決異源圖像同時(shí)存在尺度和旋轉(zhuǎn)變化時(shí)的匹配問題。

致謝:感謝美國Sandia國家實(shí)驗(yàn)室提供SAR圖像,感謝Google提供光學(xué)衛(wèi)星圖像。

[1] CHEN Ying,YE Qin,ZHONG Zhiyong.Research on the Matching between Radar Image and Optical One Based on Wavelet[J].Acta Geodaetica etCartographica Sinica, 2000,29(3):245-249.(陳鷹,葉勤,鐘智勇.基于小波變換的雷達(dá)與光學(xué)影像匹配算法研究[J].測繪學(xué)報(bào),2000, 29(3):245-249.)

[2] BELONGIE S,MALIK J,PUZICHA J.Shape Matching and Object Recognition Using Shape Contexts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002,24(4):509-522.

[3] VAN GOOL L,MOONS T,UNGUREANU D.Affine/ Photometric Invariants for Planar Intensity Patterns[C]∥Proceedings of the 4th European Conference on Computer Vision(ECCV′96).Cambridge:Springer,1996:642-651.

[4] LOWE D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110.

[5] KE Y,SU KTHANKAR R.PCA-SIFT:a More Distinctive Representation for Local Image Descriptors[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR′04).Washington: IEEE Computer Society,2004:506-513.

[6] BA Y H,TU YTELAARS T,VAN GOOL L.SURF: Speeded Up Robust Features[C]∥Proceedings of the 9th European Conference on Computer Vision(ECCV′06). Graz:Springer,2006:404-417.

[7] MIKOLAJCZYK K,SCHMID C.A Performance Evaluation of Local Descriptors[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR′03).Madison:IEEE Computer Society, 2003:257-263.

[8] ZHANG Shaoming,CHEN Yingying,LIN Yi.A Robust Matching Algorithm for SAR Image with Multiple Subareas[J].Acta Geodaetica et Cartographica Sinica,2007, 36(4):406-413.(張紹明,陳映鷹,林怡.用于末制導(dǎo)的SAR圖像多子區(qū)實(shí)時(shí)匹配算法[J].測繪學(xué)報(bào),2007,36 (4):406-413.)

[9] YU Qifeng,SHANG Yang.Videometrics:Principles and Researches[M].Beijing:Science Press,2009:96-102.(于起峰,尚陽.攝影測量學(xué)原理與應(yīng)用研究 [M].北京:科學(xué)出版社,2009:96-102.)

[10] FITCH A J,KADYROV A,CHRISTMAS W J,et al. Orientation Correlation[EB/OL].[2010-01-10].http:∥citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1. 64.5662&rep=rep1&type=pdf.

[11] MAES F,COLLIGNON A,VANDERMEULEN D,et al.Multimodality Image Registration by Maximization of Mutual Information[J].IEEE Transactions on Medical Imaging,1997,16(2):187-198.

[12] LAMPERT C H,BLASCH KO M B,HOFMANN T.Beyond SlidingWindows:ObjectLocalizationby Efficient Subwindow Search[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR′08).Los Alamitos:IEEE Computer Society,2008:1-8.

[13] BOSCH A,ZISSERMAN A,MUNOZ X.Representing Shape with a Spatial Pyramid Kernel[C]∥Proceedings of the 6th ACM International Conference on Image and Video Retrieval(CIVR′07).Amsterdam:[s.n.],2007: 401-408.

[14] MARTIN D,FOWL KES C,MAL IK J.Learning to Detect Natural Image Boundaries Using Local Brightness, Color and Texture Cues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(5): 530-549.

Matching Multi-sensor Images Based on Gradient Radius Angle Pyramid Histogram

LI Zhuang,LEI Zhihui,YU Qifeng
College of Aerospace and Material Engineering,National University of Defense Technology,Changsha 410073,China

A novel image feature named gradient radius angle pyramid histogram(GRAPH)is proposed.The GRAPH feature is invariable to nonlinear transform of grey level and image rotation,and is robust to noise.Based on GRAPH feature,we get a robust and fast image matching algorithm that can match rotated and shifted multi-sensor images.SAR images and optical images are used to test this matching method.The results show that the new matching algorithm has higher success rate than traditional method.As the reference image can be processed offline,the processing time is less then one in a thousand of the traditional used time.

multi-sensor image;image matching;rotate-invariant;gradient vector;radial direction vector; pyramid histogram

LI Zhuang(1982—),male,PhD candidate,majors in image registration and target recognition.

1001-1595(2011)03-0318-08

TP391

A

國家863計(jì)劃(2007AA12Z121)

(責(zé)任編輯:雷秀麗)

2010-02-24

2010-07-31

李壯(1982—),男,博士生,主要研究方向?yàn)閳D像匹配和目標(biāo)識(shí)別。

E-mail:lizhuang2007@hotmail.com