曾慶化， 潘鵬舉， 劉建業(yè)， 王云舒， 劉昇

1.南京航空航天大學(xué) 自動(dòng)化學(xué)院， 南京 211106 2.衛(wèi)星通信與導(dǎo)航協(xié)同創(chuàng)新中心， 南京 211106 3.中航工業(yè)洛陽(yáng)電光設(shè)備研究所， 洛陽(yáng) 471009

慣性信息輔助的大視角目標(biāo)快速精確定位

曾慶化1,2，*， 潘鵬舉1,2， 劉建業(yè)1,2， 王云舒1,2， 劉昇3

1.南京航空航天大學(xué) 自動(dòng)化學(xué)院， 南京 211106 2.衛(wèi)星通信與導(dǎo)航協(xié)同創(chuàng)新中心， 南京 211106 3.中航工業(yè)洛陽(yáng)電光設(shè)備研究所， 洛陽(yáng) 471009

目標(biāo)定位技術(shù)廣泛應(yīng)用于航空領(lǐng)域的偵察機(jī)、無(wú)人機(jī)等各類偵察打擊任務(wù)中，目標(biāo)定位精度的高低及效率對(duì)作戰(zhàn)效果具有重要影響。針對(duì)仿射尺度不變的特征變換(ASIFT)算法對(duì)遠(yuǎn)距離大視角目標(biāo)定位精度較低、速度較慢的問題，提出了一種基于慣性信息輔助的大視角目標(biāo)快速精確定位方法。該方法首先對(duì)目標(biāo)實(shí)測(cè)序列圖像構(gòu)造尺度空間，結(jié)合FAST特征檢測(cè)與FREAK特征描述的方式進(jìn)行匹配，實(shí)現(xiàn)對(duì)待定位目標(biāo)的快速提??；然后利用機(jī)載慣性信息求解目標(biāo)實(shí)測(cè)圖與參考圖之間的透視變換矩陣，利用該矩陣對(duì)實(shí)測(cè)圖進(jìn)行變換以減小圖像間視角差異，克服了ASIFT算法盲目匹配計(jì)算的弊端，并通過FAST特征檢測(cè)與FREAK特征描述相結(jié)合的方式提升了大視角圖像的匹配速度；最后通過單應(yīng)性矩陣映射關(guān)系實(shí)現(xiàn)對(duì)目標(biāo)的精確定位。實(shí)驗(yàn)結(jié)果表明，大視角目標(biāo)快速精確定位方法匹配耗時(shí)比ASIFT算法的減小了1個(gè)數(shù)量級(jí)，定位精度比目標(biāo)平均值定位算法精度提高了1個(gè)數(shù)量級(jí)，有效提高了圖像匹配定位在航空領(lǐng)域的應(yīng)用效率。

目標(biāo)定位； 慣性導(dǎo)航； 大視角圖像匹配； 目標(biāo)提??； 定位精度

偵察機(jī)、導(dǎo)彈、無(wú)人機(jī)等航空飛行器在執(zhí)行偵查定位等作戰(zhàn)任務(wù)時(shí)，需要首先對(duì)重要目標(biāo)進(jìn)行精確定位，目標(biāo)定位的精度和效率直接影響了后期作戰(zhàn)任務(wù)的成敗[1]。由于全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)的工作嚴(yán)重依賴無(wú)線電波，當(dāng)GNSS接收機(jī)受到各種無(wú)線電干擾時(shí)，無(wú)法有效提供飛行載體的位置，更無(wú)法協(xié)助進(jìn)行待偵查目標(biāo)的定位。研究GNSS拒止環(huán)境下的基于航空器的高效目標(biāo)定位技術(shù)具有極其重要的現(xiàn)實(shí)意義。

現(xiàn)有目標(biāo)定位方式大多采取幾何式定位方式和圖像匹配定位方式[2]。幾何式定位精度受飛行器自身在GNSS拒止情況下的導(dǎo)航系統(tǒng)及幾何量測(cè)信息的精度影響較大[3]。圖像匹配定位是一種通過將飛行器拍攝的目標(biāo)圖像與機(jī)載圖像庫(kù)進(jìn)行匹配獲取目標(biāo)點(diǎn)的位置信息[4]的方法，通常是利用俯視拍攝圖像實(shí)現(xiàn)對(duì)目標(biāo)的定位[5-6]。然而在實(shí)際作戰(zhàn)時(shí)，偵查飛行器一般處于距離待定目標(biāo)較遠(yuǎn)的安全位置區(qū)，因此其拍攝得到的目標(biāo)實(shí)測(cè)圖像與機(jī)載的空基/星基俯視圖像庫(kù)之間存在較大的視角差異，目前通常的圖像匹配算法很難采用上述大視角圖像實(shí)現(xiàn)目標(biāo)的高精度定位需求[5]。因此，研究針對(duì)大視角下的快速圖像匹配算法和基于圖像匹配特征點(diǎn)的目標(biāo)快速精確定位是解決遠(yuǎn)距離大視角目標(biāo)快速精確定位的重要問題。

當(dāng)前大視角圖像匹配算法主要分為兩種[7]：一種是局部區(qū)域仿射不變算法，如MSER(Maximally Stable Extremal Regions)算法[8-9]等，通過將圖像未知仿射變形局部區(qū)域歸一化轉(zhuǎn)換為標(biāo)準(zhǔn)形狀弱化仿射變形影響，其對(duì)大視角圖像匹配的適應(yīng)性還有待進(jìn)一步提升。另一種是視角模擬匹配算法，如：Morel和Yu提出的ASIFT(Affine-SIFT)算法[10]等，此類算法通過對(duì)照相機(jī)經(jīng)度和緯度的隨機(jī)采樣實(shí)現(xiàn)對(duì)大視角圖像的視角模擬和變換，實(shí)現(xiàn)大視角圖像匹配，其運(yùn)算速度不占優(yōu)，效率較低。后繼相關(guān)算法[11]對(duì)其進(jìn)行改良，其效率仍受視角模擬變換過程約束。

由于慣性信息不受外界環(huán)境的影響，可實(shí)時(shí)自主獲取，因此可采用機(jī)載慣性信息求解大視角圖像間視角變換關(guān)系[12]，從而有效地回避視角模擬變化過程。雖然目標(biāo)實(shí)測(cè)圖像與機(jī)載參考地圖之間視角差異較大，但考慮到飛行器在拍攝目標(biāo)區(qū)域圖像時(shí)可拍攝多幅圖像序列，這些目標(biāo)實(shí)測(cè)圖像序列之間的視角差異較小[13]，該特點(diǎn)也有利于加快圖像處理和目標(biāo)提取的速度和精度。西北工業(yè)大學(xué)利用Harris角點(diǎn)檢測(cè)和SIFT(Scale Invariant Feature Transform)特征檢測(cè)結(jié)合的方式對(duì)航拍序列圖像進(jìn)行匹配[14]，李書曉等[15]利用FAST(Features from Accelerated Segment Test)特征檢測(cè)對(duì)航拍視頻圖像進(jìn)行了快速配準(zhǔn)。本文在繼承前人成果的基礎(chǔ)上，提出慣性信息輔助的大視角目標(biāo)快速精確定位方法，該方法包含3個(gè)重要步驟，具體如下：

步驟1結(jié)合FAST特征檢測(cè)和FREAK(Fast REtinA Keypoint)特征描述對(duì)目標(biāo)實(shí)時(shí)圖像序列進(jìn)行快速匹配，利用RANSAC算法對(duì)匹配結(jié)果進(jìn)行優(yōu)化，從目標(biāo)實(shí)時(shí)圖像序列中快速提取待定位目標(biāo)(目標(biāo)快速提取算法)。

步驟2利用載機(jī)慣性信息求解待匹配圖像間透視變換矩陣，對(duì)大視角圖像進(jìn)行視角模擬，克服現(xiàn)有ASIFT算法盲目遍歷的缺點(diǎn)，提高視角模擬變換和圖像匹配效率，通過FAST特征檢測(cè)與FREAK特征描述結(jié)合的方式提升運(yùn)算速度，利用隨機(jī)抽樣一致性(RANSAC)算法獲取圖像間單應(yīng)性矩陣(快速大視角圖像匹配算法)。

步驟3將1)中提取到的目標(biāo)特征點(diǎn)通過步驟2得到的單應(yīng)性矩陣映射到參考圖上，實(shí)現(xiàn)目標(biāo)精確定位(目標(biāo)精確定位算法)。

文中分別從目標(biāo)快速提取、大視角圖像匹配、目標(biāo)精確定位3個(gè)層面對(duì)本文所提出算法分別進(jìn)行研究，實(shí)驗(yàn)結(jié)果表明，本文所提出算法能夠在快速有效的提取目標(biāo)的同時(shí)，保證大視角圖像匹配效果，提高匹配效率，并有助于獲得目標(biāo)的精確定位結(jié)果。

1 目標(biāo)快速提取算法

飛行器對(duì)目標(biāo)進(jìn)行定位時(shí)需要對(duì)目標(biāo)進(jìn)行拍攝，以獲取目標(biāo)實(shí)測(cè)圖像信息。由于大視角條件下目標(biāo)在實(shí)測(cè)圖像中與參考圖像中的成像差異較大，為了提高實(shí)測(cè)圖像與參考圖像匹配正確率，飛行器相機(jī)通過焦距調(diào)節(jié)可以獲取包含目標(biāo)的較大區(qū)域圖像，圖1所示為目標(biāo)實(shí)測(cè)圖像序列，通過該序列圖像可提升與參考圖像的匹配正確率。在此之前，需要首先對(duì)目標(biāo)實(shí)測(cè)圖像序列進(jìn)行匹配處理，從而在包含目標(biāo)的較大區(qū)域圖像中獲取目標(biāo)所在的有效像素區(qū)域?？紤]到目標(biāo)實(shí)測(cè)圖像序列之間存在著較大的尺度差異，因此，需要研究快速尺度不變的圖像匹配算法。

圖1 不同距離下目標(biāo)圖像Fig.1 Target image at different distances

1.1 快速尺度不變特征檢測(cè)算法

常用的特征檢測(cè)算法有SIFT、SURF(Speeded-Up Robust Features)、FAST特征檢測(cè)算法，F(xiàn)AST算法已被證明是這其中速度最快的特征檢測(cè)算法[16]，F(xiàn)AST特征檢測(cè)是首先設(shè)定一個(gè)圓形區(qū)域，然后以圖像中任意像素點(diǎn)作為圓心P點(diǎn)，將P點(diǎn)像素灰度值與圓形區(qū)域內(nèi)16個(gè)像素點(diǎn)灰度值進(jìn)行比較，如圖2所示。

|m-pi|>Δd1≤i≤15

(1)

式中:m為圓心P處像素點(diǎn)灰度值;pi為P點(diǎn)圓形區(qū)域內(nèi)各個(gè)像素點(diǎn)灰度值;Δd為給定判決閾值。當(dāng)m與pi差的絕對(duì)值大于Δd時(shí)，記為一個(gè)點(diǎn)，若這樣的點(diǎn)多于9個(gè)，則將P點(diǎn)視為角點(diǎn)。然而，通過上述步驟對(duì)圖像檢測(cè)得到的特征點(diǎn)不具備尺度不變性，需要對(duì)FAST算法進(jìn)行改進(jìn)。

為了使該算法具備尺度不變性，需要對(duì)輸入圖像進(jìn)行尺度空間的構(gòu)建。

一個(gè)圖像的尺度空間L(x,y,σ)定義為一個(gè)變化尺度的高斯函數(shù)G(x,y,σ)與原圖像I(x,y)的卷積：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(2)

式中：

(3)

其中：m、n為高斯模板的大??；(x,y)為圖像像素位置；σ為尺度空間參數(shù)；*表示卷積運(yùn)算。

SIFT算法是一種常用的尺度不變圖像匹配算法[10]，其對(duì)輸入圖像構(gòu)造高斯差分金字塔，然后在塔內(nèi)檢測(cè)特征點(diǎn)，保證了檢測(cè)到的特征點(diǎn)具備尺度不變性。

本文對(duì)SIFT算法所構(gòu)造的圖像尺度空間進(jìn)行針對(duì)性簡(jiǎn)化，一方面通過將該尺度空間與FAST特征結(jié)合彌補(bǔ)FAST特征所不具備的尺度不變性，另一方面減少了因構(gòu)造尺度空間所消耗的時(shí)間。本文的改進(jìn)點(diǎn)如下：

圖2 FAST特征檢測(cè)Fig.2 FAST feature detection

1) SIFT算法需要對(duì)輸入的圖像分別構(gòu)造尺度空間，由于目標(biāo)實(shí)測(cè)圖像序列的尺度關(guān)系容易確定，因此本文采用小范圍目標(biāo)圖像構(gòu)造尺度空間的方式減少尺度空間的構(gòu)造時(shí)間。

2) SIFT算法在構(gòu)造尺度空間時(shí)，需要對(duì)輸入圖像不斷重復(fù)降采樣和高斯模糊過程，考慮到小范圍目標(biāo)實(shí)測(cè)圖像與大范圍目標(biāo)實(shí)測(cè)圖像之間包含目標(biāo)的共同特征，因此，本文采用對(duì)小范圍目標(biāo)圖像進(jìn)行重復(fù)降采樣，省略高斯模糊步驟。

1.2 快速特征描述算法

隨著對(duì)匹配速度要求的進(jìn)一步提高，Alahi等于2012年提出FREAK特征描述算法[17]。FREAK特征描述通過模擬人類視網(wǎng)膜成像特性進(jìn)行圖像像素點(diǎn)采樣設(shè)置，選擇相應(yīng)點(diǎn)對(duì)，其學(xué)習(xí)了人類視網(wǎng)膜分區(qū)域獲取視覺信息的原理，是一種二進(jìn)制描述算子，計(jì)算速度遠(yuǎn)快于SIFT和SURF，但是其不具備尺度不變性，在目標(biāo)存在尺度差異情況下，圖像的匹配準(zhǔn)確度較低。為此，本文結(jié)合此前改進(jìn)的快速尺度不變特征檢測(cè)算法，利用FREAK特征描述與其配合進(jìn)行圖像匹配，可以在提升整體算法計(jì)算速度的同時(shí)保持尺度不變性。

FREAK描述算子像素點(diǎn)采樣分布與視網(wǎng)膜獲取視覺信息的分區(qū)域結(jié)構(gòu)相似，以特征點(diǎn)為中心，采樣像素點(diǎn)位置均勻分布在其他圓圓心上，如圖3所示。

圖3 FREAK描述符的構(gòu)造Fig.3 Structure of FREAK descriptor

圖3中Fovea和Para對(duì)應(yīng)視網(wǎng)膜結(jié)構(gòu)中央凹區(qū)，能獲取高清圖像信息，可識(shí)別圖像具體內(nèi)容；Peri對(duì)應(yīng)視網(wǎng)膜結(jié)構(gòu)周邊區(qū)，能獲取分辨率較低的模糊圖像信息，可識(shí)別圖像大致輪廓；假設(shè)特征點(diǎn)的尺度為σ，則同心圓半徑為M1σ，M2σ，…，Mkσ，k為采樣像素點(diǎn)層數(shù)。與位于中心處的特征點(diǎn)間隔越小則采樣像素點(diǎn)越密集；否則采樣像素點(diǎn)越零散。

每個(gè)采樣像素點(diǎn)需進(jìn)行平滑濾波去噪，常用高斯函數(shù)實(shí)現(xiàn)，周圍圓半徑為高斯核函數(shù)半徑。通過對(duì)采樣像素點(diǎn)對(duì)進(jìn)行強(qiáng)度比較，將結(jié)果級(jí)聯(lián)在一起組成FREAK描述算子，因此其本質(zhì)屬于二進(jìn)制比特序列。

假設(shè)F是某特征點(diǎn)的FREAK描述符，則

(4)

式中：

(5)

步驟2對(duì)D每一列計(jì)算方差，方差越大表示該列攜帶信息越多；首先保留方差最大的一列，接著計(jì)算其他列與該列的協(xié)方差，選擇協(xié)方差較小的一列加入到新組成的描述向量中。

步驟3設(shè)置維數(shù)上限Nmax，若到達(dá)上限則停止，否則繼續(xù)進(jìn)行步驟2，由于前512列向量的相關(guān)性最強(qiáng)，所以Nmax一般為512，在此基礎(chǔ)上繼續(xù)增大Nmax，對(duì)于匹配效果的提升作用不大。

對(duì)上述步驟得到對(duì)比集合中差異性較大的部分集合進(jìn)行局部梯度求和可以確定特征點(diǎn)方向。FREAK算法通常選取外面5層采樣點(diǎn)，構(gòu)成的45個(gè)點(diǎn)對(duì)(如圖3所示，圖中每一條線段即代表一個(gè)點(diǎn)對(duì))，特征點(diǎn)方向用式(6)進(jìn)行角度計(jì)算：

(6)

1.3 圖像序列匹配結(jié)果優(yōu)化

圖像序列經(jīng)過上述快速尺度不變特征檢測(cè)得到特征點(diǎn)，然后通過FREAK算法對(duì)特征點(diǎn)進(jìn)行描述和匹配后，還需要RANSAC算法對(duì)匹配后的結(jié)果進(jìn)行優(yōu)化，剔除錯(cuò)誤匹配點(diǎn)并獲取圖像間單應(yīng)性矩陣，從而精確的從匹配結(jié)果中提取出目標(biāo)有效像素區(qū)域。

利用RANSAC算法[18]剔除匹配錯(cuò)誤點(diǎn)并獲取圖像間單應(yīng)性矩陣的步驟如下：

定義匹配后得到的初步匹配點(diǎn)對(duì)為外點(diǎn)，匹配點(diǎn)對(duì)坐標(biāo)分別用(x,y)和(x′,y′)表示，這兩點(diǎn)之間對(duì)應(yīng)的單應(yīng)性矩陣用H表示，則

(7)

RANSAC算法目的是找到最優(yōu)的H矩陣使?jié)M足該矩陣的匹配特征點(diǎn)個(gè)數(shù)最多，h33通常為1，用來(lái)歸一化矩陣，s為尺度系數(shù)；上述矩陣共有8個(gè)未知量，至少需要8個(gè)線性方程來(lái)求解，因此至少需要4組匹配點(diǎn)對(duì)，獲取到圖像之間多于4個(gè)的匹配特征點(diǎn)對(duì)后，進(jìn)行如下操作：

1) 隨機(jī)從特征點(diǎn)對(duì)中抽取4個(gè)不共線的特征點(diǎn)對(duì)，代入式(7)中計(jì)算出單應(yīng)性矩陣H，設(shè)定為模型Mmodel。

2) 計(jì)算特征點(diǎn)對(duì)中所有特征點(diǎn)對(duì)與模型Mmodel的投影誤差(也稱代價(jià)函數(shù))，計(jì)算公式為

(8)

若誤差小于設(shè)定閾值，加入內(nèi)點(diǎn)集合I。

3) 若當(dāng)前內(nèi)點(diǎn)集合I元素大于最優(yōu)內(nèi)點(diǎn)集合I_best，則更新I_best，同時(shí)利用式(9)更新迭代次數(shù)K：

(9)

式中：p=0.995為置信度；w為內(nèi)點(diǎn)的比例；m=4為計(jì)算模型所需要的最少特征點(diǎn)對(duì)數(shù)。

4) 若迭代次數(shù)大于設(shè)定值K，結(jié)束操作，否則迭代次數(shù)加1，并重復(fù)上述操作。

通過上述步驟即可實(shí)現(xiàn)對(duì)圖像序列的匹配結(jié)果進(jìn)行優(yōu)化，從而獲取目標(biāo)的精確像素區(qū)域。

2 快速大視角圖像匹配算法

當(dāng)飛行器離目標(biāo)較遠(yuǎn)時(shí)，載機(jī)光電系統(tǒng)拍攝的目標(biāo)實(shí)測(cè)圖與機(jī)載參考圖之間的視角差異通常在60° 以上[19]，如圖4所示。

傳統(tǒng)的SIFT、MSER算法中對(duì)上述圖像進(jìn)行匹配效果均不理想，ASIFT算法雖然能通過對(duì)大視角下兩幅圖像進(jìn)行仿射變換實(shí)現(xiàn)大視角圖像匹配，但由于其仿射變換獲取模擬圖像集后，需要在圖像集之間兩兩匹配，因此導(dǎo)致其計(jì)算速度較慢、耗時(shí)較多。

本文研究的快速大視角圖像匹配算法主要包括如下兩步：

1) 基于慣性信息計(jì)算出目標(biāo)實(shí)測(cè)圖與參考圖之間的透視變換矩陣，利用該矩陣直接對(duì)目標(biāo)大視角實(shí)測(cè)圖進(jìn)行變換，避免了ASIFT算法盲目多次的仿射變換與匹配。

圖4 視角差異較大的實(shí)測(cè)圖與參考圖 Fig.4 Perspective difference between measured and reference images

2) 基于FAST特征檢測(cè)與FREAK特征描述結(jié)合，對(duì)變換后實(shí)測(cè)圖像與參考圖像進(jìn)行快速匹配，由于通過透視變換后的實(shí)測(cè)圖像與參考圖像視角和尺度差異均不大，因此，可省略尺度空間構(gòu)建過程。

2.1 目標(biāo)定位多視角成像透視變換模型

飛行器拍攝遠(yuǎn)距離目標(biāo)p時(shí)示意圖如圖5所示，衛(wèi)星相機(jī)拍攝機(jī)載參考圖，機(jī)載光學(xué)相機(jī)拍攝目標(biāo)實(shí)測(cè)圖。Og-XgYgZg為地理坐標(biāo)系；Oc′-Xc′Yc′Zc′為衛(wèi)星相機(jī)坐標(biāo)系；Ob-XbYbZb為載機(jī)機(jī)體坐標(biāo)系；Oc-XcYcZc為載機(jī)攜帶的光學(xué)相機(jī)坐標(biāo)系。

由相機(jī)成像原理可知，對(duì)于實(shí)測(cè)圖與參考圖中的同一目標(biāo)點(diǎn)p，存在如下關(guān)系[20]：

(10)

(11)

圖5 遠(yuǎn)距離目標(biāo)定位坐標(biāo)系Fig.5 Coordinate system in long distance target location

(12)

(13)

(14)

2.2 基于慣性信息的透視變換矩陣求解

由式(14)可得

(15)

由圖6可知

(16)

(17)

同理，假設(shè)載機(jī)相對(duì)地理系的航向角為ψ，俯仰角為θ，橫滾角為γ，則

(18)

考慮到衛(wèi)星在拍攝參考圖時(shí)相機(jī)光軸基本垂直于地面，結(jié)合圖6中的坐標(biāo)系關(guān)系可知

圖6 坐標(biāo)系轉(zhuǎn)換關(guān)系Fig.6 Transformation between coordinate systems

(19)

3 目標(biāo)精確定位算法

飛行器遠(yuǎn)距離拍攝目標(biāo)時(shí)，目標(biāo)實(shí)測(cè)圖像與機(jī)載參考圖像具有較大的形變和視角差異，在對(duì)目標(biāo)實(shí)測(cè)圖像和機(jī)載參考圖匹配成功的基礎(chǔ)上，還需要對(duì)目標(biāo)進(jìn)行精確定位。利用單應(yīng)性矩陣可以獲取兩幅圖像像素點(diǎn)之間的對(duì)應(yīng)關(guān)系[21]，因此，在本文目標(biāo)快速提取算法的基礎(chǔ)上利用RANSAC算法獲取圖像之間單應(yīng)性矩陣[22]即可獲取對(duì)應(yīng)參考圖中的目標(biāo)精確像素區(qū)域，實(shí)現(xiàn)目標(biāo)精確定位，具體步驟如下：

步驟1利用目標(biāo)快速提取算法的結(jié)果和透視變換矩陣獲取目標(biāo)點(diǎn)在變換后實(shí)測(cè)圖像中的精確位置。

步驟2利用RANSAC算法獲取大視角圖像匹配后目標(biāo)實(shí)測(cè)圖與參考圖之間單應(yīng)性矩陣。

步驟3將變換后實(shí)測(cè)圖像上目標(biāo)有效像素通過步驟2獲取的單應(yīng)性矩陣映射至參考圖像中獲取目標(biāo)精確位置。

一般來(lái)說(shuō)，由圖像匹配特征點(diǎn)獲得目標(biāo)定位結(jié)果方面常用的平均值定位方法進(jìn)行實(shí)現(xiàn)。然而該方法將參考圖中匹配得到的所有特征點(diǎn)求平均值實(shí)現(xiàn)對(duì)目標(biāo)的定位，經(jīng)常會(huì)由于目標(biāo)區(qū)域附近沒有足夠多的特征點(diǎn)而導(dǎo)致誤差急劇增大。

考慮到上述情況，本文采用了將目標(biāo)點(diǎn)上的有效像素通過單應(yīng)性矩陣映射到參考圖中對(duì)目標(biāo)精確定位。該方法針對(duì)性明顯，能夠特別實(shí)現(xiàn)對(duì)待定位目標(biāo)的定位精度的提升。

4 算法實(shí)現(xiàn)流程

綜合上述各部分內(nèi)容，基于慣性信息輔助的大視角目標(biāo)快速精確定位算法流程如圖7所示，主要包含以下步驟：

圖7 快速高精度目標(biāo)定位算法示意圖 Fig.7 Diagram for fast and high precision target localization algorithm

步驟1載機(jī)拍攝目標(biāo)獲取目標(biāo)實(shí)測(cè)圖序列，并讀取此時(shí)載機(jī)慣性導(dǎo)航系統(tǒng)信息，即載機(jī)相對(duì)地理系的三維位置、航向角ψ、俯仰角θ、橫滾角γ以及此時(shí)機(jī)載相機(jī)穩(wěn)定平臺(tái)相對(duì)載機(jī)的方位角α、俯仰角β等。

步驟2使用目標(biāo)快速提取算法(尺度空間構(gòu)建+FAST特征檢測(cè)+FREAK特征描述)對(duì)目標(biāo)實(shí)測(cè)圖序列進(jìn)行快速匹配：首先讀取小范圍目標(biāo)實(shí)測(cè)圖像，根據(jù)需要對(duì)其進(jìn)行降采樣獲取降采樣圖像集，在降采樣圖像集內(nèi)利用FAST算子檢測(cè)特征點(diǎn)，再讀取大范圍目標(biāo)實(shí)測(cè)圖像進(jìn)行FAST特征檢測(cè)，最后利用FREAK算子分別進(jìn)行特征描述和匹配。

步驟3使用RANSAC算法剔除匹配結(jié)果中的錯(cuò)誤匹配點(diǎn)，提取目標(biāo)有效像素。

步驟6使用RANSAC算法剔除匹配結(jié)果中的錯(cuò)誤匹配點(diǎn)，獲取實(shí)時(shí)圖與參考圖之間的精確單應(yīng)性矩陣H。

步驟7將步驟3中目標(biāo)有效像素利用單應(yīng)性矩陣H映射到參考圖中獲取目標(biāo)精確位置。

5 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)首先利用本文目標(biāo)快速提取算法(改進(jìn)FAST+FREAK)對(duì)圖1的目標(biāo)實(shí)測(cè)圖像序列進(jìn)行了目標(biāo)快速提取實(shí)驗(yàn)，與此同時(shí)對(duì)比了目前現(xiàn)有的相關(guān)算法的效果。

本文實(shí)驗(yàn)環(huán)境為64位Win10操作系統(tǒng)，內(nèi)存4 G，Intel Pentinum(R)E5800處理器，實(shí)驗(yàn)軟件為Matlab R2013+VS2016，實(shí)驗(yàn)結(jié)果如圖8所示。其中，SIFT、SURF以及本文提出的算法均具備尺度不變性，而FAST不具備尺度不變性。

為了進(jìn)一步的驗(yàn)證本文算法的匹配時(shí)間性能，本文利用10個(gè)不同場(chǎng)景，對(duì)10個(gè)待定目標(biāo)進(jìn)行實(shí)驗(yàn)，記錄10組實(shí)驗(yàn)結(jié)果的平均值，結(jié)果如表1 所示。

圖8 圖像序列算法匹配結(jié)果(4種算法)Fig.8 Image sequence algorithm matching results(four algorithms)

由表1可知，SIFT、SURF以及本文提出的算法(Proposed 1)均具備尺度不變性，但是SIFT、SURF算法耗時(shí)較長(zhǎng)，很難滿足實(shí)時(shí)性要求，F(xiàn)AST雖然耗時(shí)最短，但是不具備尺度不變性，與此同時(shí)，在相同的FAST特征檢測(cè)前提下，F(xiàn)AST+FREAK耗時(shí)相比FAST+SIFT、SURF得到了降低，證明了FREAK特征描述的快速性，本文提出的算法在具備尺度不變性的算法里耗時(shí)最短，能夠滿足實(shí)時(shí)性要求。

上述過程中，包含3種特征檢測(cè)算法(SIFT，SURF和FAST)和3種特征描述算法(SIFT，SURF和FREAK)。為了對(duì)算法的時(shí)間復(fù)雜度進(jìn)行分析，基于當(dāng)前的實(shí)驗(yàn)平臺(tái)，分別對(duì)特征檢測(cè)和特征描述算法進(jìn)行了實(shí)驗(yàn)，并分析了處理每個(gè)特征點(diǎn)的平均耗時(shí)。

由表2可知，F(xiàn)AST算法檢測(cè)特征點(diǎn)平均耗時(shí)最短，驗(yàn)證了本文采用的特征檢測(cè)算法的快速性。

由表3可知，F(xiàn)REAK算子描述特征點(diǎn)平均耗時(shí)最短，驗(yàn)證了本文采用的特征描述算法的快速性。

為了有效地對(duì)匹配特征點(diǎn)數(shù)、匹配正確率以及匹配耗時(shí)這三要素進(jìn)行合理的綜合評(píng)估，本文結(jié)合實(shí)際測(cè)試經(jīng)驗(yàn)，提出如下指標(biāo)公式對(duì)算法的性能進(jìn)行評(píng)估：

表1 圖像序列算法匹配結(jié)果(8種算法)

表2圖像序列算法特征檢測(cè)時(shí)間復(fù)雜度分析

Table2Timecomplexityanalysisoffeaturedetectionalgorithmforimagesequence

AlgorithmPointTime/sPertime/sSIFT674729.890.0044SURF2153210.100.0004FAST9390.0680.00007

(20)

式中:score為指標(biāo)評(píng)分；point為特征點(diǎn)數(shù)目；correct為正確率；time為算法耗時(shí)。對(duì)表1中各算法評(píng)估后，將評(píng)估結(jié)果圖像化，如圖9所示。

由圖9可以看出，在對(duì)目標(biāo)圖像序列匹配時(shí)，本文快速尺度不變圖像匹配算法綜合表現(xiàn)最優(yōu)，目標(biāo)提取的結(jié)果如圖10所示。

實(shí)驗(yàn)利用快速大視角圖像匹配算法(慣性信息+FAST+FREAK)針對(duì)目標(biāo)大視角實(shí)測(cè)圖像與參考圖像進(jìn)行了匹配實(shí)驗(yàn)，與此同時(shí)對(duì)比了現(xiàn)有的幾種圖像匹配算法。

表3圖像序列算法特征描述時(shí)間復(fù)雜度分析

Table3Timecomplexityanalysisoffeaturedescriptionforimagesequence

AlgorithmPointTime/sPertime/sSIFT674717.700.0026SURF2153235.250.0014FREAK9390.620.0006

圖9 本文提出算法1和其他圖像算法最終得分對(duì)比Fig.9 Final score comparison between proposed 1 and other algorithms

圖10 目標(biāo)提取結(jié)果Fig.10 Target extraction results

本次實(shí)驗(yàn)用的相機(jī)內(nèi)部參數(shù)如下：

實(shí)驗(yàn)所用慣性信息由SPAN-CPT系統(tǒng)提供，詳細(xì)參數(shù)如表4所示。

實(shí)驗(yàn)所用的目標(biāo)大視角實(shí)測(cè)圖像及參考圖像如圖4所示。

通過慣性信息可以獲得相機(jī)的空間坐標(biāo)和姿態(tài)角，如表5所示。

通過表5中各相機(jī)姿態(tài)角和空間坐標(biāo)可以算出世界坐標(biāo)系變換到各個(gè)相機(jī)坐標(biāo)系所需的旋轉(zhuǎn)矩陣R和平移向量T如表6所示。

通過上述旋轉(zhuǎn)矩陣和平移矩陣結(jié)合相機(jī)內(nèi)部參數(shù)利用本文的公式可計(jì)算得到實(shí)測(cè)圖像到參考圖像所需要的透視變換矩陣：

表4 SPAN-CPT系統(tǒng)詳細(xì)參數(shù)

Table4DetailparametersofSPAN-CPTattitudeheadingreferencesystem

ParameterGyroscopeAccelerometerBiasstability1(°)·h-17.5×10-4g

表5 相機(jī)外部參數(shù)Table 5 Camera external parameters

表6 坐標(biāo)系變換參數(shù)Table 6 Coordinate transformation parameters

利用該矩陣H對(duì)實(shí)測(cè)圖像進(jìn)行變換，結(jié)果如圖11所示。

大視角圖像匹配實(shí)驗(yàn)結(jié)果如圖12所示。由圖12可知，當(dāng)對(duì)大視角目標(biāo)實(shí)測(cè)圖像和參考圖像進(jìn)行匹配時(shí)，SIFT、SURF、FAST算法無(wú)特征點(diǎn)，無(wú)法完成匹配；ASIFT算法和本文快速大視角圖像匹配算法(Proposed 2)仍然可以較好的完成匹配。本次實(shí)驗(yàn)中，ASIFT算法共耗時(shí)2 906 s，匹配正確點(diǎn)數(shù)為1 593個(gè)；慣性信息輔助的快速大視角圖像匹配算法僅耗時(shí)1.5 s，匹配正確點(diǎn)數(shù)為161個(gè)，在滿足特征點(diǎn)數(shù)目基礎(chǔ)上，其匹配耗時(shí)相對(duì)于ASIFT算法減小了1個(gè)數(shù)量級(jí)以上。

圖11 圖像透視變換結(jié)果Fig.11 Results of image perspective transformation

圖12 大視角圖像匹配實(shí)驗(yàn)結(jié)果Fig.12 Results of large viewing angle image matching

基于上述實(shí)驗(yàn)條件，本文利用10個(gè)不同場(chǎng)景，對(duì)10個(gè)待定目標(biāo)進(jìn)行研究，同時(shí)對(duì)比算法上增加了慣性信息輔助的SIFT、SURF、SIFT+FREAK、SURF+FREAK等多種算法，記錄10組實(shí)驗(yàn)結(jié)果的平均值，結(jié)果如表7所示。

利用式(15)計(jì)算綜合評(píng)估各算法性能，綜合得分情況如圖13所示。由圖13可知，在對(duì)大視角圖像進(jìn)行快速匹配時(shí)，本文匹配算法綜合性能表現(xiàn)最好。

本文采用平均法與精確定位方法對(duì)比，分析對(duì)待定目標(biāo)的最終定位結(jié)果，其結(jié)果如圖14所示，精確定位方法相對(duì)平均值定位方法能夠有效實(shí)現(xiàn)對(duì)目標(biāo)的高精度定位，定位誤差平均為5個(gè)像素，而平均值法的定位誤差在50個(gè)像素左右。

為了核實(shí)本文算法精度，采用平均法與精確定位方法對(duì)10個(gè)不同的待定目標(biāo)點(diǎn)進(jìn)行了10組定位實(shí)驗(yàn)對(duì)比，對(duì)比實(shí)驗(yàn)結(jié)果如圖15所示。

表7 大視角圖像匹配算法匹配結(jié)果Table 7 Results of large angle image matching algorithm

圖13 本文提出算法2和其他圖像算法最終得分對(duì)比Fig.13 Final score comparison between proposed 2 and other algorithms

圖14 目標(biāo)定位實(shí)驗(yàn)結(jié)果Fig.14 Experimental results of target localization

圖15 目標(biāo)定位方法誤差對(duì)比Fig.15 Error comparison of target location method

由圖15可知，本文目標(biāo)定位方法定位精度平均是5.2個(gè)像素，而平均值定位方法的定位精度為49.4個(gè)像素，誤差平均減小了40個(gè)像素，將定位精度提高了一個(gè)數(shù)量級(jí)。

為了驗(yàn)證本文算法的通用性，除了上述實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證外，課題小組還進(jìn)行了其他的實(shí)測(cè)圖像實(shí)驗(yàn)，結(jié)果均驗(yàn)證了本文算法的有效性。

6 結(jié) 論

本文提出了一種基于慣性信息輔助的目標(biāo)快速高精度定位方法，該方法由大視角圖像快速匹配、目標(biāo)實(shí)測(cè)圖序列快速匹配及目標(biāo)精確定位三大部分組成。實(shí)驗(yàn)結(jié)果表明：

1) 基于慣性信息輔助的快速大視角圖像匹配算法能夠?qū)崿F(xiàn)大視角圖像匹配，且匹配耗時(shí)相對(duì)于ASIFT算法減小了1個(gè)數(shù)量級(jí)。

2) 對(duì)目標(biāo)進(jìn)行精確定位方法的精度相對(duì)一般平均值定位方法精度也提高了1個(gè)數(shù)量級(jí)以上。

上述研究成果對(duì)于圖像匹配在航空目標(biāo)定位工程中的應(yīng)用具有重要的參考價(jià)值。

[1] 何率天. 空地精確打擊體系構(gòu)成與關(guān)鍵技術(shù)[J]. 兵工自動(dòng)化, 2016, 35(6): 12-15.

HE S T. Space strike system construction and key technology of[J]. Automation, 2016, 35(6): 12-15 (in Chinese).

[2] 邵慧. 無(wú)人機(jī)高精度目標(biāo)定位技術(shù)研究[D]. 南京: 南京航空航天大學(xué), 2014: 1-9.

SHAO H. Research on high precision target location technology of UAV[D]. Nanjing: Nanjing University of Aeronautics & Astronautics, 2014: 1-9 (in Chinese).

[3] 徐誠(chéng), 黃大慶. 無(wú)人機(jī)光電偵測(cè)平臺(tái)目標(biāo)定位誤差分析[J]. 儀器儀表學(xué)報(bào), 2013, 34(10): 2265-2270.

XU C, HUANG D Q. Target location error analysis of UAV electro-optical detection platform[J]. Chinese Journal of Scientific and Instrument, 2013, 34(10): 2265-2270 (in Chinese).

[4] 楊帥, 程紅, 李婷, 等. 無(wú)人機(jī)偵察圖像目標(biāo)定位在軍事上的應(yīng)用研究[J]. 紅外技術(shù), 2016, 38(6): 467-471.

YANG S, CHENG H, LI T, et al. Application of infrared technology in military UAV reconnaissance image target localization[J]. Infrared Technology, 2016, 38(6): 467-471 (in Chinese).

[5] JOSé R G B, HAROLDO F C V, GIANPAOLO C, et al. An image matching system for autonomous UAV navigation based on neural network [C]//2016 14th International Conference on Control, Automation, Robotics & Vision, 2016: 1-6.

[6] JIANG S, CAO D, WU Y, et al. Efficient line-based lens distortion correction for complete distortion with vanishing point constraint[J]. Applied Optics, 2015, 54(14): 4432-4438.

[7] 吳偉平. 局部仿射不變特征的提取技術(shù)研究[D]. 長(zhǎng)春：長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 2015: 11-31.

WU W P. Research on local affine invariant feature extraction[D]. Changchun： Changchun Institute of Optics, Fine Mechanics and Physics, 2015: 11-31 (in Chinese).

[8] MATAS J, CHUM O, URBAN M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image & Vision Computing, 2004, 22(10): 761-767.

[9] 于瑞鵬, 金麗鴻, 高寧, 等. 融合尺度和仿射不變特征的傾斜立體影像配準(zhǔn)[J]. 測(cè)繪科學(xué), 2016, 41(7): 138-143.

YU R P, JIN L H, GAO N, et al. Fusion of scale and affine invariant features for oblique stereo image registration[J]. Mapping Science, 2016, 41(7): 138-143 (in Chinese).

[10] MOREL J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[11] MA X M, LIU D, ZHANG J, et al. A fast affine-invariant features for image stitching under large viewpoint changes[J]. Neurocomputing, 2015, 151: 1430-1438.

[12] 陽(yáng)魁. 基于慣導(dǎo)信息的多視角目標(biāo)模板校正與融合方法研究[D].長(zhǎng)沙： 國(guó)防科學(xué)技術(shù)大學(xué), 2011: 12-18.

YANG Q. Multi view object template ins information correction and fusion method of[D]. Changsha: National Defense Science and Technology University, 2011: 12-18 (in Chinese).

[13] 宋琳. 無(wú)人機(jī)飛行途中視覺導(dǎo)航關(guān)鍵技術(shù)研究[D]. 西安： 西北工業(yè)大學(xué), 2015: 17-33.

SONG L. Research on key technology of visual navigation in the flight of unmanned aerial vehicle[D]. Xi’an: Northwestern Polytechnical University, 2015: 17-33 (in Chinese).

[14] 馬旭， 程詠梅， 郝帥， 等. 面向未知區(qū)域深度測(cè)量的序列圖像稠密點(diǎn)特征生成算法[J]. 航空學(xué)報(bào)， 2015， 36(2): 596-604.

MA X, CHENG Y M, HAO S, et al. Dense point feature generation algorithm based on monocular sequence images for depth measurement of unknown zone[J]. Acta Aeronautica et Astronautica Sinica, 2015, 36(2): 596-604 (in Chinese).

[15] 申浩， 李書曉， 申意萍， 等. 航拍視頻幀間快速配準(zhǔn)算法[J]. 航空學(xué)報(bào), 2013, 34(6): 1405-1413.

SHEN H, LI S X, SHEN Y P, et al. Fast interframe registration method in aerial videos[J]. Acta Aeronautica et Astronautica Sinica, 2013, 34(6): 1405-1413 (in Chinese).

[16] ROSTEN D T. Machine learning for high-speed corner detection[C]//European Conference on Computer Vision, 2006: 430-443.

[17] ALAHI A, ORTIZ R, VANDERGHEYNST P. FREAK: Fast retina keypoint[C]//Proceeding of the 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012: 510-517.

[18] FISCHLER M A, BOLLES R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395

[19] 田玉剛， 楊貴， 吳蔚. 高分影像輔助下的航空高光譜嚴(yán)密幾何檢校方法[J]. 航空學(xué)報(bào)， 2015， 36(4): 1250-1258.

TIAN Y G,YANG G,WU W. A strict geometric calibration method for airborne hyperspectral sensors aided by high resolution images[J]. Acta Aeronautica et Astronautica Sinica, 2015, 36(4): 1250-1258 (in Chinese).

[20] 王云舒, 劉建業(yè), 曾慶化, 等. 慣性信息輔助的快速大視角圖像匹配方法[J]. 中國(guó)慣性技術(shù)學(xué)報(bào), 2016, 28(4): 504-510.

WANG Y S, LIU J Y, ZENG Q H, et al. An image matching method with fast and large angle of view of in-ertial information[J]. Journal of Chinese Inertial technology, 2016, 28(4): 504-510 (in Chinese).

[21] 洪磊, 田啟良, 嵇保健. 基于單應(yīng)性矩陣的線結(jié)構(gòu)光參量標(biāo)定法[J]. 光子學(xué)報(bào), 2015, 44(12): 113-118.

HONG L, TIAN Q L, JI B J. Single line structure of optical parametric matrix calibration method[J]. Journal of Photon, 2015, 44(12): 113-118 (in Chinese).

[22] 劉婷婷. 基于單應(yīng)性矩陣剔除SIFT錯(cuò)誤匹配點(diǎn)的方法[J]. 哈爾濱商業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 37(1): 95-98， 106.

LIU T T. Method of removing SIFT error matching points based on homography matrix[J]. Journal of Harbin University of Commerce (Natura Science Edition), 2016, 37(1): 95-98， 106 (in Chinese).

(責(zé)任編輯： 蘇磊)

*Correspondingauthor.E-mail:zengqh@nuaa.edu.cn

Fastandaccuratetargetpositioningwithlargeviewpointbasedoninertialnavigationsysteminformation

ZENGQinghua1,2*,PANPengju1,2,LIUJianye1,2,WANGYunshu1,2,LIUSheng3

1.CollegeofAutomationEngineering,NanjingUniversityofAeronauticsandAstronautics,Nanjing211106,China2.SatelliteCommunicationandNavigationCollaborativeInnovationCenter,Nanjing211106,China3.AVICLuoyangElectro-opticalEquipmentResearchInstitute,Luoyang471009,China

Targetlocationtechnologyiswidelyusedinaircraftandmissilesforgettingthepositioninformationofair-attacktargets.Theattackeffectisdirectlyaffectedbytheefficiencyofthetargetlocalizationmethod.ConsideringtheproblemoflowprecisionandslowspeedoftheAffineScale-InvariantFeatureTransform(ASIFT)algorithm,anewpositioningmethodbasedoninertialnavigationsysteminformationisproposed.Thescalespaceofthetargetreal-timesequenceimagesisconstructed,andismatchedwiththecombinationofFeaturesfromAcceleratedSegmentTest(FAST)andFastREtinAKeypoint(FREAK)description.Fastextractionofthetargetisthenachieved.Thehomographymatrixbetweenthereal-timeandthereferenceimagesissolvedbyusingtheinformationoftheairborneinertialnavigationsystem.Thereal-timeimagesarethentransformedbythehomographymatrixtoreducethedifferencebetweenthereal-timeandthereferenceimages,soastoovercometheproblemofblindmultiplematchingcalculationoftheASIFTalgorithm.ThroughthecombinationofFASTfeaturedetectionandFREAKfeaturedescription,thematchingspeedoflargeviewpointimagesisenhanced.Thetargetisaccuratelylocatedinthereferenceimagebythehomographymatrix.TheexperimentalresultsindicatethatthecalculationspeedisincreasedbyoneorderofmagnitudecomparedwiththatoftheASIFTalgorithm,andthepositioningaccuracyisincreasedbyoneorderofmagnitudecomparedwiththatoftheexistingtargetaveragepositioningalgorithm.Themethodproposedinthepaperwillbehelpfulinimprovingtheefficiencyofthefigure-matchingintheaerialapplication.

targetlocation;inertialnavigation;largeviewpointimagematching;targetextraction;positioningaccuracy

2017-02-10；Revised2017-03-12；Accepted2017-04-10；Publishedonline2017-04-271459

URL：www.cnki.net/kcms/detail/11.1929.V.20170427.1459.004.html

s：NationalNaturalScienceFoundationofChina(61533008,61104188，61374115,61603181)；FundingofJiangsuInnovationProgramforGraduateEducation(KYLX15_0277)；theFundamentalResearchFundsforCentralUniversities(NS2015037)

2017-02-10；退修日期2017-03-12；錄用日期2017-04-10； < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-04-271459

www.cnki.net/kcms/detail/11.1929.V.20170427.1459.004.html

國(guó)家自然科學(xué)基金 (61533008,61104188，61374115,61603181)； 江蘇省普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目 (KYLX15_0277)； 中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金 (NS2015037)

.E-mailzengqh@nuaa.edu.cn

曾慶化， 潘鵬舉， 劉建業(yè)， 等． 慣性信息輔助的大視角目標(biāo)快速精確定位J． 航空學(xué)報(bào),2017,38(8):321171.ZENQQH,PANPJ,LIUJY,etal.FastandaccuratetargetpositioningwithlargeviewpointbasedoninertialnavigationsysteminformationJ.ActaAeronauticaetAstronauticaSinica,2017,38(8):321171.

http://hkxb.buaa.edu.cnhkxb@buaa.edu.cn

10.7527/S1000-6893.2017.321171

V243

A

1000-6893(2017)08-321171-13