王云舒，劉建業(yè)，曾慶化，劉 昇

（1. 南京航空航天大學 自動化學院南京 211106；2. 衛(wèi)星通信與導航協(xié)同創(chuàng)新中心南京 211106；3. 中航工業(yè)洛陽電光設備研究所，洛陽 471009）

慣性信息輔助的快速大視角圖像匹配方法

王云舒1,2，劉建業(yè)1,2，曾慶化1,2，劉 昇3

（1. 南京航空航天大學 自動化學院南京 211106；2. 衛(wèi)星通信與導航協(xié)同創(chuàng)新中心南京 211106；3. 中航工業(yè)洛陽電光設備研究所，洛陽 471009）

大視角圖像匹配算法的魯棒性與實時性直接影響飛行器對遠距離目標定位的性能。針對目前仿射不變圖像匹配算法實時性較差的問題，提出一種慣性信息輔助的快速大視角圖像匹配方法。該方法對現(xiàn)有的快速圖像匹配算法進行改進，避免了構建高斯金字塔，提高了算法效率。然后利用機載慣性導航信息求解實時圖與參考圖之間的單應性矩陣，并對實時圖進行模擬視角變換以此減小圖像間視角差異，克服了現(xiàn)有的大視角圖像匹配算法盲目多次的匹配計算，實現(xiàn)了大視角圖像的快速匹配。實驗結果表明，慣性信息輔助的大視角圖像匹配算法與現(xiàn)有的快速仿射不變性匹配算法相比，匹配效率提高了至少2倍。

大視角圖像；仿射不變性；慣性導航；圖像匹配；目標定位

飛行器對遠距離目標的精確定位對于飛行器導航及精確打擊目標具有重要意義。對目標定位通常分為無地圖定位與地圖定位，無地圖定位是指飛行器通過機載瞄準吊艙對目標進行測距測角，從而計算目標相對載機的相對位置信息，該方法在載機相對目標較遠時定位誤差較大；地圖定位則是通機載吊艙拍攝到的目標圖像（實時圖）與已有的目標區(qū)域圖像（基準圖）進行匹配，依據(jù)匹配結果判定目標在目標區(qū)域中的準確位置，從而為精確制導武器提供必要的目標初始信息。因此，圖像匹配算法的性能將直接影響目標定位的精度。

圖像匹配算法中，基于局部特征的匹配算法例如SIFT、SURF算法因其對旋轉、尺度變換、光照變化等都具有良好的魯棒性而得到廣泛的應用[1]。但SIFT、SURF等算法不具有仿射不變性，當飛行器拍攝的實時圖（斜視）與基準圖（俯視）之間有較大視角差異時（通常在50°以上），SIFT等算法性能不佳[2]。

目前在圖像處理領域已有許多具有一定仿射不變性的匹配算法，能夠對大視角圖像進行匹配，一種是局部仿射不變的算法，如MSER算法[3]。此類算法是將存在未知仿射形變的局部區(qū)域轉變?yōu)闃藴市螤?，以此消除仿射形變的影響，因此對視角變換較大的圖像匹配效果仍不理想。Morel于 2009年提出了 ASIFT (Affine-SIFT)算法[4]，通過大量模擬待匹配圖像的視角變換并依次匹配，找到匹配點最多的幾組圖像，然后將所有匹配點映射至原匹配圖上，實現(xiàn)了大視角下的圖像匹配，但其效率較低，難以在飛行器上實時應用。之后有學者為提高 ASIFT算法的效率進行了大量研究，主要分為兩個方向，一是使用快速的圖像匹配算法代替SIFT算法，例如AORB(Affine Oriented FAST and Rotated BRIEF)算法[5]和ASURF(Affine- SURF)算法[6]；二是改進模擬視角變換的采樣策略，例如使用粒子群優(yōu)化算法[7]、正交試驗法[8]等，這些方法雖然提高了ASIFT算法的效率，但由于事先不知道圖像間的視角變化關系，仍然需要進行多次視角變換以及匹配，實時性仍然有待提升。

由于慣性信息的獲取不受外界影響，可以利用機載慣性信息求解圖像間的視角變換關系[9]。為此，論文提出了慣性信息輔助的快速大視角圖像匹配算法，利用載機的慣性信息求解待匹配圖像間單應性矩陣，克服了現(xiàn)有算法盲目遍歷的缺點，大大減少了視角模擬變換次數(shù)及圖像匹配次數(shù)。然后對快速圖像匹配算法ORB算法[10]進行改進，使用DAISY描述符[11]對特征點進行描述，由于DAISY描述符本身具有尺度不變性，避免了ORB算法中對多層圖像特征檢測的步驟，進一步提高了算法效率，并采用灰度矩心方法進行特征點主方向度量，使算法具備了旋轉不變性。實驗對比了載機慣性信息輔助的大視角圖像匹配算法與經(jīng)典仿射不變性圖像匹配算法的匹配效果及計算速度，本文提出方法在保證匹配效果的同時大大提高了算法效率。

1 慣性信息輔助的大視角圖像匹配算法

當飛行器距離目標較遠時，載機拍攝的實時圖與參考圖之間的視角差異通常在50°以上，如圖1所示。

傳統(tǒng)的特征匹配方法如 SIFT算法無法對上述圖像進行匹配，而MSER等具有局部仿射不變性的算法匹配效果也不理想，ASIFT算法雖然能實現(xiàn)大視角圖像的匹配，但耗時較多，無法在飛行器上實時應用。為此，本文提出了慣性信息輔助的快速大視角圖像匹配算法解決該問題。

圖1 視角變換較大的參考圖與實時圖Fig 1 Refer image and the real image with large viewpoint change

1.1 坐標系建立

慣性信息輔助的快速大視角圖像匹配示意圖如圖2所示。目標T位于地理坐標系Og-XgOgYg中的XgOgYg平面上，地理坐標系Og-XgYgZg為東北天坐標系，參考圖一般由衛(wèi)星地圖提供或高空無人偵察機事先拍攝，拍攝參考圖的相機用相機坐標系表示，參考圖通常為俯視圖，因此該相機坐標系的光軸Oc′Zc′通常垂直于地面。飛行器的機體坐標系Ob-XbYbZb為右前上坐標系，飛行器攜帶的光學相機用相機坐標系Oc-XcYcZc表示。

圖2 慣性信息輔助的大視角圖像匹配示意圖Fig.2 Schematic of large viewpoint image matching aided by inertial information

本文利用機載慣性信息求解實時圖與參考圖間的單應性矩陣，對實時圖進行視角變換，避免了多次盲目的視角變換與匹配，提高計算效率。

1.2 坐標系轉換關系

通過對機載慣性信息解算，可以得到載機的航向角ψ、俯仰角θ和滾轉角γ，因此可以得到地理坐標系（與導航系重合）到機體坐標系的變換矩陣：

機載相機通常是固連在機載二軸穩(wěn)定平臺上的，即平臺有方位和俯仰兩軸的運動。初始狀態(tài)下，相機的光軸方向即Zc軸與機體系的Yb軸方向相同，Xc軸與Xb軸方向相同，Yc軸與Zb軸方向相反。定義Zc軸在水平面上的投影與Yb軸在水平面上的投影間的夾角為平臺方位角為α，初始值為0°，順時針方向為正，定義域為0°～360°，定義相機繞Xc軸轉動產(chǎn)生的Yc軸與Zb軸反方向之間的夾角為平臺俯仰角β，初始值為0°，向下為正，定義域為0°～180°。為簡化模型，忽略相機系與機體系之間的平移關系，則相機系到機體系的變換矩陣可以表示為

另外，由于拍攝參考圖的相機光軸幾乎垂直于地面，所以認為Zc′垂直地面向下，Xc′與Xg方向相同，Yc′與Yc方向相反，所以有：

結合式(1)～(3)，可以得到兩個相機坐標系之間的轉換關系：

由此得到了圖2中四個坐標系之間的相互轉換關系，之后將建立描述兩個相機間視角變換的單應性矩陣，然后通過本節(jié)分析的坐標轉換關系實現(xiàn)慣性信息輔助的視角變換。

1.3 慣性信息輔助的視角變換

假設目標點p在XgOgYg平面上，根據(jù)相機成像原理可知，對于實時圖與參考圖中的同一目標點p，存在如下關系：

聯(lián)立式(7)和式(8)，可以得到：

將式(10)帶入式(9)，就可以求出實時圖中坐標到參考圖中坐標的轉換關系，再通過插值即可實現(xiàn)實時圖到參考圖的視角變換，得到模擬視角變換后的實時圖，如圖3所示。

用模擬視角變換后的實時圖與參考圖匹配能夠獲得更多的匹配點以及更高的正確率。

圖3 實時圖和視角變換后的實時圖Fig.3 Real image and the real image after viewpoint change

2 快速圖像匹配算法

獲得模擬視角變換后的實時圖，就可以采用快速圖像匹配算法進行特征匹配。ORB算法是一種快速圖像匹配算法，該算法使用FAST算子[12]提取特征點，用BRIEF描述符[13]對特征點進行描述，BRIEF描述符的計算速度較快，但是不具備尺度不變性與旋轉不變性，ORB算法使用灰度矩心法為每個特征點構建主方向使其具有旋轉不變性，建立高斯金字塔模擬圖像尺度變換使其具有尺度不變性。為進一步提高算法效率，本文對ORB算法進行了改進，使用DAISY描述符代替BRIEF描述符，DAISY描述符本身具有尺度不變性，避免了 ORB算法中構建高斯金字塔的過程，提高了特征檢測的效率，但與 BRIEF描述符類似，DAISY描述符沒有主方向，因此不具備旋轉不變性。為此，本文采用灰度矩心方法為FAST特征點構建主方向。圖像角點區(qū)域的灰度矩定義為

式中，I(u,v)是圖像中特征點(u,v)處的灰度值，p、q決定了灰度矩的階數(shù)。灰度矩心可由三個不同的灰度矩m00、m01和m10來表示：

然后可以構造角點中心到矩心的向量，因此角點的主方向為

將提取的角點主方向用于特征描述符DAISY，即可獲得旋轉不變的DAISY描述符。DAISY描述符的結構如圖4所示，圍繞著中心點有三層同心圓，每層同心圓上有8個采樣點，以45°為間隔，每層同心圓環(huán)的采樣點具有相同的高斯尺度值，DAISY描述符將原始圖像的若干個梯度方向與尺度不一的高斯濾波函數(shù)進行卷積，每個采樣點上卷積核的大小與該采樣點到同心圓中心的距離成正比。由于高斯濾波函數(shù)具有可分離性，因此該方法具有較高的效率，并且這種圓環(huán)結構使 DAISY描述符對于圖像的仿射變化和光照差異都有較好的魯棒性。

圖4 DAISY描述符結構Fig.4 Structure of DAISY descriptor

下面將構建基于有向FAST特征點的DAISY描述符：對任意一個FAST特征點(u,v)計算其8個方向的梯度：

式中，o表示梯度的方向，o=1,2,…,8。然后用高斯尺度值為∑的高斯核G∑對梯度圖像Go(u,v)進行高斯卷積：

對每一個特征點都可以找到一個長度為8的向量來表示局部梯度方向直方圖，記為：

由此可以得到DAISY描述符為：

式中：N表示描述符的層數(shù)，通常為3；di(u,v,Rj)表示以特征點(u,v)為中心的第j個同心圓上第i個采樣點的坐標，例如表示以特征點(u,v)為中心的第1個同心圓上第一個采樣點的局部梯度直方圖。

對于一個有主方向的特征點，將每個同心圓上的第1個采樣點定義在主方向上，兩個特征點匹配時，先將主方向旋轉到一致的方向，然后求解兩個特征點描述符間的歐式距離，從而使得匹配算法具有旋轉不變性。

3 算法流程

慣性信息輔助的大視角圖像匹配算法流程如圖 5所示，主要分為以下步驟：

1）載機獲取實時圖，并讀取此時刻載機慣性信息；

3）通過單應性矩陣對實時圖視角變換，減小實時圖與參考圖間的視角差異后，使用快速圖像匹配算法對兩幅圖進行匹配，得到初始匹配結果；

4）使用RANSAC（隨機采用一致性）算法剔除匹配結果中的錯誤匹配點，輸出最終匹配結果。

圖5 慣性信息輔助的快速大視角圖像匹配算法流程示意Fig.5 Schematic of fast matching method for large viewpoint image aided by inertial information

4 實驗驗證

實驗對本文提出算法、SIFT算法、MSER算法、ASIFT算法以及AORB算法在實時圖與參考圖視角差異較大情況下的匹配性能進行比較。實驗中 SIFT與MSER算法使用基于Matlab的VLFeat開源圖像算法庫中的相應算法，ASIFT使用作者在網(wǎng)站上提供的代碼，所有算法的參數(shù)都使用程序默認的參數(shù)。特征匹配策略采用最近鄰/次近鄰比率算法(Nearest Neighbor with Distance Ratio)算法，算法中最鄰近比率取0.7。

本文實驗環(huán)境為32位Windows7操作系統(tǒng)，安裝內存4G，Intel(R) Pentium(R) G2020處理器(2.90GHz)，實驗軟件為Matlab(R2012a)，由于VLFeat中的SIFT、MSER等算法的核心代碼都是在Matlab下調用C文件實現(xiàn)的，為使對比環(huán)境一致，本文算法的核心代碼也用C語言實現(xiàn)，然后通過混合編程使用Matlab調用。

實驗對算法進行了仿真測試，使用衛(wèi)星圖像作為參考圖，參考圖分辨率為1027×702，設置飛行器在該區(qū)域上空飛行的航跡，飛行高度為 800 m，并在飛行到點1、2、3時分別對目標進行拍攝獲取實時圖，實時圖分辨率均為200×120，如圖6所示，拍攝圖像時載機慣性信息、目標相對載機距離以及機載相機姿態(tài)信息如表1所示，目標相對距離與載機位置變化導致機載相機姿態(tài)變化，從而引起圖像視角差異的變化。

使用SIFT、MSER、ASIFT、AORB算法和本文提出算法分別對上述圖像進行匹配測試，獲得匹配點后使用 RANSAC算法剔除錯誤點，得到正確匹配點數(shù)目以及正確率，每幅圖像所獲得的正確匹配點數(shù)與正確匹配率如圖7所示。

圖6 實驗參考圖與不同載機位姿獲取的實時圖Fig.6 Reference image and real-time images when with different poses and locations of UAV

表1 拍攝實時圖時載機慣性信息及機載相機姿態(tài)Tab. 1 Inertial information and camera pose of real images

可以看出，不具有仿射不變性的匹配算法 SIFT僅在視角差異為50°時獲得了3對正確匹配點，正確匹配率為60%，視角差異增大后SIFT無法獲得正確匹配點。而本文提出算法與其他具有仿射不變性的匹配算法一樣，能夠對大視角圖像進行匹配，其中，ASIFT算法性能最佳，因為SIFT算法的魯棒性最佳，通過大量設置采樣點模擬視角變換，保留了多個視角變換下的匹配點，因此能夠獲得最多的匹配點與最高的匹配正確率。AORB采用了與ASIFT相同的視角模擬方法，但 ORB算法為了提高計算效率犧牲了部分魯棒性；MSER算法僅對部分區(qū)域進行歸一化，不具有全仿射不變性，因此獲得的匹配點較少；本文提出算法獲得的匹配點與AORB算法相近，優(yōu)于MSER算法，并且匹配正確率與ASIFT算法相近。

圖7 各圖像匹配算法效果對比Fig.7 Effect comparison of various images’ matching methods

為驗證本文提出算法的計算速度，本文對大視角圖像匹配算法進行測試，用ASIFT、AORB、MSER和本文算法分別對三組圖像進行了10次匹配，并對比了30次匹配的平均耗時，每個算法的耗時由特征檢測耗時(detection)，特征描述耗時(description)，特征匹配耗時(match)和其他耗時(others)組成，ASIFT、AORB中的其他耗時主要指模擬圖像視角變換的時間，MSER算法中的其他耗時主要指檢測極大值穩(wěn)定區(qū)域及歸一化的時間，本文算法中的其他耗時主要指解算慣性信息并模擬視角變換的時間，對比結果如圖8所示。

可以看出，本文提出算法和MSER算法的耗時明顯小于ASIFT和AORB，MSER算法僅對部分極大值穩(wěn)定區(qū)域進行了歸一化處理，而本文提出算法對圖像進行了一次模擬視角變換，所以其他部分的耗時比MSER算法多；特征提取和描述方面，MSER算法對歸一化的極大值穩(wěn)定區(qū)域進行SIFT特征提取與描述，而本文算法通過對 ORB算法改進，這部分的計算速度優(yōu)于MSER算法；特征匹配耗時方面，由于MSER算法僅對歸一化的區(qū)域進行了特征檢測，因此獲得的特征點比本文算法少，所以特征匹配耗時較少。

圖8 各圖像匹配算法計算時間對比Fig.8 Calculation time of each image’s matching method

為了進一步對比各算法的計算效率，用每幅圖像的平均匹配時間除以每幅圖像平均獲得的匹配點數(shù)得到每個特征點的平均計算用時，對比結果如表2所示。從表中可知，雖然MSER算法與本文算法總時間相當，但獲得的匹配點較少，所以平均每點用時較多。該指標同時考慮了算法匹配效果及匹配效率，更好地反映了匹配算法性能，本文算法平均每點的計算速度是 MSER的2.02倍，是ASIFT的6.34倍，是AORB的5.77倍。

表2 各算法平均每點用時對比Fig.2 Time/point of each method

5 結 論

本文提出了一種慣性信息輔助的大視角圖像匹配算法，首先對 ORB快速圖像匹配算法進行改進，提高了計算效率，然后利用載機慣性信息，通過坐標轉換構建單應性矩陣，求解視角模擬變換參數(shù)，從而避免了多次盲目的視角模擬變換及匹配。實驗通過模擬飛行中拍攝的大視角圖像對本文提出算法進行驗證。實驗結果表明，慣性信息輔助的大視角圖像匹配算法相比現(xiàn)有的快速仿射不變匹配算法，可對大視角下的圖像進行有效匹配，對飛行器遠距離目標定位有重要的意義，同時本算法相比現(xiàn)有的快速仿射不變匹配算法，計算效率提高了至少2倍。

（References）：

[1] 陳方, 熊智, 許允喜, 等. 慣性組合導航系統(tǒng)中的快速景象匹配算法研究[J]. 宇航學報, 2009, 30(6): 2308-2316. Chen Fang, Xiong Zhi, Xu Yun-xi, et al. Research on the fast scene matching algorithm in the inertial integrated navigation system[J]. Journal of Astronautics, 2009, 30(6): 2308-2316.

[2] 劉立, 詹茵茵, 羅揚, 等. 尺度不變特征變換算子綜[J].中國圖象圖形學報, 2013, 08: 885-892. Liu Li, Zhan Yin-yin, Luo Yang, et al. Summarization of the scale invariant feature transform[J]. Journal of Image and Graphics, 2013, 08: 885-892.

[3] Matas J, Chum O, Urban M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image & Vision Computing, 2004, 22(10): 761-767.

[4] Morel J M, Yu G. ASIFT: A new framework for fully affine invariant image comparison[J]. Siam Journal on Imaging Sciences, 2009, 2(2): 438-469.

[5] 侯毅, 周石琳, 雷琳, 等. 基于ORB的快速完全仿射不變圖像匹配[J]. 計算機工程與科學, 2014, 36(2): 303-310. Hou Yi, Zhou Shi-lin, Lei Lin, et al. Fast fully affine invariant image matching based on ORB[J]. Computer Engineering and Science, 2014, 36(2): 303-310.

[6] Lin C, Liu J, Cao L. Image matching by affine speed-up robust features[C]//Proceedings of SPIE - The International Society for Optical Engineering. 2011, 8004: 80040G-80040G5.

[7] 蔡國榕, 李紹滋, 吳云東, 等. 一種透視不變的圖像匹配算法[J]. 自動化學報, 2013, 39(7): 1053-1061. Cai Guo-rong, Li Shao-zi, Wu Yun-dong, et al. A perspective invariant image matching algorithm[J]. Acta Automatica Sinica, 2013, 39(7): 1053-1061.

[8] Liu W, Wang Y, Chen J, et al. A completely affine invariant image-matching method based on perspective projection[J]. Machine Vision & Applications, 2012, 23(2): 231-242.

[9] 夏琳琳, 于金鑫, 初妍, 等. 小傾角下空間后方交會算法輔助的 SINS/GPS姿態(tài)位置解算[J]. 中國慣性技術學報, 2015(3): 350-355. Xia Lin-lin, Yu Jin-xin, Chu Yan, et al. Attitude and position calculations for SINS/GPS aided by space resection of aeronautic single-image under small inclination angles[J]. Journal of Chinese Inertial Technology, 2015(3): 350-355.

[10] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision. Barcelona, Spain, 2011: 2564-2571.

[11] Engin T, Vincent L, Pascal F. DAISY: an efficient dense descriptor applied to wide-baseline stereo[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(5): 815-30.

[12] Rosten E, Porter R, Drummond T. Faster and better: A machine learning approach to corner detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(1): 105-119.

[13] Calonder M, Lepetit V, Strecha C, et al. BRIEF: Binary robust independent elementary features[C]//European Conference on Computer Vision. Springer-Verlag, 2010: 778-792.

Fast matching method for large viewpoint images aided by inertial information

WANG Yun-shu1,2, LIU Jian-ye1,2, ZENG Qing-hua1,2, LIU Sheng3
(1. College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China; 2. Satellite Communication and Navigation Collaborative Innovation Center, Nanjing 211106, China; 3. AVIC Luoyang Electro-optical Equipment Research Institute, Luoyang 471009, China)

The robustness and efficiency of large viewpoint image’s matching method immediately influence the performance of target location. Aiming at low efficiency of the affine invariant matching method, a fast matching method for large-viewpoint images aided by inertial information is proposed. The existing fast matching method is improved by the proposed method, which avoids building a Gaussian pyramid and improves the algorithm efficiency. Then the onboard inertial information is used to calculate the homography matrix between real-time image and reference image. The homography matrix is used to transform the real-time image so that the viewpoint change can be decreased. The blindness and quantity of the existing affine invariant matching methods are overcome. Experiment results show that the efficiency of the proposed method is improved by at least 2 times compared with the existing fast affine invariant matching methods.

large viewpoint image; affine invariant; inertial navigation; image matching; target location

TP391

：A

2016-05-03；

：2016-07-29

國家自然科學基金項目（61533008，61328301）；江蘇省普通高校研究生科研創(chuàng)新計劃項目（KYLX15_0277）；中央高?；究蒲袠I(yè)務費專項資金資助（NS2014092）

王云舒（1990—），男，博士研究生，主要研究方向為圖像匹配及慣性/視覺導航技術等。E-mail: wangys@nuaa.edu.cn

聯(lián) 系 人：劉建業(yè)（1957—），男，教授，博士生導師。E-mail: ljyac@nuaa.edu.cn

1005-6734(2016)04-0504-07

10.13695/j.cnki.12-1222/o3.2016.04.015