任 艷，劉勝男，陳新禹，黃振家

(1 沈陽航空航天大學人工智能學院，遼寧 沈陽 110136；2 沈陽航空航天大學自動化學院，遼寧 沈陽 110136)

0 引言

先進的導(dǎo)航系統(tǒng)是決定無人機完成作戰(zhàn)任務(wù)、提高生存力的關(guān)鍵。目前無人機常用的導(dǎo)航方式有:全球衛(wèi)星導(dǎo)航系統(tǒng)(global navigation satellite system,GNSS)[1-2]、慣性導(dǎo)航系統(tǒng)((inertial navigation system,INS)[2-3]、地形輔助導(dǎo)航、多普勒導(dǎo)航、組合導(dǎo)航系統(tǒng)等。其中使用最廣泛的為GNSS。然而,GNSS系統(tǒng)易受其他無線電信號干擾,導(dǎo)致定位精度降低,惡劣時甚至完全無法定位。INS系統(tǒng)通過處理陀螺儀和里程計傳感信號來間接估計無人機的航路與位置,可靠性較高,但由于導(dǎo)航系統(tǒng)中缺少閉環(huán)校正過程,在航程中會產(chǎn)生誤差累積,存在著無法單獨使用和難以持續(xù)穩(wěn)定導(dǎo)航的問題。

隨著視覺傳感器、計算機視覺技術(shù)的迅速發(fā)展,視覺導(dǎo)航技術(shù)逐漸顯露出解決上述問題的優(yōu)勢[4-5]。同時視覺處理包含有信息校正的閉環(huán)回路,因此視覺導(dǎo)航技術(shù)可以作為其他導(dǎo)航系統(tǒng)的有益補充。目前視覺導(dǎo)航技術(shù)主要是將計算機視覺與INS相結(jié)合,即以計算機分析得到的地面圖像信息來修正INS的誤差。但由于INS質(zhì)量較大,上述技術(shù)尚不適用于負載能力有限的無人機。

近年來,無人機視覺定位技術(shù)受到了研究者的大量關(guān)注,各類基于計算機視覺的圖像匹配算法被陸續(xù)提出。文獻[6]提出了一種基于NCC(normalized cross correlation)的圖像匹配算法。該算法通過計算像素值的累積和與平方和,并使用降采樣過程,降低了程序運行時間和復(fù)雜度。但該算法對局部強度的變化很敏感,匹配效果不佳。文獻[7]提出了一種基于改進SURF(speeded up robust features)[8]的圖像匹配算法。該算法引入了顏色、信息熵理論和一系列約束條件來提高圖像匹配精度。該算法匹配速度快,且具有仿射和旋轉(zhuǎn)不變性的優(yōu)點,但在處理四季變化圖像時,易出現(xiàn)匹配錯誤。文獻[9]提出了一種面向目標定位的、基于區(qū)域劃分的圖像匹配框架。該算法將檢測到的Harris角點合并到SIFT(scale invariant feature transform)關(guān)鍵點集中,以實現(xiàn)圖像匹配。該算法在復(fù)雜的模擬航拍圖像上進行驗證,取得了較好的效果。但該算法是利用遙感圖像來模擬無人機航拍圖像,未體現(xiàn)對真實無人機航拍圖像的實驗驗證。文獻[10]提出了一種基于abBRIEF描述符的無人機圖像與不同尺度衛(wèi)星圖像的匹配算法。該算法在BRIEF(binary robust indenpendent elementary features)[11]描述符中添加了顏色信息。然而,顏色信息在顯著的季節(jié)外觀變化中沒有獲得較理想的匹配結(jié)果。文獻[12]提出了一種基于空間尺度卷積的雙通道深度卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)在圖像之間進行匹配模式學習,以實現(xiàn)圖像匹配。卷積神經(jīng)網(wǎng)絡(luò)方法需要基于大量的標注數(shù)據(jù),目前尚未有公開的、真實的四季變化(尤其是雪景圖)的無人機航拍圖像庫供深度網(wǎng)絡(luò)進行訓練。

因此,在面向視覺定位的圖像匹配中,實時圖像和基準圖像獲取的傳感器不同、光照差異、季節(jié)變化會造成兩者提取到的特征存在差異,從而導(dǎo)致匹配錯誤[13]。例如冬季雪后地物被冰雪覆蓋,會造成無人機航拍圖像和春季衛(wèi)星圖像在同一場景的視覺特征上出現(xiàn)較大差異,導(dǎo)致兩者在匹配時得到錯誤的定位結(jié)果。由于圖像邊緣特征集中了圖像中信息的大部分結(jié)構(gòu)信息,也是地物被遮擋后較穩(wěn)定的特征,較圖像的特征點相比,對四季變化特征不一致性具有較強的魯棒性。同時由于模糊信息粒具有描述不精確、不確定事件與現(xiàn)象的能力,因此文中基于模糊信息粒來提取地物信息被遮擋情況下無人機航拍圖像的不清晰邊界,進而建立針對四季變化、光照差異條件下異源圖像匹配方法,最后將該方法應(yīng)用到無人機的視覺定位中。

1 算法

在無人機絕對視覺定位技術(shù)研究中,以參考數(shù)字衛(wèi)星地圖為基準圖像,無人機實時航拍圖像為待匹配的目標圖像。由于基準圖像幅面大,因此將定位問題轉(zhuǎn)化為無人機航拍圖像與參考區(qū)域內(nèi)所有瓦片圖像的匹配問題。通過解算目標圖像和瓦片圖像之間的匹配映射關(guān)系對無人機位置進行估計,得到定位信息。無人機絕對視覺定位示意圖如圖1所示。在無人機視覺定位中,高效的圖像匹配算法起著至關(guān)重要的作用。本節(jié)將提出一個基于模糊信息粒的異源圖像匹配算法。

圖1 無人機絕對視覺定位示意圖Fig.1 UAV absolute visual localization diagram

首先,根據(jù)衛(wèi)星圖像和無人機航拍圖像的分辨率確定無人機航拍圖像的尺度縮放系數(shù),進而對無人機航拍圖像進行尺度預(yù)處理;然后,基于模糊信息粒邊緣檢測算子,提取無人機航拍地物圖像與待匹配衛(wèi)星瓦片圖像的邊緣;最后,對提取的圖像邊緣進行二值化,遍歷衛(wèi)星瓦片,計算無人機二值圖像與衛(wèi)星瓦片二值圖像之間的相似性,并根據(jù)相似性結(jié)果尋找最大值,從而得到最終的匹配結(jié)果。

1.1 尺度預(yù)處理

在一些應(yīng)用中,來自衛(wèi)星和無人機的異源圖像之間的匹配是非常重要的。例如,無人機的視覺定位、戰(zhàn)場感知目標識別中異源圖像間的信息融合等。無人機影像和衛(wèi)星影像由于成像傳感器不同、高度變化等原因,分辨率存在較大差異。無人機影像的地面分辨率一般優(yōu)于衛(wèi)星影像,通?？梢赃_到亞米級別甚至更小[14],而衛(wèi)星影像的地面分辨率一般較低,通常在米級別或數(shù)米級別[15]。

現(xiàn)假設(shè)無人機飛行的地理參考區(qū)域的衛(wèi)星圖像為G(衛(wèi)星地圖的級別為l,地球赤道周長為d),在該區(qū)域上共有U幅瓦片地圖,即G={G1,G2, …,GU},其中Gu(u=1, 2, …,U)。令無人機航拍圖像為Iuav(即待匹配圖像),無人機的飛行高度為h,a為機載攝像機的像元尺寸,f為機載攝像機鏡頭的焦距,lat為地理參考區(qū)域衛(wèi)星圖像G的緯度信息。無人機航拍圖像的地面分辨率ruav[16]與衛(wèi)星瓦片圖像的地面分辨率rtile[17]的計算公式分別為:

(1)

(2)

則無人機航拍圖像的尺度縮放系數(shù)β為:

(3)

經(jīng)尺度縮放之后的無人機航拍圖像為:

(4)

1.2 基于模糊信息粒的邊緣檢測方法

在四季變化的異源圖像(無人機航拍圖像與衛(wèi)星圖像)匹配過程中,圖像在灰度特性和環(huán)境外觀等方面存在較大差異,導(dǎo)致異源圖像匹配困難。邊緣特征作為圖像的基本特征,集中了圖像信息的大部分結(jié)構(gòu)信息,在無人機航拍圖像和衛(wèi)星瓦片圖像之間具有較高的一致性。同時由于模糊信息粒具有描述不精確、不確定事件與現(xiàn)象的能力,因此文中基于模糊信息粒邊緣檢測方法實現(xiàn)異源圖像匹配,進而為無人機視覺定位提供技術(shù)儲備。

1.2.1 圖像的模糊信息粒表示

在圖像I的x和y維度上分別定義模糊集P={P1,P2, …,PM}和Q={Q1,Q2, …,QN},其中Pm(m=1, 2, …,M)和Qn(n=1, 2, …,N)可看作是由模糊集表示的信息粒,如圖2所示。

圖2 圖像的模糊信息粒示意圖Fig.2 Schematic diagram of fuzzy information granules for one image

Tmn(x,y)=(Pm×Qn)(x,y)=Pm(x)tQn(y)

(5)

(6)

(7)

(8)

1.2.2 模糊信息粒邊緣檢測算子

1) 生成FIG算子卷積核[19]。設(shè)信息粒Pm和Qn是高斯型隸屬度函數(shù),即:

Pm(x)=exp(-σ(x-2)2)

(9)

Qn(y)=exp(-σ(y-2)2)

(10)

1.3 匹配

(11)

2 實驗結(jié)果與分析

為評估文中方法的性能,本節(jié)將在夏季和冬季的無人機航拍圖像上實驗驗證,并將結(jié)果與其他圖像匹配算法進行對比分析,主要包括SIFT[22],SSD(sum of squared differences)[23],NCC[24],SAD(sum of absolute differences)[25],MatchNet[26]和2chDCNN(2 channel deep convolution neural network)[12]。

2.1 實驗數(shù)據(jù)

在冬季,尤其是地面被積雪覆蓋的情況下,衛(wèi)星影像包含的地面特征大量減少,圖像缺乏豐富紋理,故冬季衛(wèi)星圖一般不適宜作為無人機視覺定位的基準圖庫。而夏季衛(wèi)星圖地面信息特征明顯,更適合作為基準圖庫。因此文中選用夏季衛(wèi)星圖作為匹配的基準圖庫。

實驗所用的夏季無人機航拍圖像來自于西北工業(yè)大學的數(shù)據(jù)集,圖像分辨率為2 000×2 000,待匹配的衛(wèi)星圖像是在太樂地圖下載器下載的17級Google地圖,其中每幅瓦片圖像的分辨率為256×256。若選擇15級Google地圖,地面分辨率較大,無人機航拍圖像經(jīng)過尺度預(yù)處理后較小,因此選擇17級Google地圖。所用的冬季無人機航拍圖像是由大疆無人機在遼寧省沈陽市沈北地區(qū)上空拍攝得到的,飛行高度為200 m與300 m,圖像分辨率為4 000×3 000。待匹配的衛(wèi)星圖像是由太樂地圖下載器下載的15級Google地圖,其中每幅瓦片圖像的分辨率為256×256。夏季與冬季無人機航拍圖像如圖3、圖4所示。

圖3 夏季無人機航拍圖像Fig.3 Summer UAV aerial image

圖4 冬季無人機航拍圖像Fig.4 Winter UAV aerial image

2.2 匹配結(jié)果

在25對夏季圖像和10對冬季雪景圖像上對文中方法進行了驗證。其中每對圖像由無人機航拍圖像和相應(yīng)地面實況的春季Google衛(wèi)星瓦片組成。

由于FIG檢測算子受σ取值的影響,下面以航拍圖像為例,σ分別取0.01、0.02、0.04,得到不同的邊緣檢測算子,圖5給出了應(yīng)用三個不同F(xiàn)IG算子得到的邊緣檢測結(jié)果。

圖5 不同σ取值的邊緣檢測結(jié)果Fig.5 Edge detection results with different σ values

從邊緣檢測結(jié)果可以看出,如果σ數(shù)值太大,則提取的邊緣體現(xiàn)的是圖像的主干邊緣,邊緣點較少,雖然提高了匹配速度,但邊緣會出現(xiàn)斷線現(xiàn)象。如果σ數(shù)值太小,則圖像的邊緣細小,此時邊緣會有噪聲出現(xiàn),從而導(dǎo)致匹配難度的增加。因此綜合上述分析,文中飛行高度為200 m的無人機航拍圖像和衛(wèi)星瓦片圖像選取的σ分別為0.22與0.11,飛行高度為300 m的無人機航拍圖像和衛(wèi)星瓦片的σ分別為0.08與0.04。

為了進一步驗證文中匹配方法的有效性,使用交并比RIoU作為客觀評價指標,對匹配結(jié)果進行評價。RIoU評價圖像匹配結(jié)果時主要指模板圖像的地面真實位置和預(yù)測位置之間的重疊率,即兩個矩形框的交集和并集的比值[27-28]:

(12)

式中:Be表示預(yù)測的矩形框面積;Bt表示地面真實的矩形框面積。

RIoU值越大,表明真實值與測試值越接近,從而得到的圖像匹配效果也更好。圖6、圖7給出了文中方法與其他六種方法的圖像匹配示例圖。從左到右依次為UAV image,SIFT,SSD,NCC,SAD,2chDCNN,MatchNet和文中方法。紅色矩形為每個方法的預(yù)測位置,藍色矩形為地面真實位置。從矩形框可以看出,文中方法的匹配結(jié)果與地面真實位置最接近,明顯要優(yōu)于其他方法。

圖6 冬季無人機航拍圖像匹配結(jié)果Fig.6 The matching results of UAV aerial images in winter

圖7 夏季無人機航拍圖像匹配結(jié)果Fig.7 The matching results of UAV aerial images in summer

此外,文中利用接收者操作特性曲線(ROC曲線)來進一步評價匹配結(jié)果的好壞[30]。ROC曲線給出了圖像重疊率大于重疊閾值所占比例,其中橫軸為重疊閾值,縱軸為成功率。重疊閾值越大,成功匹配的標準就越嚴格,即匹配成功率隨著重疊閾值的增加而降低。

文中提出的方法在冬季與夏季數(shù)據(jù)集上與其他六種方法的ROC曲線如圖8、圖9所示。

圖8 冬季圖像上各種方法的ROC曲線Fig.8 ROC curves of various methods on the winter UAV aerial image

圖9 夏季圖像上各種方法的ROC曲線Fig.9 ROC curves of various methods on the summer UAV aerial images

曲線下方的面積SAUC量化了整體的準確性,較大的SAUC代表了較好的性能。不同匹配算法的SAUC指標結(jié)果如表1所示?？梢园l(fā)現(xiàn),文中方法在夏季和冬季數(shù)據(jù)集上的SAUC得分均高于其他匹配方法。雖然夏季圖像中不存在積雪遮擋,但無人機航拍圖像和衛(wèi)星圖像通常是在不同時間、不同傳感器、不同觀測點/角度以及不同氣象條件下獲得的,導(dǎo)致兩幅圖像同一場景視覺特征上存在較大的差異,給圖像匹配帶來了影響。文中利用模糊信息粒描述不精確、不確定事件與現(xiàn)象的能力來提取地面圖像特征,并將相似但不完全一致的特征進行匹配,克服了差異性對匹配的影響,提高了圖像匹配的準確性。同時,模糊信息粒能夠通過簡單的計算實現(xiàn)圖像特征提取,具有高效性。此外,所有方法在夏季數(shù)據(jù)集上的表現(xiàn)都優(yōu)于冬季數(shù)據(jù)集,這說明了積雪對無人機航拍圖像匹配的影響較大。文中方法在夏季數(shù)據(jù)集上的SAUC結(jié)果比冬季數(shù)據(jù)集的SAUC結(jié)果高,這是由于夏季相對于冬季圖像,能夠更加清晰地顯示出圖像的細節(jié)和特征,這對于圖像匹配的準確性有一定的促進作用。

表1 不同方法的實驗結(jié)果對比Tab.1 Comparison of experimental results of different methods

2.3 在無人機絕對視覺定位上的應(yīng)用

為了驗證文中所提出的圖像匹配方法的有效性,將該方法應(yīng)用在無人機絕對視覺定位上[29-30]。該實驗將無人機航拍圖像作為輸入圖像,將其與預(yù)存參考區(qū)域的Google衛(wèi)星地圖進行匹配。文中選用的參考區(qū)域地圖是使用Arc Tiler下載器從Google地圖中下載的,由50幅分辨率為256×256的瓦片圖像組成,如圖10所示。其中每幅瓦片都帶有瓦片坐標。此時定位問題可轉(zhuǎn)化為無人機航拍圖像與參考區(qū)域內(nèi)瓦片圖像的匹配問題。

圖10 衛(wèi)星瓦片圖像Fig.10 Satellite tile images

在匹配過程中,式(11)用來計算和評價無人機航拍圖像Iuav與參考區(qū)域內(nèi)瓦片圖像的匹配結(jié)果。最終與輸入圖像匹配度最高的瓦片坐標記為(xtile,ytile)。

然后,根據(jù)瓦片坐標與經(jīng)緯度坐標轉(zhuǎn)換式[31](13)、式(14)將瓦片坐標轉(zhuǎn)換為無人機的經(jīng)緯度位置信息(°),從而得到無人機的定位結(jié)果。

(13)

(14)

無人機絕對視覺定位軟件界面以Visual C++為開發(fā)平臺,使用MFC庫設(shè)計并實現(xiàn)了界面顯示。

該軟件界面由4部分組成。第一部分由3個路徑設(shè)置控件組成,用于設(shè)置無人機圖像、衛(wèi)星圖像和瓦片地圖的存儲路徑。第二部分由3個圖像顯示控件組成,用于顯示無人機測試圖像,與當前位置無人機圖像匹配度最高的瓦片圖像,以及無人機的定位結(jié)果(定位結(jié)果指當前無人機在參考區(qū)域衛(wèi)星圖像上的位置)。第三部分由兩個文字顯示控件組成,用于顯示無人機當前位置的經(jīng)緯度計算結(jié)果。最后一部分由1個進度條控件和1個按鈕控件組成,用于實時顯示無人機定位任務(wù)完成的進度和控制無人機定位軟件的啟動和停止。

圖11給出了可視化界面結(jié)果,無人機當前的定位結(jié)果被紅色正方形框選在參考區(qū)域衛(wèi)星圖像上。同時,界面的右下角給出了當前無人機的經(jīng)緯度坐標。

圖11 無人機絕對視覺定位結(jié)果Fig.11 The result of UAV absolute visual localization

在圖12所示的航拍圖像上,將文中方法獲得的無人機位置信息與無人機實時的GPS位置信息進行對比,進而驗證方法的有效性。表2給出了文中方法獲得的無人機位置信息、無人機實時的GPS信息以及誤差。從結(jié)果可以看出應(yīng)用文中匹配方法獲得的無人機定位結(jié)果誤差較小,范圍在0.02%～0.88%之間。因此,文中的匹配方法能夠?qū)崿F(xiàn)對無人機準確、穩(wěn)定的定位。

表2 無人機航拍圖像的定位結(jié)果對比Tab.2 Comparison of localization results of UAV aerial images (°)

圖12 無人機航拍圖像Fig.12 UAV aerial image

綜上所述,文中提出的基于模糊信息粒的圖像匹配方法適用于不同季節(jié)的無人機航拍地物場景。該研究可以拓展當前無人機視覺定位研究工作,為多季節(jié)下無人機視覺引導(dǎo)下的準確定位與導(dǎo)航提供一定的技術(shù)支撐。

3 結(jié)論

文中基于模糊信息粒提出了一種不同季節(jié)下無人機航拍圖像與衛(wèi)星圖像匹配方法,該方法能夠提取到地物信息被遮擋情況下無人機航拍圖像的不清晰邊界,有效解決了四季變化、光照差異條件下異源圖像匹配困難的問題。文中將該方法與SIFT,SSD,NCC,SAD,2chDCNN和MatchNet匹配算法進行了比較,并在ROC曲線和SAUC值上進行了仿真和分析。同時,文中還將所提出的匹配方法應(yīng)用在無人機絕對視覺定位上,并將定位結(jié)果與無人機實時的GPS位置信息進行對比,驗證了文中方法的定位準確性。實驗結(jié)果表明文中方法具有較高的匹配精度,具備一定的工程應(yīng)用價值。