李亞東 曹明蘭 李長青 馮仲科

(1.北京林業(yè)大學(xué)精準(zhǔn)林業(yè)北京市重點(diǎn)實驗室 北京 100083；2.北京工業(yè)職業(yè)技術(shù)學(xué)院 北京 100042)

近年來，隨著無人機(jī)航攝技術(shù)在森林計測領(lǐng)域的廣泛應(yīng)用，無人機(jī)森林航攝影像處理成為了新的研究熱點(diǎn)。影像匹配是無人機(jī)影像處理的基礎(chǔ)，目前國內(nèi)外普遍采用基于特征的影像匹配算法，該算法的速度主要取決于特征檢測、描述、搜索配對算法和匹配策略(孔華生等，2006；Elalametal.，2014)。由于改進(jìn)算法的可優(yōu)化空間小，且通用性差，因此很多學(xué)者從匹配策略角度研究如何提高影像匹配效率(紀(jì)松，2012)。Feng等(2014)提出一種基于Mexican-hat函數(shù)的影像特征檢測與匹配算法策略，提高了匹配精度，減少了計算量。陳小衛(wèi)等(2017)提出一種從影像中提取較穩(wěn)定的閉合線、交點(diǎn)和角點(diǎn)等特征作為共軛實體進(jìn)行粗匹配，再根據(jù)面積、角度等幾何信息以及模型參數(shù)分布特點(diǎn)逐步剔除誤匹配，精匹配時采用多層次二維迭代最鄰近點(diǎn)(ICP)法對粗匹配得到的邊緣點(diǎn)按采樣率由低到高進(jìn)行匹配的分級匹配策略，在遙感影像匹配中得到了較好效果。李艷荻等(2017)提出一種在匹配過程中分析高維特征空間采樣點(diǎn)分布特點(diǎn)，采用自適應(yīng)分塊思想對金字塔匹配核函數(shù)的收斂策略進(jìn)行改進(jìn)，最后使用K均值聚類進(jìn)行識別的匹配策略，減少了特征匹配過程的運(yùn)算量，提高了三維重建的穩(wěn)定性。Cheng等(2019)提出一種基于二進(jìn)制流特征描述子的增強(qiáng)影像匹配策略，提高了特征匹配效率；但該算法適合在嵌入式設(shè)備上匹配特征較簡單的影像，不適合森林航攝影像等具有復(fù)雜特征的影像。吳越等(2019)對影像進(jìn)行下采樣，先對低分辨率影像進(jìn)行匹配，快速篩選掉匹配失敗的特征點(diǎn)，然后對匹配成功的特征點(diǎn)回溯到原始影像上進(jìn)行匹配，以達(dá)到加速目的。影像匹配策略包括基元匹配策略、減少冗余匹配策略和分層匹配策略3種(張小宇，2019)，其中分層匹配策略不僅可提高影像匹配速度，而且更容易搭配不同特征算法，是目前常用的匹配策略(以下簡稱普通策略)，但該普通策略在處理低空無人機(jī)森林航攝影像時存在幾方面不足：1) 低空無人機(jī)森林航攝影像像幅大，普通策略對原始影像進(jìn)行下采樣時需要分層層數(shù)過多，嚴(yán)重影響匹配速度；2) 低空無人機(jī)森林航攝影像主體內(nèi)容林冠紋理細(xì)節(jié)多，普通策略下采樣算法只保留邊緣信息，會丟失大量紋理細(xì)節(jié)信息，嚴(yán)重影響匹配精度；3) 森林冠層的光照條件復(fù)雜、枝葉繁茂、紋理重復(fù)率高，普通策略對整幅影像下采樣分層方法沒有約束特征點(diǎn)位置關(guān)系的機(jī)制，不僅造成大量冗余匹配，還會增大錯誤匹配概率；4) 森林冠層受風(fēng)和氣流影響，像對之間存在大量非剛體性變化，普通策略利用下采樣方法進(jìn)行初始匹配的結(jié)果可靠性低。

鑒于此，本研究從低空森林航攝影像特點(diǎn)出發(fā)提出一種基于POS(position and orientation system)約束的無人機(jī)森林航攝影像分區(qū)匹配策略，以提高匹配點(diǎn)的位置質(zhì)量和匹配速度、減少冗余匹配并降低錯誤匹配率。

1 原理與方法

1.1 技術(shù)路線

定位定向系統(tǒng)(POS)是可直接獲取相機(jī)曝光時刻攝影中心空間位置和姿態(tài)信息的系統(tǒng)單元。無人機(jī)POS數(shù)據(jù)由GPS數(shù)據(jù)和IMU數(shù)據(jù)2部分組成，經(jīng)嚴(yán)格標(biāo)定后POS提供的數(shù)據(jù)，通過坐標(biāo)轉(zhuǎn)換可獲取航攝影像的外方位元素(袁修孝等，2006；劉軍等，2004)。

本研究討論如何利用標(biāo)定后POS提供的姿態(tài)和坐標(biāo)數(shù)據(jù)構(gòu)建像對間的單應(yīng)矩陣，再基于單應(yīng)矩陣的約束關(guān)系，在像對左右2幅影像上按一定面積比例和位置分布劃分出若干子區(qū)域，在特征提取和配對過程中將子區(qū)域視為獨(dú)立圖像，實現(xiàn)在原始影像級別上的分區(qū)匹配。技術(shù)路線如圖1。

圖1 技術(shù)路線Fig.1 Flowchart of research

1.2 POS數(shù)據(jù)轉(zhuǎn)換

無人機(jī)POS數(shù)據(jù)中的GPS數(shù)據(jù)是以WGS-84參考橢球為基準(zhǔn)的地理坐標(biāo)經(jīng)緯度和高程，需要轉(zhuǎn)換成以地心為原點(diǎn)的右手空間直角坐標(biāo)(xS,yS,zS)，轉(zhuǎn)換公式如下：

(1)

POS數(shù)據(jù)中IMU加速度傳感器所提供的IMUZ坐標(biāo)系3個角元素數(shù)據(jù)Heading (Ψ)、Pitch (Θ)、Roll (Φ)需要轉(zhuǎn)成攝影測量中使用的外方位元素ω、φ、κ，轉(zhuǎn)換公式如下：

(2)

1.3 單應(yīng)矩陣計算

假設(shè)π為測區(qū)平面，相鄰2幅影像分別為I1和I2，令2幅影像的重疊區(qū)域U=(u,v,l)T∈I1，U′=(u′,v′,l)T∈I2，則有矩陣H使得U′=wHU成立，其w為非零常數(shù)，稱H為像對(I1,I2)關(guān)于π的單應(yīng)矩陣。根據(jù)計算機(jī)視覺原理，測區(qū)平面上任意點(diǎn)x在世界坐標(biāo)系中的坐標(biāo)為[xw，yw，zw]T，在相機(jī)坐標(biāo)系中的坐標(biāo)為[xc,yc,zc]T，在影像坐標(biāo)系中的坐標(biāo)為[u，v，l]T，那么從世界坐標(biāo)系轉(zhuǎn)換到影像坐標(biāo)系的過程可通過相機(jī)內(nèi)參矩陣K、旋轉(zhuǎn)矩陣R和三維平移向量t來描述:

(3)

2幅影像的重疊區(qū)域U、U′可寫成下列形式:

(4)

(5)

(6)

(7)

(8)

根據(jù)H矩陣的定義U′=wHU，w為尺度因子，是非零常數(shù)；本研究無人機(jī)飛行2次攝影間隔很短，2次攝影航高zc1、zc2均不為零，且約相等。因此令w=zc1/zc2≈1,可得：

(9)

式中：旋轉(zhuǎn)矩陣R1、R2可通過2次攝影中心的POS數(shù)據(jù)角元素經(jīng)式(3)轉(zhuǎn)換得到；平移向量t1、t2可利用POS數(shù)據(jù)線元素經(jīng)式(4)轉(zhuǎn)換得到；將t1、t2和R1、R2代入式(9)可計算出單應(yīng)矩陣H。

1.4 子區(qū)域劃分

朱進(jìn)等(2016)研究發(fā)現(xiàn),無論測區(qū)面積大小，四周均勻布設(shè)控制點(diǎn)有利于保證區(qū)域內(nèi)部精度。本研究在相鄰2幅影像的重疊區(qū)域內(nèi)劃分子區(qū)域時，參考攝影測量航帶法四周均勻分布并顧及中間的原則，首先在左片四周和中心地帶按像對重復(fù)區(qū)域30%面積比例劃分5個子區(qū)域，然后利用式(10)在右片上推算出與左片對應(yīng)的5個子區(qū)域，如圖2所示。

圖2 子區(qū)域劃分示意Fig.2 Schematic diagram of dividing sub-areas

2 試驗結(jié)果與分析

2.1 試驗結(jié)果

為了充分考察對闊葉林和針葉林低空無人機(jī)航攝影像的匹配效果，本研究試驗樣地選擇湖南省某縣闊葉灌木林和內(nèi)蒙古大興安嶺阿爾山林業(yè)局伊爾施林場某二類小班落葉松(Larixspp.)針葉林。飛行設(shè)備采用固定翼無人機(jī)測圖鷹X100，機(jī)載IMU精度參數(shù)為橫滾角小于±3°、俯仰角小于±3°、航向角小于±3°，搭載標(biāo)定過的SONY ILCE-7R光學(xué)數(shù)碼相機(jī)，鏡頭焦距35 mm。設(shè)計航高160 m、航向重疊率80%、旁向重疊率60%，影像大小7 360×4 912像素。2次飛行采用的設(shè)備和飛行參數(shù)相同，飛行當(dāng)天天氣晴朗，風(fēng)力小于2級。2018年7月進(jìn)行闊葉林無人機(jī)航拍，飛行6個架次，共獲取943幅影像；2019年8月進(jìn)行針葉林無人機(jī)航拍，飛行9個架次，共獲取1 376幅影像。

數(shù)據(jù)處理使用同一臺I7-6700HQ處理器、8 G內(nèi)存的ALIENWARE工作站，Windows10 64位操作系統(tǒng)上運(yùn)行Python 3.7和OpenCV 3.4.2.16搭配的程序開發(fā)環(huán)境。首先對POS數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理，然后用轉(zhuǎn)換POS數(shù)據(jù)構(gòu)造像對間H矩陣。運(yùn)用Python+OpenCV編寫的程序以像對為單位在左片上劃分出30%原始影像長寬的A、B、C、D、E子區(qū)域，再根據(jù)H矩陣采用OpenCV的WarpPerspective函數(shù)在右片上映射出相對應(yīng)的A′、B′、C′、D′、E′子區(qū)域。

選擇常用的ORB、FAST、SURF、SIFT、KAZE、AKAZE共6種特征算子及其默認(rèn)描述子(Tareenetal.,2018)搭配本研究提出的分區(qū)策略與普通分級下的采樣匹配策略進(jìn)行對比試驗。特征搜索采用K-D樹搜索算法，優(yōu)化匹配采用RANSAC算法，相同算子設(shè)置相同參數(shù)，未使用多線程和GPU加速。普通策略匹配參考吳越等(2019)，即先對原始影像進(jìn)行下采樣，然后只對低分辨率上成功匹配的特征點(diǎn)進(jìn)行更高一層分辨率上匹配的策略。一幅分辨率為M×N的影像I進(jìn)行n倍下采樣，如下：

(10)

式中pk為將原始影像I的第k個區(qū)域合成的第k個像素點(diǎn)；Ii為原始影像中的第i個像素，其中i屬于第k個區(qū)域。

本研究的像幅分辨率為7 360×4 912，最大下采樣倍數(shù)n取值16。

根據(jù)平差理論可知，每個子區(qū)域具有4個以上匹配特征點(diǎn)才能平差獲得穩(wěn)定的約束關(guān)系，因此，出現(xiàn)少于4個匹配特征點(diǎn)的子區(qū)域越少，說明匹配特征點(diǎn)的位置分布質(zhì)量越好。本研究利用ArcPy的空間查詢接口SelectLayerByLocation_management得到每個子區(qū)域內(nèi)成功匹配的特征點(diǎn)數(shù)量。不同特征算子搭配普通策略和本研究分區(qū)策略的匹配結(jié)果對比如表1所示。

表1 不同特征算子搭配普通策略和本研究分區(qū)策略的匹配結(jié)果對比①Tab.1 Matching result comparison of different features of operators in collaboration with common strategy and partition matching strategy of this study

不同特征算子、不同樹種、不同匹配策略下，匹配速度、匹配率和特征點(diǎn)分布情況如圖3所示。

為了直觀反映本研究分區(qū)匹配策略相比普通策略的改善情況，各項指標(biāo)提升率統(tǒng)計如表2所示。

表2 本研究策略相比普通策略各項指標(biāo)提升率統(tǒng)計①Tab.2 Statistics of indexes increase rate of partition matching strategy of this study comparing to the common strategy

2.2 結(jié)果分析

由圖3a可知，本研究策略相比普通策略，6種特征算子的特征點(diǎn)匹配速度均有所提升，這是因為子區(qū)域間匹配直接在原始影像上提取有效的子區(qū)域，可減小匹配范圍，提高匹配速度。由圖3b可知，在2種策略下，F(xiàn)AST算子提取到的特征點(diǎn)數(shù)量最多，但是匹配率很低，可見考察特征算子好壞不能只看特征點(diǎn)提取數(shù)量，提取到的特征點(diǎn)數(shù)多不代表成功匹配數(shù)就多。由圖3b、d可知，與普通策略相比，使用本研究策略所有特征算子提取到的特征點(diǎn)數(shù)量都減少的同時，匹配率均明顯提高，這是因為子區(qū)域間匹配可減小匹配范圍，從而降低特征點(diǎn)數(shù)量，有效提高匹配率。由圖3c可知，與普通策略相比，使用本研究策略在左右影像對應(yīng)子區(qū)域間建立基于POS數(shù)據(jù)的單應(yīng)約束方式可降低錯誤匹配概率，有效提升特征點(diǎn)的位置分布質(zhì)量。

圖3 試驗結(jié)果對比分析Fig.3 Comparative analysis diagram of experimental results匹配速度是對每像對平均耗時的倒數(shù)進(jìn)行歸一化后的結(jié)果；匹配率是每像對平均匹配成功數(shù)與平均特征提取數(shù)的比值；少于4個匹配特征點(diǎn)子區(qū)域頻數(shù)=SUM(少于4個匹配特征點(diǎn)子區(qū)域頻數(shù))/(像對數(shù)×5)。The matching speed is the normailized result of the reciprocal of the average time of each pair of images.The matching rate is the ratio of the average successful matching number of each image pair to the average feature extraction number.Sub area frequency numbers of the matching points of less then 4=SUM(frequency of subregions with less than 4 matching points)/(logarithm of the image multiplied by 5).

為了更直觀反映像對的匹配點(diǎn)位置分布質(zhì)量，抽取影像中具有森林、道路、建筑物、水域等地物類型較全、匹配難度較大的一個像對進(jìn)行討論，該像對子區(qū)域劃分情況如圖4所示。

圖4 子區(qū)域劃分與預(yù)測結(jié)果Fig.4 Sub area division and predicating results

對該像對采用SURF、SIFT、AKAZE 3種特征算子進(jìn)行特征提取與匹配對比統(tǒng)計，并對特征點(diǎn)進(jìn)行空間分析，特征點(diǎn)分布于A、B、C、D、E不同子區(qū)域統(tǒng)計結(jié)果如圖5所示。

圖5 試驗結(jié)果對比分析Fig.5 Comparative analysis diagram of experimental results

由圖5可知，普通策略的特征點(diǎn)分布不均勻，3種特征算子在A子區(qū)域提取到的結(jié)果均為0，主要原因是A子區(qū)域90%為水域，所有特征算子在水面上提取到的特征點(diǎn)均較少。E和C子區(qū)域成功匹配的特征點(diǎn)較多，是因為這2個子區(qū)域內(nèi)有建筑和道路，普通策略的全影像下采樣方式導(dǎo)致細(xì)節(jié)丟失，只保留了輪廓信息。使用本研究策略的實線走勢明顯比普通策略的虛線飽滿、均勻，尤其將原來A子區(qū)域的0個特征點(diǎn)提高到了4個以上。這是因為本研究采用原始分辨率級別上的子區(qū)域間匹配方式，在保留影像細(xì)節(jié)的同時限制了匹配范圍，雖然特征點(diǎn)數(shù)量有所降低，但分布質(zhì)量明顯提高，起到了強(qiáng)制從某個子區(qū)域提取特征點(diǎn)的作用。

圖6、7分別是闊葉林和針葉林同一像對采用綜合表現(xiàn)較優(yōu)的AKAZE算子搭配普通策略和本研究策略的特征匹配結(jié)果對比?？梢钥闯觯瑹o論是闊葉林還是針葉林像對，普通策略均存在較高的錯誤匹配，而搭配本研究策略的錯誤匹配率則較低。這是因為本研究策略的子區(qū)域間匹配方式，杜絕了跨子區(qū)域間的錯誤匹配，從而降低了錯誤匹配率。另外，針葉林影像比闊葉林影像的錯誤匹配率低、特征點(diǎn)分布更均勻，是由于針葉林的冠形紋理更清晰，在同名點(diǎn)間的變換關(guān)系更具剛體性。本研究子區(qū)域大小確定是根據(jù)經(jīng)驗選擇像對重疊區(qū)寬和高的30%尺寸，在實際應(yīng)用中可依據(jù)實際情況進(jìn)行調(diào)整，具體原則為：與像對重疊區(qū)尺寸呈正比，與無人機(jī)搭載的IMU誤差呈反比，確保像對的5個子區(qū)域都有4對以上成功匹配點(diǎn)。

圖6 闊葉林影像的AKAZE算子特征點(diǎn)匹配結(jié)果Fig.6 Matching results of feature points of AKAZE operator of broad-leaved forest imagesa.普通策略Common strategy；b.本研究策略Partition matching strategy of this study.下同The same below.

3 結(jié)論

1) 低空無人機(jī)森林航攝影像主體內(nèi)容是森林冠層，與建筑物和道路等固定地物不同，冠層在2次攝影瞬間會受風(fēng)和氣流影響，局部微小擺動都將導(dǎo)致像對同名點(diǎn)存在非剛體性變化。因此，低空無人機(jī)森林航攝影像不能簡單套用普通測繪影像的匹配策略，采用原始分辨率影像分區(qū)匹配策略，在保留影像細(xì)節(jié)的同時可縮小匹配范圍，提高匹配速度，是一種適于低空森林航攝影像特征匹配的匹配策略。

2) 本研究利用低空無人機(jī)POS數(shù)據(jù)，在無人機(jī)森林航攝影像左右對應(yīng)子區(qū)域間建立單應(yīng)約束關(guān)系，能夠改善匹配特征點(diǎn)的位置分布質(zhì)量、降低錯誤匹配率。與以往只考慮特征高維向量的最短歐氏距離方法不同，本研究策略充分考慮特征點(diǎn)位置分布質(zhì)量，并嘗試將GIS空間分析算法引入特征匹配過程，探索基于空間分析的特征點(diǎn)位置分布質(zhì)量的刻畫與評價方法，可為后續(xù)改進(jìn)特征匹配算法提供新思路。

3) 本研究策略可隨意搭配不同特征算子，搭配ORB、FAST、SURF、SIFT、KAZE、AKAZE特征算子處理低空無人機(jī)森林航攝影像結(jié)果表明，AKAZE算子效果最佳，可為進(jìn)一步針對森林航攝影像紋理特點(diǎn)改進(jìn)特征算子以及研發(fā)專門針對森林航攝影像的特征算子提供參考。