王亞洲, 趙德群, 張楠西, 石 珺, 鄧錢華

(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

UAV (Unmanned Aerial Vehicle,無人機(jī))具有運(yùn)行簡單、反應(yīng)迅速、飛行靈活、成本低等特點(diǎn),已被廣泛應(yīng)用于抗災(zāi)救災(zāi)、軍事偵察、海上檢測、環(huán)境保護(hù)和土地動(dòng)態(tài)監(jiān)測等區(qū)域[1]. 而由于無人機(jī)航拍序列圖片拍攝的視角有限,受到無人機(jī)飛行的高度及相機(jī)的參數(shù)的限制. 為了對(duì)拍攝的區(qū)域進(jìn)行全局的把握與分析,得到更多的目標(biāo)區(qū)域信息,圖像的快速拼接顯得十分迫切與需要.

目前無人機(jī)的航拍影像拼接方法主要有兩種： 一種是基于圖像特征的拼接方法,另一種是基于POS信息的拼接方法.

基于特征的圖像拼接主要包括兩個(gè)主要的步驟,分別為圖像配準(zhǔn)和圖像融合. 其中圖像配準(zhǔn)為核心步驟. 在基于特征檢測的圖像配準(zhǔn)算法中,1988年CHris Harris提出了Harris角點(diǎn)檢測算子,該算法對(duì)角點(diǎn)響應(yīng)函數(shù)R進(jìn)行閾值處理并且提取R的局部最大值來進(jìn)行角點(diǎn)的提取,缺點(diǎn)是該算法不具有尺度不變性并且特征檢測時(shí)間不是很令人滿意. SIFT特征匹配算法(Scale Invariant Feature Transform)[2]是一種經(jīng)典的算法,它通過在空間尺度中尋找極值點(diǎn),并提取出其位置、尺度、旋轉(zhuǎn)不變量,并且提出來的特征比較穩(wěn)定,但是缺點(diǎn)為提取出的特征點(diǎn)數(shù)量較多,計(jì)算量大,耗時(shí)長. Bay[3]于2006年提出了SURF算法,意為加速魯棒性特征,是對(duì)SIFT算法進(jìn)行的一種改進(jìn),SURF算法利用Hessian矩陣確定候選點(diǎn)然后進(jìn)行非極大抑制,降低了計(jì)算復(fù)雜度,一般來說,標(biāo)準(zhǔn)的SURF算子比SIFT算子快好幾倍,并且在多副圖片下具有更好的魯棒性.

基于POS的信息拼接方法主要是利用航拍影像的地理坐標(biāo)關(guān)系來進(jìn)行配準(zhǔn),文獻(xiàn)[4-7]就是利用特征點(diǎn)檢測算法和POS信息結(jié)合的方法來進(jìn)行拼接,解決了水域拼接問題,但是拼接速度上并沒有得到有效提高,大部分都不能達(dá)到實(shí)時(shí)拼接. 文獻(xiàn)[8-12]都是基于視頻拼接,提高了拼接的速度,但是融合效果并不是十分理想,文獻(xiàn)[13]對(duì)視頻進(jìn)行感興趣區(qū)域提取,裁剪了非重疊區(qū)域,提高了檢測的速度,但是視頻并非無人機(jī)航拍視頻,并且重疊區(qū)域的計(jì)算方法并未給出,文獻(xiàn)[14]利用FAST快速的提取到了圖像的灰度特征,速度上基本滿足實(shí)時(shí)的要求,但是也并未給出最后的融合效果,文獻(xiàn)[15]在特征定位時(shí)采用SURF,在特征描述上采用局部差分二進(jìn)制算法,提高了特征的提取速度和匹配速度,在特征的穩(wěn)定性和去分析上也有所提高.

本文提出的方法將特征提取算法與影像的地理坐標(biāo)相結(jié)合,在拼接效率及視覺效果上比傳統(tǒng)的特征提取拼接算法均有較大的提高,且拼接后的影像有地理信息,具有一定的實(shí)用價(jià)值.

1 設(shè)計(jì)方案概述

本文提出了一種基于POS系統(tǒng)拼接圖像的方法,首先對(duì)圖像進(jìn)行幾何校正,然后計(jì)算出影像四角點(diǎn)的地理坐標(biāo),以第一張影像地理坐標(biāo)為基礎(chǔ),通過提取相鄰影像重疊區(qū)域的SURF特征去得到相同匹配目標(biāo)點(diǎn)的位置關(guān)系,從而修正后面影像的地理坐標(biāo),最后采用自適應(yīng)漸入漸出的融合算法,得到了一副視覺效果良好的全景圖像,完成圖像的良好拼接. 設(shè)計(jì)方案流程圖如圖1所示.

2 航拍圖像的預(yù)處理

無人機(jī)在執(zhí)行航拍任務(wù)中,由于受到飛行器的姿態(tài)、高度、速度以及地球自轉(zhuǎn)等因素的影響,造成圖像相對(duì)于地面目標(biāo)實(shí)際位置發(fā)生擠壓、扭曲、拉伸和偏移等,因此需要對(duì)航拍的圖像進(jìn)行幾何矯正,以得到基于同一基準(zhǔn)投影面的遙感圖像.

圖1 本文設(shè)計(jì)方案

2.1 幾何矯正

幾何矯正處理過程主要包括坐標(biāo)系統(tǒng)變換,構(gòu)建共線方程,圖像重采樣等過程.

在幾何矯正的過程中,需要依次建立的坐標(biāo)系為：地球坐標(biāo)系,地理坐標(biāo)系,機(jī)體坐標(biāo)系,光電平臺(tái)坐標(biāo)系,相機(jī)坐標(biāo)系. 傳統(tǒng)校正的具體步驟如下： 設(shè)光電平臺(tái)坐標(biāo)系到數(shù)碼相機(jī)坐標(biāo)系的變換矩陣為R1,由機(jī)體坐標(biāo)系到光電平臺(tái)坐標(biāo)系的變換矩陣為R2,由地理坐標(biāo)系到機(jī)體坐標(biāo)系的變換矩陣為R3,由大地坐標(biāo)系到空間直角坐標(biāo)系的變換矩陣為R4,則有：

因此從相機(jī)坐標(biāo)系到大地坐標(biāo)系之間的轉(zhuǎn)換可以用如下關(guān)系表示：

常規(guī)幾何矯正由式(2)逐像素點(diǎn)進(jìn)行計(jì)算和采樣.考慮到本課題主要對(duì)單一航帶進(jìn)行拼接,且無人機(jī)平臺(tái)橫滾角和俯仰角比較小時(shí)(近似垂直向下拍攝時(shí))可以認(rèn)為圖像分辨率率是一致的,因此為了減少運(yùn)算量,提高速度,幾何矯正只對(duì)水平方向上的飛機(jī)航向角和平臺(tái)方位角進(jìn)行校正. 矯正模型如下所示：

其中χ為方位角,θ為航向角,為變換矩陣,完成模型轉(zhuǎn)換后再通過雙線性差值重采樣方法計(jì)算出像元在新的坐標(biāo)系下的灰度值,從而生成新的圖像矩陣,完成幾何矯正.

2.2 重疊區(qū)域計(jì)算

無人機(jī)的航行速度,航行高度,當(dāng)前曝光點(diǎn)的飛機(jī)經(jīng)緯度信息,都可以通過無人機(jī)攜帶的POS系統(tǒng)(圖2)獲取到. 這些信息記錄了飛機(jī)飛行時(shí)在每個(gè)曝光時(shí)刻飛行時(shí)的姿態(tài),可根據(jù)此來計(jì)算相鄰影像的重疊區(qū)域,具體步驟如下.

圖2 POS信息

1) 假設(shè)無人機(jī)航線為偏離正北θ,其航速為V,將速度分解為正北方向上和正東方向上兩個(gè)方向上的分量. 分別表示為V1和V2,如圖3所示.

2) 連續(xù)拍攝相鄰兩張曝光點(diǎn)的影像分別編號(hào)為Pic1和Pic2,間隔為t,中心點(diǎn)經(jīng)緯度為LatA、LonA、LatB、LonB,則有：

圖3 速度分解

其中R=6371.004千米,π取3.1415926.

3) 此時(shí)以Pic1作為基準(zhǔn),Pic2與Pic1之間的重疊區(qū)域可表示為如圖4所示的矩形區(qū)域S,將其重疊區(qū)域擴(kuò)大定義到規(guī)則區(qū)域,將重疊區(qū)域頂點(diǎn)投影到x和y方向上則表示為：通過計(jì)算重疊區(qū)域減少了拼接的計(jì)算量,并且隨著特征點(diǎn)的尋找面積越小,可能出現(xiàn)的誤匹配概率就越小,提高了檢測的效率.

圖4 重疊區(qū)域計(jì)算

3 基于POS參數(shù)的拼接方法

3.1 計(jì)算影像地理坐標(biāo)

對(duì)于幾何糾正過的航拍影像,影像的每點(diǎn)像素坐標(biāo)都有對(duì)應(yīng)的地理坐標(biāo),影像的地理坐標(biāo)的計(jì)算過程可以分為以下幾步.

1) 計(jì)算地面分辨率,計(jì)算公式如下：

其中GSD表示地面分辨率(m),f為鏡頭焦距(mm),P為成像傳感器的像元尺寸(mm),H為無人機(jī)對(duì)應(yīng)的航高(m).

2) 計(jì)算影像對(duì)角線實(shí)際地面距離,根據(jù)影像的寬度w和高度h得到圖像對(duì)角線線之間的地面距離：

3) 計(jì)算影像四角點(diǎn)地理坐標(biāo),根據(jù)影像中心點(diǎn)經(jīng)緯度及另一點(diǎn)相對(duì)中心點(diǎn)的距離及方向角,可以求得以影像中點(diǎn)為圓心,半徑為L/2的對(duì)應(yīng)四角點(diǎn)地理坐標(biāo). 具體計(jì)算公式為：

4) 地理坐標(biāo)轉(zhuǎn)換到空間之間坐標(biāo)系之間的轉(zhuǎn)換,轉(zhuǎn)換公式如下：

其中N為曲率半徑,Lon、Lat、H分別為經(jīng)度、緯度和高程,至此,得到完整的影像坐標(biāo).

3.2 利用特征匹配修正地理坐標(biāo)

由于POS精度低以及幾何校正中存在一定的誤差,計(jì)算出的坐標(biāo)映射關(guān)系有一定的誤差,此時(shí)利用特征匹配算法去修正影像的地理坐標(biāo),具體過程如下：

假設(shè)圖像1的地理坐標(biāo)為P1(x1,y1),圖像2的地理坐標(biāo)為P2(x2,y2),提取影像特征匹配對(duì)后則可以得到同一個(gè)點(diǎn)在不同兩張影像間的像素坐標(biāo)位置,由此可以得到兩張影像中同一個(gè)目標(biāo)點(diǎn)的經(jīng)緯度坐標(biāo)(Lon1,Lat1)(Lon2,Lat2),最后以第一張影像地理坐標(biāo)為基準(zhǔn),求得第二張影像中目標(biāo)點(diǎn)與第一張影像之間的偏移量,公式如下：

然后用求得的偏移量去修正圖像2的地理坐標(biāo)P2：

然后將地理坐標(biāo)投影到空間直角坐標(biāo)系下,從而完成圖像精確的配準(zhǔn).

文章通過計(jì)算重疊區(qū)域的SURF特征,完成特征匹配點(diǎn)對(duì)的提取. SURF采用近似Hessian矩陣檢測特征點(diǎn),并使用積分圖像進(jìn)行卷積運(yùn)算,大幅減少了運(yùn)算,從而提高了特征提取速度. SURF描述子包含兩個(gè)主要的部分： 檢測特征點(diǎn)和計(jì)算特征; 具體實(shí)現(xiàn)分為以下幾步.

1) 構(gòu)建Hessian矩陣,構(gòu)造尺度空間.

假設(shè)圖像上某點(diǎn)為X(x,y),在σ尺度下的矩陣H定義為：

當(dāng)Hessian矩陣的的判別式取得局部極大值時(shí),認(rèn)為定位關(guān)鍵點(diǎn)的位置.

2) 檢測特征點(diǎn)

在上述得到的尺度空間中,將經(jīng)過Hessian矩陣處理的每個(gè)像素點(diǎn)與二維圖像空間和尺度空間鄰域內(nèi)的26個(gè)點(diǎn)進(jìn)行比較,初步定位出關(guān)鍵點(diǎn),再經(jīng)過濾去除能量比較弱的關(guān)鍵點(diǎn)以及錯(cuò)誤定位的關(guān)鍵點(diǎn),篩選出最終的穩(wěn)定的特征點(diǎn),檢測過程如圖5.

圖5 特征點(diǎn)定位

3) 確定特征點(diǎn)主方向

以特征點(diǎn)為圓心,以6σ為半徑,求XY方向上的Haar小波響應(yīng),統(tǒng)計(jì)60度扇形內(nèi)所有點(diǎn)的水平Haar小波特征和垂直Haar小波特征總和,并設(shè)置Haar小波的尺寸變長為4 s,使得每個(gè)扇形都得到了對(duì)應(yīng)值.然后將60度扇形以一定間隔進(jìn)行旋轉(zhuǎn),最后將鎖定最大值扇形的方向作為該特征點(diǎn)的主方向. 該過程的示意圖如圖6.

圖6 特征點(diǎn)方向計(jì)算

4) 計(jì)算特征描述符

在特征點(diǎn)周圍取一個(gè)正方形框,然后把該框分為16個(gè)子區(qū)域,每個(gè)子區(qū)域統(tǒng)計(jì)25個(gè)像素的水平方向和垂直方向的Haar小波特征,這里的水平和垂直方向都是相對(duì)主方向而言的,所以每個(gè)特征點(diǎn)就是16*4=64維的向量,這在特征匹配過程中會(huì)大大加快匹配速度.

4 圖像融合

對(duì)于修正坐標(biāo)后的圖像,由于每張影像之間有一定的痕跡,因此需要采用一些策略來解決拼接縫隙之間的顏色過渡差異較大的問題,使拼接圖像更加平滑自然,漸入漸出自適應(yīng)權(quán)重融合過程如下所示.

假設(shè)I1、I2、I分別為融合前圖像1、圖像2、和融合后的圖像3,則可以通過公式(14),完成圖像融合：

式中,W是兩幅不同畫面重復(fù)的總寬度;w是重合區(qū)域左邊緣與當(dāng)前像素點(diǎn)之間的橫向距離.

5 實(shí)驗(yàn)與分析

本文選取我國某處海岸線的兩條航帶影像作為數(shù)據(jù)源,測試平臺(tái)為CPU Intel(R)Core(TM)i7-4970 CPU@3.60 GHz,內(nèi)存 16 GB,軟件開發(fā)環(huán)境為VS2010+OpenCV2.4.1,圖片分辨率為1820*1080,航拍高度為150 m左右.

5.1 重疊區(qū)域特征檢測

圖7(a)為用傳統(tǒng)SURF算法檢測到的特征點(diǎn),并進(jìn)行匹配連線,圖7(b)為根據(jù)飛行參數(shù)計(jì)算得到的重疊區(qū)域,圖7(c)為通過影像重疊區(qū)域計(jì)算出特征點(diǎn)之后,再根據(jù)RANSAC算法進(jìn)一步消除錯(cuò)誤特征點(diǎn),從而得到最終的匹配連線對(duì).

可以看出,surf算子在圖7(a)中非重疊區(qū)域之外的特征也進(jìn)行了檢測,所以存在很多的誤匹配對(duì). 圖7(c)只在重疊區(qū)域進(jìn)行特征檢測,減少了誤匹配率. 從而提高了拼接的效率. 本文通過測試561張圖片并對(duì)得到的數(shù)據(jù)進(jìn)行了平均,實(shí)驗(yàn)中全局區(qū)域和重疊區(qū)域檢測到的特征點(diǎn)個(gè)數(shù)及檢測時(shí)間對(duì)比如表1所示.

圖7 圖像匹配點(diǎn)對(duì)的提取

表1 不同區(qū)域特征點(diǎn)提取對(duì)比

5.2 地理坐標(biāo)拼接效果

按照本文提出的計(jì)算方法計(jì)算地理坐標(biāo)并進(jìn)行投影后及修正后的對(duì)比結(jié)果如圖8所示： 其中圖8(a)為未修正前的地理坐標(biāo)投影結(jié)果,可以看出修正前的拼接效果存在明顯的誤差,圖8(b)在圖8(a)的基礎(chǔ)上,按照本文提出的方法,進(jìn)行坐標(biāo)的調(diào)整后,圖像拼接精度得到了明顯的提高,圖8(c)為按照本文方法,進(jìn)行多張圖片的修正地理坐標(biāo)拼接效果.

5.3 圖像融合結(jié)果

根據(jù)每張影像的地理坐標(biāo)可以方便提取出圖像的邊界,從而得到圖像之間的拼接縫隙的精確位置,這樣重疊區(qū)域的目標(biāo)在融合過程中都是以地理坐標(biāo)位置進(jìn)行投影,消除了傳統(tǒng)圖像處理算法配準(zhǔn)時(shí)候誤差的積累,從而避免目標(biāo)重影的產(chǎn)生,最后采用漸入漸出的自適應(yīng)權(quán)重融合算法對(duì)邊界線進(jìn)行融合,對(duì)比拼接效果如圖9所示： 其中圖9(a)明顯可以看出拼接后的邊界,圖9(b)為采用融合策略后生成的圖像,可以看出消除了圖像邊界之間的差異.

6 總結(jié)

本文針對(duì)無人機(jī)航拍影像的特點(diǎn),提出了一張基于無人機(jī)POS信息的拼接方法,首先根據(jù)POS信息計(jì)算影像的四角點(diǎn)的地理坐標(biāo),然后提取影像的重疊區(qū)域的SURF特征,利用相鄰影像的相同特征點(diǎn)的位置關(guān)系去修正地理坐標(biāo),從而完成配準(zhǔn),最后采用自適應(yīng)漸入漸出融合算法對(duì)圖像進(jìn)行平滑過渡,得到了一副視覺效果良好的全景圖像.

圖8 地理坐標(biāo)拼接效果

圖9 最終融合效果圖

1潘梅,李磊民. 基于改進(jìn)Harris-SURF的無人機(jī)圖像快速拼接. 微型機(jī)與應(yīng)用,2014,33(15)： 43-46,79. [doi： 10.3969/j.issn.1674-7720.2014.15.015]

2Lowe DG. Distinctive image features from scale-Invariant keypoints. International Journal of Computer Vision,2004,60(2)： 91-110. [doi： 10.1023/B：VISI.0000029664.99615.94]

3Bay R,Ess A,Tuytelaars T,et al. Speeded-up robust features(SURF). Computer Vision and Image Understanding,2008,110(3)： 346-359. [doi： 10.1016/j.cviu.2007.09.014]

4王雅萍,陳宜金,謝東海,等. 面向無人機(jī)水域影像的自動(dòng)拼接方法. 長江科學(xué)院院報(bào),2014,31(5)： 92-96.

5趙政,凌霄,孫長奎,等. 基于POS的無人機(jī)傾斜影像匹配方法. 國土資源遙感,2016,28(1)： 87-92. [doi： 10.6046/gtzyyg.2016.01.13]

6韓文超,周利劍,賈韶輝,等. 基于POS系統(tǒng)的無人機(jī)遙感圖像融合方法的研究與實(shí)現(xiàn). 遙感信息,2013,28(3)：80-84,90.

7鄧濤,侯東平,樂琴蘭,等. 結(jié)合SIFT和Harris算法的小型無人機(jī)影像拼接方法. 信息工程大學(xué)學(xué)報(bào),2015,16(3)：321-326,377.

8吳俁,余濤,謝東海. 面向應(yīng)急響應(yīng)的無人機(jī)圖像快速自動(dòng)拼接. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(3)： 410-416.

9杜丹,潘志斌,于君娜,等. 帶地理信息的無人機(jī)遙感圖像拼接系統(tǒng)的實(shí)現(xiàn). 無線電工程,2014,44(6)： 39-42.

10魯恒,李永樹,何敬,等. 一種基于特征點(diǎn)的無人機(jī)影像自動(dòng)拼接方法. 地理與地理信息科學(xué),2010,26(5)： 16-19,28.

11劉寶. 航拍視頻中的實(shí)時(shí)拼接技術(shù)研究[碩士學(xué)位論文]. 大連： 大連理工大學(xué),2015.

12劉善磊,王光輝,石善球,等. 一種無人機(jī)視頻幀自動(dòng)拼接方法. 測繪科學(xué),2013,38(5)： 69-71.

13首照宇,歐陽寧,張華俊,等. 基于SURF和動(dòng)態(tài)ROI的實(shí)時(shí)視頻拼接. 計(jì)算機(jī)工程與設(shè)計(jì),2013,34(3)： 998-1003.

14張懿,劉藝. 基于FAST特征的快速圖像拼接系統(tǒng)研究. 計(jì)算機(jī)工程與應(yīng)用,2016,52(10)： 167-170. [doi： 10.3778/j.issn.1002-8331.1406-0297]

15余淮,楊文. 一種無人機(jī)航拍影像快速特征提取與匹配算法. 電子與信息學(xué)報(bào),2016,38(3)： 509-516.