趙麗穎，付強(qiáng)，黃丹飛，鐘艾琦，張玉爽

（長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022）

無(wú)人機(jī)具有操作簡(jiǎn)單、反應(yīng)速度快、飛行靈敏、成本低、攜帶方便等特點(diǎn)，已被廣泛應(yīng)用于抗震救災(zāi)、防汛、軍事偵察、海上勘測(cè)、交通監(jiān)管等區(qū)域。而無(wú)人機(jī)上設(shè)備在拍攝圖像時(shí)，由于成像設(shè)備性能和飛行高度等因素的限制，一般情況下，獲取的單幅圖像能夠覆蓋的地面景物范圍較小，很難覆蓋整個(gè)要拍攝的區(qū)域。為了對(duì)拍攝目標(biāo)區(qū)域信息有更好的掌握，快速得到更多的目標(biāo)區(qū)域有效信息，無(wú)人機(jī)航拍圖像快速拼接已成為迫切需要。

目前無(wú)人機(jī)的航拍圖像拼接方法主要是以基于圖像特征的拼接方法為主，基于圖像特征拼接方法中，圖像配準(zhǔn)與圖像融合是圖像拼接最重要的兩個(gè)關(guān)鍵步驟。圖像配準(zhǔn)是無(wú)人機(jī)影像拼接過(guò)程中的核心步驟，配準(zhǔn)精度直接影響圖像拼接的質(zhì)量。在基于特征圖像拼接的算法中，目前提取圖像特征點(diǎn)的算法有SIFT[1]（Scale-Invariant Feature Transform，尺度不變特征變換）算 法、Harris角點(diǎn)算法、SURF（Speed Up Robust Feature）等算法。Harris C[2]提出了 Harris角點(diǎn)檢測(cè)算子，該算法對(duì)角點(diǎn)響應(yīng)函數(shù)進(jìn)行閾值判斷處理，并提取局部最大值來(lái)進(jìn)行角點(diǎn)的提取，但是該算法檢測(cè)特征的速度慢且不具備尺度不變性。SIFT特征匹配算法是一種比較經(jīng)典的算法，它通過(guò)在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量等特征，提取出的特征比較穩(wěn)定，數(shù)量多、計(jì)算量大、耗時(shí)長(zhǎng)。Bauer[3]提出了一種SURF算法，SURF算法利用海森矩陣確定特征點(diǎn)然后進(jìn)行非極大抑制，它降低了計(jì)算難度，并且提高了特征檢測(cè)速度。趙文君等人[4]利用提取特征點(diǎn)區(qū)域限制的方法限制Harris角點(diǎn)生成的面積，再結(jié)合非極大值抑制算法剔除粗差和聚簇角點(diǎn)，利用最佳縫合線融合方法進(jìn)行圖像融合，得到了良好的拼接效果。文偉東等人[5]提出基于SIFT算法對(duì)有序圖像拼接算法，首先對(duì)圖像的順序進(jìn)行排列，然后利用FAST算法進(jìn)行特征提取，并對(duì)隨機(jī)一致性算法進(jìn)行改進(jìn)刪除誤匹配點(diǎn)對(duì)，最后運(yùn)用加權(quán)平均融合算法進(jìn)行融合。陳雪濤等人[6]提出一種基于SURF算法和重疊區(qū)域相結(jié)合的視頻拼接算法，視頻拼接效果能夠很好地消除鬼影等問(wèn)題。管增倫[7]利用改進(jìn)的SURF算法針對(duì)視頻圖像重疊區(qū)域進(jìn)行特征點(diǎn)提取，提高算法運(yùn)行速率，實(shí)時(shí)性高，拼接效果好。程德強(qiáng)[8]采用SURF特征算法提取特征點(diǎn)，然后利用改進(jìn)的隨機(jī)抽樣一致算法刪除誤匹配點(diǎn)。對(duì)于重疊區(qū)域進(jìn)行動(dòng)態(tài)融合處理，從而消除視頻重疊區(qū)域的拼接縫和鬼影。年華[9]將Harris-Laplace算法檢測(cè)與SURF算法相結(jié)合的拼接方法，運(yùn)用RANSAC算法剔除錯(cuò)誤匹配點(diǎn)，提高了匹配效率。馬嘉林[10]提出了一種基于相機(jī)標(biāo)定的全景圖拼接方法，對(duì)圖像進(jìn)行幾何畸變校正處理，在利用圖像的同名點(diǎn)實(shí)現(xiàn)圖像的配準(zhǔn)并完成拼接。李玉峰[11]提出了一種基于區(qū)域分塊與SIFT算法相結(jié)合的圖像拼接的算法，利用NCC算法分割出匹配圖像與待匹配圖像間的相似區(qū)域，利用SIFT算法進(jìn)行特征提取，實(shí)現(xiàn)圖像之間的無(wú)縫拼接。文獻(xiàn)[12]對(duì)待拼接的圖像先進(jìn)行柱面投影，然后利用SIFT算法進(jìn)行特征點(diǎn)提取，利用RANSAC方法刪除誤匹配完成圖像配準(zhǔn)。

針對(duì)基于特征點(diǎn)拼接速度較慢且不能進(jìn)行地理定位問(wèn)題，提出了一種基于無(wú)人機(jī)POS系統(tǒng)數(shù)據(jù)圖像拼接的方法。首先對(duì)POS數(shù)據(jù)的精度較低問(wèn)題，建立航拍參數(shù)的優(yōu)化模型提高數(shù)據(jù)精度，利用優(yōu)化后的POS數(shù)據(jù)計(jì)算出影像四角點(diǎn)的地理坐標(biāo)，將第一張圖像地理坐標(biāo)作為基準(zhǔn)，進(jìn)行航拍有序影像的拼接。

1 基本原理

1.1 無(wú)人機(jī)POS系統(tǒng)簡(jiǎn)介

POS（Position and Orientation System）是 DGPS/IMU組合定位定向系統(tǒng)的統(tǒng)稱(chēng)。它既有差分GPS實(shí)時(shí)定位的功能，又具備IMU測(cè)定姿態(tài)的能力，把其搭載在無(wú)人機(jī)平臺(tái)上就能測(cè)定動(dòng)態(tài)目標(biāo)的三維坐標(biāo)和航攝儀三個(gè)軸線上的角度信息。POS最大的優(yōu)點(diǎn)是取長(zhǎng)補(bǔ)短，它把具備定向功能的陀螺儀和具備定位功能的GPS有力地結(jié)合在一起，然后把數(shù)據(jù)處理技術(shù)—卡爾曼濾波技術(shù)引入IMU與GPS的組合系統(tǒng)之中，使此組合系統(tǒng)的穩(wěn)定性、定位定向精度和自動(dòng)化程度有了大幅度的提高，GPS與IMU的組合系統(tǒng)擁有“黃金搭檔”之稱(chēng)[13]。

1.2 基于POS數(shù)據(jù)優(yōu)化模型

由于無(wú)人機(jī)航拍過(guò)程當(dāng)中會(huì)受到地理位置、環(huán)境、風(fēng)速以及無(wú)人機(jī)POS數(shù)據(jù)自身的測(cè)量誤差等影響，得到的定位信息有所誤差。為了能夠更好地提高無(wú)人機(jī)POS數(shù)據(jù)的精度，利用光束法區(qū)域網(wǎng)平差來(lái)建立優(yōu)化方程。如圖1所示，光束區(qū)域網(wǎng)平差是以一張像片組成的一束光線作為平差的基本單元，以中心投影的共線方程作為平差的數(shù)學(xué)模型。以相鄰像片公共交會(huì)點(diǎn)坐標(biāo)相等、控制點(diǎn)的內(nèi)業(yè)坐標(biāo)與已知的外業(yè)坐標(biāo)相等作為平差條件，列出控制點(diǎn)和加密點(diǎn)的誤差方程式，進(jìn)行全區(qū)域的統(tǒng)一的平差計(jì)算，求解出每張像片的外方位元素和加密點(diǎn)的地面坐標(biāo)。

圖1 光束區(qū)域網(wǎng)平差

利用光束區(qū)域網(wǎng)平差通過(guò)設(shè)置控制點(diǎn)獲得外方位元素與無(wú)人機(jī)POS系統(tǒng)的初始的外方位元素建立優(yōu)化參數(shù)方程。POS系統(tǒng)數(shù)據(jù)優(yōu)化流程圖如圖2所示。

圖2 POS系統(tǒng)數(shù)據(jù)優(yōu)化流程圖

優(yōu)化方程：

根據(jù)公式（1）—公式（6）可以得到校正后的參數(shù)，然后利用校正參數(shù)對(duì)原始POS數(shù)據(jù)進(jìn)行優(yōu)化。其中 ΔXp，ΔYp，ΔZp，Δψp，Δθp，Δφp為校正后得到的結(jié)果；XP1，YP1，Zp1，ψp1，θp1，φp1為圖像初始的外方位元素與姿態(tài)參數(shù)；Xpn，Ypn，Zpn，ψpn，θpn，φpn為第n個(gè)圖像的初始外方位元素與姿態(tài)參數(shù)；n為計(jì)算中涉及的圖像數(shù)量。表1為無(wú)人機(jī)POS數(shù)據(jù)。

表1 無(wú)人機(jī)POS定向數(shù)據(jù)

圖3和圖4分別為初始數(shù)據(jù)與優(yōu)化后的數(shù)據(jù)。從優(yōu)化后的數(shù)據(jù)圖可以看出偏航角的數(shù)據(jù)前后變化不大，而滾轉(zhuǎn)角與俯仰角經(jīng)過(guò)優(yōu)化后數(shù)據(jù)連續(xù)，能夠更好地進(jìn)行地理定位。

圖3 初始數(shù)據(jù)

圖4 優(yōu)化后數(shù)據(jù)

1.3 基于POS系統(tǒng)數(shù)據(jù)無(wú)人機(jī)圖像拼接

為了能夠快速獲得航拍圖像的有效信息，并能夠更好地精確定位，采用優(yōu)化后的POS系統(tǒng)數(shù)據(jù)進(jìn)行圖像拼接。

1.3.1 坐標(biāo)變換

（1）像平面坐標(biāo)系到像空間坐標(biāo)系的轉(zhuǎn)換

像平面坐標(biāo)系通常將圖像的左上角設(shè)為坐標(biāo)原點(diǎn)，而像空間坐標(biāo)系是將圖像中心設(shè)為原點(diǎn)。兩個(gè)坐標(biāo)系坐標(biāo)的關(guān)系為：

式中，(u0×s，v0×s，-f)為圖像平面坐標(biāo)系坐標(biāo)，s:x軸，y軸每個(gè)像素的物理尺寸；u0為圖像像素高度的一半，v0為圖像像素寬度的一半；f為相機(jī)焦距。

（2）像空間坐標(biāo)系到像空間輔助坐標(biāo)系轉(zhuǎn)換

假設(shè)已知像點(diǎn)a，它在像空間輔助坐標(biāo)系中的坐標(biāo)可表示為(X,Y,Z)，在像空間坐標(biāo)系中的坐標(biāo)為(x,y,-f)，兩個(gè)坐標(biāo)系坐標(biāo)關(guān)系為：

式中，a1，b1，c1為方向余弦，即兩個(gè)坐標(biāo)軸之間的余弦值。由外方位元素（偏航角φ，俯仰角θ，橫滾角φ）計(jì)算得到。R為旋轉(zhuǎn)矩陣，可以由下面3個(gè)旋轉(zhuǎn)矩陣式求得：

（3）像空間輔助坐標(biāo)系到地面坐標(biāo)系轉(zhuǎn)換

設(shè)攝影中心S與地面點(diǎn)A在地面攝影測(cè)量坐標(biāo)系D-XtpYtpZtp中的坐標(biāo)分別為Xs,Ys,Zs（即像片外方位直線元素）和XA,YA,ZA，則地面點(diǎn)A在像空間輔助坐標(biāo)系中的坐標(biāo)可表示為XA-XS，YA-YS，ZA-ZS，而對(duì)應(yīng)點(diǎn)a在像空間輔助坐標(biāo)系中的坐標(biāo)可表示為X，Y，Z。已知S，a，A三點(diǎn)共線，利用相似三角形關(guān)系可以得到：

式（22）中λ為比例因子，寫(xiě)成矩陣形式為：

利用像點(diǎn)的像空間坐標(biāo)與像空間輔助坐標(biāo)關(guān)系式可得其逆變換公式為：

將式（22）代入式（24），并用第三式去除第一，二式得：

式（25）就是中心投影構(gòu)想的基本單位，即共線方程。

1.3.2 確定圖像四角點(diǎn)坐標(biāo)

已知相機(jī)參數(shù)f，x0，y0（f為相機(jī)焦距，(x0,y0)為像主點(diǎn)坐標(biāo)），像素大小為s。可以確定圖像的四個(gè)角點(diǎn)在像空間坐標(biāo)系的坐標(biāo)分別為：

其中，w為原圖像的寬度；h為原圖像的高度。使用上面的公式可以計(jì)算地面坐標(biāo)系中四個(gè)頂點(diǎn)的坐標(biāo)。XA，YA為角點(diǎn)真實(shí)坐標(biāo)，ZA對(duì)應(yīng)為地面點(diǎn)實(shí)際高度，使用測(cè)量中的平均高度進(jìn)行計(jì)算。

Xmax，Xmin，Ymax，Ymin可由四個(gè)地面坐標(biāo)系的四個(gè)角點(diǎn)來(lái)確定。利用無(wú)人機(jī)空間分辨率可以計(jì)算出校正后圖像的寬度與高度。

其中，r為無(wú)人機(jī)空間分辨率；h為相對(duì)高度；s為像素大??；Ug，Vg分別為校正后的高度和寬度。

1.3.3 經(jīng)緯度轉(zhuǎn)換大地坐標(biāo)系

由于試驗(yàn)POS數(shù)據(jù)中攝影瞬間攝影中心的平面坐標(biāo)是經(jīng)緯度，所以需要利用高斯投影坐標(biāo)公式求取攝影中心的實(shí)際坐標(biāo)。

其中，（B，L，H）為大地坐標(biāo)，B，L，H分別表示POS數(shù)據(jù)中的緯度、經(jīng)度和高程；（X，Y，Z）為空間直角坐標(biāo)；N為卯酉圈曲率半徑；e為橢球第一偏心率。

1.4 基于SURF算法圖像拼接

SURF（Speed Up Robust Features）算 法[14]是一種尺度和旋轉(zhuǎn)不變的檢測(cè)與描述算法。SURF算法是SIFT算法的一種改進(jìn)。它和SIFT算法的特點(diǎn)一樣具有很強(qiáng)的魯棒性，對(duì)圖像的亮度、尺度、角度旋轉(zhuǎn)、噪聲等具有不變特性，它的運(yùn)算速度比SIFT算法更快。SURF算法計(jì)算步驟如下：

（1）構(gòu)造Hessian矩陣

SURF算法與SIFT有很大的不同。SIFT算法采用的是DOG圖像，而SURF算法采用的是Hessian矩陣行列式近似值圖像。假設(shè)函數(shù)f( )x,y，Hessian矩陣H是由函數(shù)和偏導(dǎo)數(shù)組成。首先計(jì)算圖像中某個(gè)像素點(diǎn)的Hessian矩陣：

當(dāng)Hessian矩陣的判別式取得局部極大值時(shí)，判定當(dāng)前點(diǎn)是比周?chē)徲騼?nèi)其他點(diǎn)更亮或者更暗的點(diǎn)，由此來(lái)定位關(guān)鍵點(diǎn)的位置，因此Hessian矩陣的判別式為：

在離散空間上，為了得到Hessian矩陣的四個(gè)元素，SURF采用二階標(biāo)準(zhǔn)高斯函數(shù)對(duì)圖像進(jìn)行卷積運(yùn)算，高斯函數(shù)可構(gòu)造出不同尺度下的響應(yīng)函數(shù)圖像。在尺度σ下，對(duì)應(yīng)的Hessian矩陣：

Lxx(x,σ),Lxy(x,σ),Lyy(x,σ) 為點(diǎn)x處高斯函數(shù)的二階偏導(dǎo)數(shù)與圖像I的卷積。計(jì)算出圖像上所有點(diǎn)的Hessian行列式值：

用行列式的值來(lái)判別圖像局部特征點(diǎn)。如圖5所示分別為盒式濾波器和高斯濾波器示意圖。為了提高運(yùn)算速度，SUFR算法使用盒式濾波器來(lái)代替高斯濾波器，因此添加了加權(quán)系數(shù)0.9。則H矩陣判別式可表示為：

圖5 盒式濾波器和高斯濾波器示意圖

（2）構(gòu)造尺度空間

SURF算法的尺度空間由O層和S層組成，區(qū)別在于，SIFT算法下一組圖像的長(zhǎng)寬均是上一層的12，同一組不同層圖像之間的尺寸是一樣的，但是所使用的尺度空間因子σ逐漸增大；而在SURF算法中，不同組之間的圖像尺寸都是一致的，不同組間使用的盒式濾波器的模板尺寸逐漸增大，同一組不同層圖像使用相同尺寸的濾波器，但濾波器的尺度因子σ逐漸增大。如圖6所示為尺度空間示意圖。

圖6 尺度空間示意圖

（3）特征點(diǎn)精確定位

經(jīng)過(guò)Hessian矩陣處理過(guò)的每一個(gè)像素點(diǎn)與其3維領(lǐng)域的26個(gè)點(diǎn)進(jìn)行比較大小，如果該點(diǎn)是26個(gè)點(diǎn)中的最大值或者最小值，則保留下來(lái)，當(dāng)做候選特征點(diǎn)，否則會(huì)刪除該點(diǎn)。圖7表示為特征點(diǎn)定位過(guò)程。

圖7 特征點(diǎn)定位

（4）特征點(diǎn)主方向

SURF算法中特征點(diǎn)主方向計(jì)算采用的是統(tǒng)計(jì)特征點(diǎn)圓形鄰域內(nèi)的Harr小波特征，統(tǒng)計(jì)60度扇形內(nèi)所有點(diǎn)的水平、垂直Harr小波特征總和，然后扇形以0.2弧度大小的間端進(jìn)行旋轉(zhuǎn)并再次統(tǒng)計(jì)該區(qū)域內(nèi)Harr小波特征值，最后將最大值的那個(gè)扇形的方向作為該特征點(diǎn)的主方向，該過(guò)程如圖8所示。

圖8 特征點(diǎn)方向

（5）生成特征描述

為了保證特征矢量的旋轉(zhuǎn)不變性，在SURF算法中，在特征點(diǎn)周?chē)≌叫慰?，把該框分?6個(gè)子區(qū)域，每個(gè)子區(qū)域統(tǒng)計(jì)25個(gè)像素的水平方向和垂直方向的Harr小波特征，這樣每個(gè)小區(qū)域就有4個(gè)值，所以每個(gè)特征點(diǎn)就是16×4=64維的向量。圖9為特征描述符的構(gòu)成示意圖。

圖9 特征描述符的構(gòu)成

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)由大疆精靈3無(wú)人機(jī)拍攝得到。仿真實(shí)驗(yàn)軟件為Matlab R2018b。無(wú)人機(jī)主要性能指標(biāo)如表2所示。無(wú)人機(jī)的航行速度，飛行時(shí)航拍高度，曝光點(diǎn)的飛行經(jīng)緯度信息以及姿態(tài)參數(shù)等，都可以通過(guò)無(wú)人機(jī)攜帶的POS系統(tǒng)獲取到。設(shè)置橫向重疊率為75%，旁向重疊率為35%。試驗(yàn)結(jié)果如圖10、圖11所示。

表2 無(wú)人機(jī)性能指標(biāo)

圖11 不同場(chǎng)景、不同圖像數(shù)量基于POS數(shù)據(jù)算法拼接結(jié)果

表3是基于SURF特征圖像拼接算法與基于POS數(shù)據(jù)拼接算法進(jìn)行對(duì)比。從結(jié)果上來(lái)看算法在圖像數(shù)量分別為12張、30張、50張比基于SURF特征圖像拼接算法在速度上分別提高了40%、34%、30%，能夠直接對(duì)目標(biāo)區(qū)域進(jìn)行地理定位。

表3 基于SURF特征圖像拼接算法與基于POS數(shù)據(jù)拼接算法運(yùn)算時(shí)間的比較

3 圖像質(zhì)量評(píng)價(jià)

圖像質(zhì)量的好壞可以通過(guò)圖像質(zhì)量評(píng)價(jià)來(lái)進(jìn)行評(píng)判。圖像質(zhì)量評(píng)價(jià)可分為主觀評(píng)價(jià)與客觀評(píng)價(jià)。主觀評(píng)價(jià)通過(guò)人眼進(jìn)行觀察，屬于偏主觀的一個(gè)概念。但主觀評(píng)價(jià)結(jié)果較難準(zhǔn)確量化并耗時(shí)過(guò)長(zhǎng)。因此需要進(jìn)行圖像客觀評(píng)價(jià)分析?？陀^圖像質(zhì)量評(píng)價(jià)方法主要有峰值信噪比PSNR和基于結(jié)構(gòu)相似度SSIM。下面對(duì)拼接后的結(jié)果進(jìn)行主觀評(píng)價(jià)與客觀評(píng)價(jià)分析。

表4列出對(duì)拼接結(jié)果的主觀評(píng)價(jià)與客觀評(píng)價(jià)。從主觀評(píng)價(jià)上來(lái)看基于SURF特征算法與基于POS數(shù)據(jù)拼接結(jié)果整體效果良好，但在某些部分還是存在一些重影和邊緣缺失。從客觀評(píng)價(jià)整體上來(lái)看基于SURF算法的圖像失真度比基于POS信息拼接結(jié)果圖像失真度大。

表4 圖像質(zhì)量評(píng)價(jià)分析

4 結(jié)論

提出一種基于無(wú)人機(jī)航拍圖像快速拼接的方法。首先對(duì)無(wú)人機(jī)POS系統(tǒng)的數(shù)據(jù)進(jìn)行優(yōu)化引入光束區(qū)域網(wǎng)平差方法并建立優(yōu)化方程，然后利用POS數(shù)據(jù)計(jì)算出影像四角點(diǎn)的地理坐標(biāo)，以第一張影像地理坐標(biāo)為基礎(chǔ)，進(jìn)行航拍有序影像的拼接。最后得出結(jié)果與基于特征點(diǎn)圖像拼接的方法進(jìn)行對(duì)比，基于POS數(shù)據(jù)算法的拼接方法效率更高。對(duì)于拼接圖像像質(zhì)評(píng)價(jià)采用主觀評(píng)價(jià)與客觀評(píng)價(jià)的方法，結(jié)果顯示基于POS數(shù)據(jù)拼接結(jié)果效果良好。但基于POS數(shù)據(jù)拼接還有很多不足之處，當(dāng)POS數(shù)據(jù)精度較低時(shí)結(jié)果會(huì)出現(xiàn)拼接錯(cuò)誤或部分?jǐn)?shù)據(jù)缺失，因此對(duì)于優(yōu)化數(shù)據(jù)模型還需要進(jìn)一步優(yōu)化。接下來(lái)的主要工作是得到更多的數(shù)據(jù)來(lái)進(jìn)行優(yōu)化。