孫新博，李英成，王恩泉，耿中元，王思雪

(1. 自然資源部航空遙感技術(shù)重點實驗室,北京 100039； 2. 北京市低空遙感數(shù)據(jù)處理工程技術(shù)研究中心，北京 100039； 3. 中測新圖(北京)遙感技術(shù)有限責任公司,北京 100039)

隨著各種輕小型高精度傳感器的不斷問世及無人機平臺整體性能的提升，無人機搭載不同傳感器進行作業(yè)已成為常態(tài)[1]，其中視頻傳感器得益于能夠獲取動態(tài)變化影像及數(shù)據(jù)實時回傳的特性而受到行業(yè)關(guān)注。受視頻傳感器幅面、視角和無人機飛行高度影響，單幀無人機視頻影像所覆蓋的區(qū)域面積較小，在一些任務(wù)中需要對多幀視頻影像進行拼接。拼接的前提是視頻幀的有效配準，在應(yīng)急測繪中無法按照傳統(tǒng)的航空攝影測量流程生成標準正射影像實現(xiàn)視頻幀的配準，因此研究基于實時回傳的無人機視頻幀快速配準方法對于應(yīng)急響應(yīng)具有重要意義。文獻[2—4]采用SIFT等算法對影像進行匹配，剔除誤匹配點對后建立影像間空間變換模型，統(tǒng)一坐標系，從而完成影像配準。這種方法偏重于紋理豐富的區(qū)域，在紋理單一區(qū)域就無法獲取有效特征點信息且匹配過程計算復(fù)雜，耗時較長。文獻[5—9]借助無人機影像的定位定姿信息快速建立影像間的空間變換關(guān)系，再分別通過采用校正模型、構(gòu)建平衡二叉樹、建立仿射變換模型、地理坐標局部修正等手段減少誤差積累，改善配準效果，這種方法大大提高了無人機影像的配準速度，但對于姿態(tài)穩(wěn)定性更差的視頻幀的處理較少涉及。文獻[10—11]基于獲取的帶有重疊的無人機影像估計相機位姿，恢復(fù)場景三維結(jié)構(gòu)，根據(jù)影像的相對位姿進行圖像坐標變換，統(tǒng)一坐標系，從而實現(xiàn)影像間的配準。該方法與基于特征匹配的方法相似，但其對消除誤差累計處理得更好且具有實時處理的能力。

本文從應(yīng)急測繪需求出發(fā)，提出一種無人機視頻影像快速配準方法。該方法首先對視頻傳感器進行標定，獲取其內(nèi)方位元素和畸變參數(shù)信息；然后基于時間索引和線性/球面插值方法，實現(xiàn)視頻幀與地理信息同步；最后利用外方位元素和數(shù)字高程模型對視頻幀進行正射糾正，通過匹配獲取同名特征點，快速計算正射影像間仿射變換模型，基于仿射尺度不變坐標微調(diào)方法，調(diào)整正射影像地理坐標，從而實現(xiàn)視頻幀間精確配準。配準后的視頻幀經(jīng)過融合即形成帶有地理坐標的拼接影像，可進行快速定位與空間分析，為應(yīng)急救災(zāi)提供參考資料。

1 視頻傳感器標定

針孔成像模型是相機及視頻傳感器最常用且較為簡單的幾何模型[12]，用來描述三維世界中坐標點映射到二維圖像平面的過程。理想情況下，針孔成像模型描述了地面點、投影中心及對應(yīng)像點三者之間嚴格的數(shù)學(xué)關(guān)系，在攝影測量學(xué)中共線方程是針孔成像模型的數(shù)學(xué)基礎(chǔ)，其公式如下

(1)

式中，x、y為像點坐標；X、Y、Z為對應(yīng)的地面點坐標；f為主距；x0、y0為像主點坐標；Xs、Ys、Zs為外方位元素線元元素；ai,bi,ci(i=1,2,3)為旋轉(zhuǎn)矩陣元素。

由于傳感器鏡頭設(shè)計、制作、裝配等誤差造成像點偏離其理想成像位置，主要包括徑向畸變和切向畸變。其中徑向畸變是指像點沿物鏡向徑向方向偏離其準確理想位置的畸變差，切向畸變是由透鏡與成像平面不平行引起的。一般來說，視頻傳感器的非線性畸變模型主要是徑向畸變和切向畸變，除此之外還包括平面不平畸變和平面內(nèi)變形畸變等附加畸變[13]。在傳感器標定精度要求不是特別嚴格的條件下，徑向畸變和切向畸變就能夠描述其非線性畸變，因此本文研究主要考慮視頻傳感器的徑向畸變和切向畸變。

本文采用基于標定物的視頻傳感器標定方法[14-15]，該方法是利用幾何結(jié)構(gòu)已知的標定參照物，通過建立參照物上已知點坐標與圖像坐標點之間的對應(yīng)關(guān)系，結(jié)合傳感器成像幾何模型約束條件，使用優(yōu)化算法精確求解標定參數(shù)。完成視頻傳感器的標定工作后，利用求解出的參數(shù)對視頻幀影像進行畸變差改正，消除傳感器畸變模型帶來的誤差以提高配準精度。

2 基于坐標信息的影像配準

無人機獲取的定位定姿數(shù)據(jù)和視頻流數(shù)據(jù)存在時間基準不統(tǒng)一、采集頻率不一致等問題。針對這一問題，文獻[16]利用定位定姿系統(tǒng)輸出的PPS(pulse per second)觸發(fā)攝影機拍攝圖像，機載計算機記錄圖像的同時解析全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS信息數(shù)據(jù)包，并將每幀圖像的曝光時間、位置、姿態(tài)數(shù)據(jù)記錄到計算機中，實現(xiàn)定位定姿數(shù)據(jù)與圖像在時間上的同步。本文所采用的視頻傳感器為近似連續(xù)采集圖像設(shè)備，不適合采用文獻中脈沖信號觸發(fā)曝光動作實現(xiàn)數(shù)據(jù)時間同步的方法。

為了解決上述問題，本文采用基于時間索引和線性/球面插值方法建立視頻流數(shù)據(jù)與定位定姿數(shù)據(jù)之間的對應(yīng)關(guān)系[17]。具體實現(xiàn)方法如下：

(1) 以計算機系統(tǒng)時間為參考，分別記錄定位定姿數(shù)據(jù)和視頻幀的采集時間，時間單位由時-分-秒-毫秒轉(zhuǎn)換為毫秒。

(2) 以時間為自變量，分別以位置坐標和姿態(tài)數(shù)據(jù)為因變量建立線性插值方程、球面插值方法。

(3) 利用視頻幀的采集時間索引相應(yīng)插值方程，計算視頻幀對應(yīng)的定位定姿數(shù)據(jù)，建立二者的對應(yīng)關(guān)系。

通過上述方法實現(xiàn)了視頻幀與定位定姿數(shù)據(jù)的一一對應(yīng)，在精度要求不是很高的情況下，慣性導(dǎo)航系統(tǒng)獲取的位置和姿態(tài)信息可以直接作為傳感器曝光瞬間的外方位元素。本文采用間接法數(shù)字微分糾正[18]實現(xiàn)視頻幀影像的快速地理編碼。地理編碼后的視頻幀可根據(jù)坐標信息實現(xiàn)配準，但在實際應(yīng)用中發(fā)現(xiàn)由于定位定姿數(shù)據(jù)自身精度問題造成了糾正后每幀視頻影像間均有位移偏差，如圖1所示。為了消除位移偏差，本文采用地理坐標微調(diào)方法改善視頻幀之間的配準質(zhì)量。

3 無人機視頻影像地理坐標微調(diào)

3.1 視頻影像變換模型

利用特征匹配和RANSAC(隨機取樣一致性)算法[19-21]獲取視頻幀影像間匹配關(guān)系后，則可以選擇合適的幾何變換模型對待配準影像坐標進行幾何變換，將待配準影像坐標調(diào)整到參考影像坐標系下，從而改善基于坐標信息的視頻幀配準質(zhì)量。圖像變換模型主要包括剛體變換、仿射變換、相似性變換及透視變換等，視頻幀之間存在旋轉(zhuǎn)、縮放變化，可以采用仿射變換或相似性變換擬合幾何變換關(guān)系，但仿射變換在擬合效果方面優(yōu)于相似性變換[22]，因此本文采用仿射變換對視頻幀坐標進行調(diào)整。仿射變換的矩陣形式表示如下

(2)

式中，x1、y1為參考影像像點坐標；x2、y2為待配準影像像點坐標；mi(i=0,1,2,3,4,5)為仿射變換系數(shù)。從式(2)可以看出仿射變換模型有6個未知參數(shù)，至少需要3對匹配特征點求解仿射變換模型參數(shù)，在同名特征點多于3對的情況下，需要采用最小二乘法求解仿射變換模型未知參數(shù)。本文以航線內(nèi)第一幀正射糾正后的視頻幀作為參考影像，通過仿射變換模型調(diào)整相鄰視頻幀的地理坐標。調(diào)整效果如圖2所示。

從視頻幀地理坐標調(diào)整結(jié)果可以看出該方法很好地消除了相鄰視頻幀間的位移偏差，卻又引入了尺度誤差，即仿射變換模型中的縮放變換。這是由于參考影像受誤差影響自身并非與地面信息嚴格一致，不可避免地存在投影誤差，誤差隨著視頻幀數(shù)的增加會越來越大。在仿射變換模型中則會表現(xiàn)為尺度變化越來越大，為此需要控制仿射變換模型中的縮放因子。

3.2 基于仿射尺度不變的坐標微調(diào)

為了解決視頻幀坐標調(diào)整過程中仿射變換模型縮放因子不受控制的問題，本文提出了基于仿射尺度不變的坐標微調(diào)方法。該方法通過比較仿射變換前后影像x和y方向上分辨率大小變化，獲取仿射變換模型縮放比例系數(shù)scale_x和scale_y，假設(shè)仿射變換后影像中心不存在平移變化，則按圖3位置關(guān)系計算坐標微調(diào)量值。A(x,y)為仿射變換后影像左上角坐標，A′(x′,y′)為坐標微調(diào)后影像左上角坐標，Δx、Δy為坐標微調(diào)量，用下式表示為

(3)

按照式(3)計算出坐標微調(diào)量，進而改正仿射變換后影像左上角坐標，同時x和y方向上的分辨率大小采用仿射變換前影像的分辨率大小。

以正射糾正后的參考幀為基準依次調(diào)整相鄰視頻幀的地理坐標，消除航線內(nèi)視頻幀之間的位移偏差，結(jié)果如圖4所示。

4 試驗與分析

選取某型號無人機拍攝的兩條航線的視頻數(shù)據(jù)，按照自適應(yīng)關(guān)鍵幀提取算法實時獲取滿足重疊度要求的視頻關(guān)鍵幀共148張，幀影像大小為1920×1080像素。首先利用傳感器標定參數(shù)對視頻幀進行畸變差改正，消除畸變差影響；接著利用每幀對應(yīng)的定位定姿數(shù)據(jù)快速對每條航線的視頻幀進行正射糾正；再利用SURF特征提取算法對航線內(nèi)正射糾正后的視頻幀兩兩匹配，計算兩兩之間的仿射變換模型；最后采用基于仿射尺度不變的坐標微調(diào)方法對航線內(nèi)視頻幀進行坐標微調(diào)，消除兩兩之間的位移偏差，單條航線內(nèi)視頻幀配準效果如圖5所示。

從圖5可以看出房屋、道路、山丘連接良好，未出現(xiàn)位移偏差現(xiàn)象。本次試驗是選擇第一幀視頻影像作為參考影像從左至右兩兩進行坐標微調(diào)，航帶尾部配準效果略差于其他部分，這是由于誤差積累引起的，可以采用從航帶中間選取參考幀的方法減少誤差積累。

5 結(jié) 語

本文針對應(yīng)急測繪中對無人機視頻流快速處理的需求，提出了一種無人機視頻影像快速配準方法。該方法基于時間索引和線性/球面插值方法實現(xiàn)視頻幀與定位定姿信息的一一對應(yīng)，利用定位定姿信息對視頻幀進行正射糾正，糾正后的視頻幀按照坐標信息進行配準，由于定位定姿信息精度的影響，導(dǎo)致視頻幀間存在位移偏差。盡管基于仿射變換模型的方法能夠消除位移偏差，但縮放因子的影響造成影像形變嚴重，在此基礎(chǔ)上本文采用控制仿射變換模型中縮放因子不變的坐標微調(diào)方法很好地解決了上述問題，實現(xiàn)了航帶內(nèi)視頻幀的精確配準。但是本文方法在航帶間視頻幀的配準試驗中并未取得較好的效果，下一步工作將繼續(xù)開展航帶間視頻幀的近實時配準研究，為應(yīng)急測繪數(shù)據(jù)快速實時獲取提供技術(shù)支持。