杜 丹，潘志斌，于君娜，劉春華，路瑜亮

(1.西安交通大學(xué)電子與信息工程學(xué)院，陜西西安710049;2.總裝北京軍代局駐石家莊地區(qū)軍代室，河北石家莊050081;3.中國電子科技集團(tuán)公司第五十四研究所，河北石家莊050081)

0 引言

無人駕駛飛機(jī)簡稱“無人機(jī)”，是利用無線電遙控設(shè)備和自備的程序控制裝置操縱的不載人飛機(jī)。地面人員通過雷達(dá)和衛(wèi)星等設(shè)備，對其進(jìn)行跟蹤、定位、遙控、遙測和數(shù)字傳輸。它體積小、造價低、使用方便，不僅在測繪和自然災(zāi)害等民用領(lǐng)域用途廣泛，而且在軍事方面無人機(jī)回傳的定位信息和各種類型的圖像等其他數(shù)據(jù)更是為偵察情報、遠(yuǎn)距離攻擊型智能化武器和信息化武器提供了先決條件［1，2］。

因為單張無人機(jī)遙感圖像很難完全包含感興趣的區(qū)域，為了進(jìn)一步擴(kuò)大視場范圍，需要將多幅遙感圖像拼接起來獲得一定范圍內(nèi)的全景圖像。一般基于特征的無人機(jī)遙感圖像的拼接過程主要包括輻射校正(輻射校正是指消除或修正遙感圖像成像過程中附加在傳感器輸出的輻射能量中的各種噪聲過程)、幾何校正［3］(遙感圖像在獲取過程中，由于飛行器的姿態(tài)、高度、速度以及地球自轉(zhuǎn)等多種原因?qū)е聢D像相對于地面目標(biāo)發(fā)生幾何畸變)、圖像配準(zhǔn)和圖像融合這4個步驟。但是這種單純基于特征的無人機(jī)遙感圖像的拼接系統(tǒng)存在拼接速度較慢、沒有地理信息這2個主要方面的缺陷，在軍事情報以及應(yīng)急災(zāi)害應(yīng)用領(lǐng)域中顯得尤為突出。

下面實(shí)現(xiàn)的帶地理信息的無人機(jī)遙感圖像的快速拼接系統(tǒng)首先在進(jìn)行系統(tǒng)幾何校正后，將地理信息和圖像數(shù)據(jù)保存成GeoTiff格式的圖像，然后使用SIFT方法提取匹配的控制點(diǎn)對，進(jìn)行圖像序列的配準(zhǔn)，最后利用開源庫GDAL根據(jù)影像坐標(biāo)數(shù)據(jù)實(shí)現(xiàn)無人機(jī)影像的快速拼接，并采用加權(quán)融合的方法使全景圖像在重疊區(qū)域邊界處過渡平緩，提高了無人機(jī)影像拼接的效率和影像質(zhì)量。

1 基本原理和主要步驟

實(shí)現(xiàn)帶地理信息的無人機(jī)遙感圖像的快速拼接的具體步驟包括:幾何校正、圖像特征提取、圖像序列配準(zhǔn)、投影鑲嵌和圖像融合。

1.1 幾何校正

在無人機(jī)遙感圖像的預(yù)處理過程中主要考慮系統(tǒng)幾何校正，利用遙感圖像和飛機(jī)位置、姿態(tài)以及平臺的參數(shù)校正由于傳感器傾斜拍攝導(dǎo)致的圖像像素的局部變形，計算該目標(biāo)在 WGS－84坐標(biāo)系中的位置，完成圖像的系統(tǒng)級的初步定位。

轉(zhuǎn)換模型用到的坐標(biāo)系和轉(zhuǎn)換矩陣［4］如圖1所示。

圖1 幾何校正中的坐標(biāo)系變換

圖1中，由光電平臺坐標(biāo)系到數(shù)碼相機(jī)坐標(biāo)系的變換矩陣為:

由機(jī)體坐標(biāo)系到光電平臺坐標(biāo)系的變換矩陣為:

由當(dāng)?shù)氐乩碜鴺?biāo)系到機(jī)體坐標(biāo)系的變換矩陣為:

由大地坐標(biāo)系(采用WGS－84坐標(biāo)系)到空間直角坐標(biāo)系的變換矩陣為:

上述各式中的 Rx(φ)、Ry(φ)和 Rz(φ)分別為繞x軸、y軸和z軸旋轉(zhuǎn)φ角的旋轉(zhuǎn)矩陣;αp為掃描角;βp為偏角;φ為方位角;ω為高低角;δ為航向角;為俯仰角;γ為橫滾角;Bo為緯度;Lo為經(jīng)度。

因此從數(shù)碼相機(jī)坐標(biāo)系到大地坐標(biāo)系的轉(zhuǎn)換，利用上述變換矩陣得:

常規(guī)幾何校正是由式(5)逐像素點(diǎn)進(jìn)行計算和采樣的。但是在單一航帶內(nèi)，無人機(jī)平臺高低角和飛機(jī)俯仰角小于某個范圍內(nèi)(±3°)近似垂直向下拍攝時，可以認(rèn)為圖像的分辨率是一致的，因此為了加快幾何校正速度，主要考慮飛機(jī)航向角和平臺方位角的影響，矩陣變換的模型可以簡化為:

式中，φ為方位角;θ為航向角;R(φ+θ)為旋轉(zhuǎn)矩陣。圖像像素點(diǎn)的值由式(6)計算，圖像中心點(diǎn)地理位置由式(5)計算，然后利用大地坐標(biāo)系進(jìn)行地圖投影變換，得到投影坐標(biāo)。其余像素點(diǎn)的投影坐標(biāo)按照分辨率進(jìn)行推算。化簡后減少了復(fù)雜運(yùn)算次數(shù)，幾何校正時間可以大幅縮短。

完成圖像的幾何校正后，通過最鄰近法插值(速度快)或者雙線性插值法(效果好)來解決計算中出現(xiàn)的非整數(shù)坐標(biāo)像素的問題。最后將地理信息和圖像數(shù)據(jù)寫入GeoTiff格式的圖像中保存。Geo-Tiff是在 Tiff的基礎(chǔ)上定義了一些地理標(biāo)簽(GeoTag)，來對各種坐標(biāo)系統(tǒng)、橢球基準(zhǔn)和投影信息等進(jìn)行定義和存儲，使圖像數(shù)據(jù)和地理信息存儲在同一圖像文件中，這樣就為制作和使用帶有地理信息的圖像提供了方便的途徑。

1.2 圖像的特征提取

特征提取選用的是SIFT方法，它對影像的尺度和旋轉(zhuǎn)變化具有不變性，同時對光照和相機(jī)視角變換引起的改變也具有一定的不變性［5，6］。但是由于SIFT算子在進(jìn)行特征提取時計算量非常大，圖像數(shù)據(jù)越大，速度的缺陷越明顯。為了加快計算速度，圖像特征提取的主要步驟如下:

①圖像下采樣;

②通過建立合適的尺度空間(組數(shù)o=2，層數(shù)s=3)，尋找候選點(diǎn);

③利用最優(yōu)節(jié)點(diǎn)優(yōu)先(Best Bin First，BBF)算法可以快速地搜索匹配點(diǎn);

④由于初始的匹配點(diǎn)對仍然存在誤匹配，所以采用隨機(jī)抽樣一致(Random Sample Consensus，RANSAC)算法剔除一定的誤匹配點(diǎn)對;

⑤按照匹配點(diǎn)均勻分布的方法選取20～30個匹配點(diǎn)為圖像序列配準(zhǔn)做準(zhǔn)備。

1.3 圖像序列配準(zhǔn)

圖像序列配準(zhǔn)方法采取相對配準(zhǔn)的方法［7］，如圖2所示。用第1幅圖像(或者最后一幅圖像)作為參考圖像，所有后續(xù)的圖像按照順序分別配準(zhǔn)，其中Rn(n－1)是第n幅圖像到n－1幅圖像的變換矩陣。這種方法的缺點(diǎn)是存在累計誤差。但是比絕對配準(zhǔn)的方法節(jié)省大量時間。

圖2 圖像序列配準(zhǔn)的方法

圖像序列配準(zhǔn)主要步驟如下:

①以第1幅圖像為參考圖像，利用均勻分布的20對控制點(diǎn)調(diào)整前后的地理坐標(biāo)對后一幅圖像進(jìn)行一次多項式擬合校正;

②重采樣后生成待鑲嵌的圖像;

③其余圖像依次按照此方法進(jìn)行序列配準(zhǔn)。

1.4 圖像的鑲嵌和融合

將配準(zhǔn)后的待鑲嵌圖像按照地理坐標(biāo)信息直接鑲嵌全景圖像。Geospatial Data Abstraction Library(GDAL)是柵格空間數(shù)據(jù)轉(zhuǎn)換庫，并且GDAL中含像素坐標(biāo)與地理坐標(biāo)的轉(zhuǎn)換函數(shù)，調(diào)用后可計算出影像中相應(yīng)像素點(diǎn)對應(yīng)的地理坐標(biāo)，再由影像的地理坐標(biāo)對應(yīng)關(guān)系進(jìn)行鑲嵌處理將拼接過程簡化，提高了拼接效率。當(dāng)重疊區(qū)域不做處理，直接用后一幅圖像覆蓋同一地理位置的前一幅圖像像素時，直接鑲嵌后的全景圖像邊界較為明顯，有錯位現(xiàn)象。錯位像素平均為6～12個像素。鑲嵌后全景圖像如圖3(a)所示，局部放大效果如圖3(b)所示，錯位主要原因是遙感圖像數(shù)據(jù)拍攝時不是絕對垂直下視，而是存在一定的俯仰角，以及鏡頭的邊緣畸變，造成圖像邊緣與圖像中心像素變形不均勻。

圖3 直接鑲嵌后的效果

為了從視覺上消除錯位現(xiàn)象，采取一種加權(quán)融合的方法處理重疊區(qū)域。利用GDAL里ORG庫中的求交函數(shù)確定重疊區(qū)域，將重疊區(qū)域的對角線作為拼接縫，在接縫兩側(cè)選取一定寬度w進(jìn)行融合。輸出的圖像為:

式中，加權(quán)系數(shù)r滿足0≤r≤1。若r=0.5，則相當(dāng)于2幅圖像取平均值;若r由1逐漸變化為0時，圖像從I1逐漸過渡到I2，這樣就實(shí)現(xiàn)了圖像間的平滑過渡，從而消除了拼接的痕跡。融合后的鑲嵌結(jié)果如圖4(a)所示。由圖4(b)可以看出融合后的錯位誤差較小，視覺效果較好。

圖4 加權(quán)融合后的效果

2 圖像地理坐標(biāo)精校正和快速顯示

鑲嵌后的全景圖像可以作為結(jié)果圖進(jìn)行輸出，但是由于幾何校正后的地理坐標(biāo)存在一定的誤差，采用相對配準(zhǔn)的圖像序列配準(zhǔn)方法會產(chǎn)生累計誤差。因此可以選擇地表特征明顯的位置作為控制點(diǎn)，利用其精確的地理坐標(biāo)作對鑲嵌后的圖像進(jìn)行多項式擬合校正，使全景圖像的地理坐標(biāo)更準(zhǔn)確，并且使在主界面快速計算和顯示鼠標(biāo)位置的地理坐標(biāo)達(dá)到實(shí)時查詢和利用地理信息的目的。

系統(tǒng)利用分層金字塔技術(shù)［8］進(jìn)行圖像的快速顯示，即預(yù)先將圖像分層分塊，建立金字塔數(shù)據(jù)，并將這些數(shù)據(jù)存放在磁盤上，在圖像顯示時可以根據(jù)不同的顯示比例和地理范圍直接從相應(yīng)的金字塔層中讀取數(shù)據(jù)，確保每次加載和顯示的數(shù)據(jù)量較小，從而提高圖像數(shù)據(jù)瀏覽顯示的速度。

3 實(shí)驗結(jié)果及分析

實(shí)驗計算機(jī)為 PC:CPU主頻2.3 GHz，內(nèi)存2 GB，編程環(huán)境為Microsoft Visual C++6.0。實(shí)驗選取15幅大小為3 744*5 616，60.15 MB的原始圖像進(jìn)行拼接，在4倍下采樣條件下，各個步驟時間代價為:幾何校正20.22 s，特征提取32.25 s，序列配準(zhǔn)36.13 s，鑲嵌和融合9.12 s。

定位精度:單張遙感圖像進(jìn)行幾何校正后的定位精度≤60 m，精確校正后的定位精度≤30 m，可以為軍事偵察和打擊任務(wù)服務(wù)。具體定位精度誤差如表1所示。表1中觀測點(diǎn)1比觀測點(diǎn)2在圖像序列中靠后，因此經(jīng)過圖像間相對配準(zhǔn)后，累積誤差較大。地理坐標(biāo)的精校正采用另外3個觀測點(diǎn)的精確地理坐標(biāo)對圖像進(jìn)行一次多項式擬合。

表1 定位精度

系統(tǒng)拼接的全景圖像結(jié)果圖如圖3和圖4所示。由上述實(shí)驗結(jié)果可以看出，本系統(tǒng)可以很好地完成航帶內(nèi)遙感影像的拼接及融合處理，整個系統(tǒng)所花的時間代價也是比較適中的。其定位精度和反應(yīng)速度基本可以滿足軍事偵察情報以及應(yīng)急自然災(zāi)害的需求。但是也存在一些不足，主要體現(xiàn)在:①圖像序列配準(zhǔn)后存在累計誤差，定位精度下降;②利用圖像的特征點(diǎn)進(jìn)行圖像序列配準(zhǔn)所需時間仍然是最耗時的部分;③本系統(tǒng)只適用于平臺高低角和俯仰角小于某個范圍內(nèi)(±3°)單航帶內(nèi)的圖像拼接。

4 結(jié)束語

上述系統(tǒng)考慮了無人機(jī)基本垂直向下拍攝的條件，對幾何校正模型進(jìn)行了化簡。利用圖像的旋轉(zhuǎn)，節(jié)約了幾何校正過程中逐點(diǎn)計算地理坐標(biāo)和重采樣的時間。采用了基于特征的方法，消除了圖像序列間的偏差。利用GeoTiff圖像格式和GADL開源庫處理遙感數(shù)據(jù)優(yōu)勢，直接根據(jù)地理信息進(jìn)行投影鑲嵌，加快了全景圖像的拼接速度。處理后的影像整體效果良好，同時可完全實(shí)現(xiàn)自動化，不需要人工識別或調(diào)整。該系統(tǒng)已經(jīng)應(yīng)用于工程實(shí)踐，試驗效果良好，并且為不同航帶間以及擺掃拍攝條件下的無人機(jī)遙感圖像的拼接打下了良好的基礎(chǔ)。

［1］AUSTIN Reg.無人機(jī)系統(tǒng)［M］.陳自力，董海瑞，江濤，譯.北京:國防工業(yè)出版社，2013:3－17.

［2］狄穎辰，陳云坪，陳瑩瑩，等.無人機(jī)圖像拼接算法綜述［J］.計算機(jī)應(yīng)用，2011，31(1):170 －173.

［3］李 崢.缺少控制點(diǎn)的無人機(jī)遙感影像幾何校正技術(shù)［D］.成都:電子科技大學(xué)，2010:7 －28.

［4］劉春華.航空視頻圖像定位技術(shù)［J］.無線電工程，2008，38(4):13 －14.

［5］BROWN M，LOWE D G.Invariant Features from Interest Point Groups［C］∥British Machine Vision Conference，Cardif，Wales，2002:656 －665.

［6］LOWE D G.Distinctive Image Features from Scale Invariant Keypoints［J］.International Journal of Computer Vision，2004，60(2):91 －110.

［7］MCCARTNEY M I，ZEIN-SABATTO S，MALKANI M.Image Registration for Sequence of Visual Images Captured by UAV［C］∥Computational Intelligence for Multimedia Signal and Vision Processing，Nashville，2009:91 －97.

［8］馮克鵬.遙感圖像鑲嵌中多尺度羽化方法的應(yīng)用研究［D］.銀川:寧夏大學(xué)，2009:27－35.