張明義 趙泉樸 吳中華

(1.陸軍軍官學(xué)院無人機(jī)系 合肥 230031)(2. 71290部隊 濰坊 261000)

無人機(jī)機(jī)載光電平臺偵察圖像拼接技術(shù)*

張明義1趙泉樸1吳中華2

(1.陸軍軍官學(xué)院無人機(jī)系 合肥 230031)(2. 71290部隊 濰坊 261000)

針對無人機(jī)機(jī)載光電偵察平臺的技術(shù)特點,對比了多種圖像拼接算法的優(yōu)缺點,給出了基于二進(jìn)制圖像配準(zhǔn)算法和空域圖像融合方法的等效大視場、高分辨率圖像拼接處理方法。

無人機(jī)；偵察；圖像拼接

(1. UAV Department, Army Officer Academy, Hefei 230031)(2. No.71290 Troops of PLA, Weifang 261000)

Class Number E87

1 引言

無人機(jī)機(jī)載光電偵察平臺的分辨率和視場角對于偵察圖像的分辨率和視場起到?jīng)Q定作用。由于視場角與分辨率之間存在相互制約的關(guān)系[1],受材料工藝水平的限制,單片CCD傳感器難以同時滿足無人機(jī)偵察圖像高分辨率和大視場的要求,如果將獲取的視頻圖像直接播放,無法獲得戰(zhàn)場全貌,無法全面進(jìn)行戰(zhàn)況分析、態(tài)勢評估和威脅衡量。為了解決這個問題,本文研究利用圖像拼接技術(shù),將光電偵察平臺獲取的圖像序列拼接成一幅等效的大視場、高分辨率圖像,以滿足航空偵察對大視場和高分辨率的要求。

2 圖像拼接基本流程

圖像拼接是將兩幅或者兩幅以上具有重疊區(qū)域的圖像進(jìn)行圖像配準(zhǔn),以其中一幅為基準(zhǔn)圖像,將其它圖像按配準(zhǔn)得到的仿射矩陣變換到基準(zhǔn)圖像所在坐標(biāo)系下,進(jìn)行圖像融合,得到一幅等效的具有較寬視場角的高分辨率圖像或者360°視角的全景圖像技術(shù)。該技術(shù)為圖像降噪、視場擴(kuò)展、運(yùn)動物體去除[2]、模糊消除、空間解析的提高和動態(tài)范圍增強(qiáng)提供了可能性。圖像拼接流程大致可分為圖像預(yù)處理、圖像配準(zhǔn)和圖像融合等三個步驟,如圖1所示。圖像預(yù)處理是對原始圖像進(jìn)行幾何校正、直方圖匹配、平滑濾波、增強(qiáng)變換等數(shù)字圖像處理的基本操作,為圖像配準(zhǔn)作好準(zhǔn)備；圖像配準(zhǔn)和圖像融合是圖像拼接技術(shù)的核心。

圖1 圖像拼接的基本流程圖

3 圖像配準(zhǔn)算法

圖像配準(zhǔn)是將不同時間、不同傳感器或不同條件下獲取的兩幅或多幅圖像進(jìn)行匹配、疊加,使得圖像上的同名點精確對準(zhǔn)的過程,配準(zhǔn)的精度決定了圖像的拼接質(zhì)量。

3.1 圖像配準(zhǔn)的基本方法

根據(jù)圖像源的不同,圖像配準(zhǔn)主要分為三類:一是基于圖像灰度統(tǒng)計的方法[3]；二是基于變換域的方法[4]；三是基于圖像特征的方法[5]。

基于圖像灰度信息的匹配方法主要有:塊匹配法、比值匹配法、網(wǎng)格匹配法、互信息匹配方法、互相關(guān)匹配方法、投影匹配方法等?；趫D像灰度信息的匹配方法雖然較簡單,易實現(xiàn),但是計算量較大,而且受光照、視角和遮擋的影響較大,圖像的亮度不均勻變化、比例變化、旋轉(zhuǎn)及遮擋都會造成較大的匹配誤差,常用于對具有水平或垂直方向位移以及輕微旋轉(zhuǎn)和變形情況的圖像進(jìn)行配準(zhǔn)。

基于變換域的方法主要有:相位相關(guān)法、擴(kuò)展相位相關(guān)法、小波變換等。這些方法對于頻域出現(xiàn)的噪聲具有較好的魯棒性和較高的匹配精度,但對圖像間的重疊比例要求較高(大于50%)。

基于圖像特征的方法,按利用圖像的特征不同分為基于特征點、基于邊緣和基于結(jié)構(gòu)信息的圖像配準(zhǔn)方法?；谔卣鼽c的圖像配準(zhǔn)在畸變、噪聲等方面具有一定的魯棒性,配準(zhǔn)精度高、計算量小、速度快,但是當(dāng)圖像特征較相似,重疊區(qū)域較小時,容易出現(xiàn)誤匹配,影響配準(zhǔn)精度；基于邊緣的圖像配準(zhǔn)在圖像結(jié)構(gòu)特征不變的情況下,可以排除灰度變化的影響,缺點是對旋轉(zhuǎn)、縮放等幾何畸變的適應(yīng)能力差；基于結(jié)構(gòu)信息的圖像配準(zhǔn)能處理仿射變換和重復(fù)模式的匹配,但是當(dāng)仿射變換比較大和干擾點較多的情況下,匹配效果較差。

3.2 二進(jìn)制圖像配準(zhǔn)算法

二進(jìn)制圖像配準(zhǔn)算法是基于特征點的圖像配準(zhǔn)。該類算法中的特征點檢測主要基于FAST判據(jù):如圖2所示,對于某一像素點p,若其離散包圍圓上的16個點中至少有n個連續(xù)像素點的亮度值大于p的亮度值Ip加上閾值t,或者小于p的亮度值Ip減去閾值t,則判定p為角點,其中9≤n≤12。

圖2 FAST角點檢測算法

FAST判據(jù)的原理是通過比較像素點對的亮度來檢測角點[6],避免了經(jīng)典算法中矩陣或算子與原圖像的卷積計算,可大大提高特征點檢測的速度。對于768 × 512pixels的PAL制視頻圖像,每幀圖像檢測500個特征點,FAST角點檢測算法和各經(jīng)典算法計算時間如表1所示。

表1 FAST角點檢測算法與經(jīng)典算法性能比較

從表1可以看出,FAST算法的檢測速度遠(yuǎn)大于現(xiàn)有的特征點檢測算法。并且對平移、旋轉(zhuǎn)、縮放變化保持高重復(fù)性,但對強(qiáng)噪聲不具有魯棒性,并且檢測結(jié)果依賴于閾值t的選取。

二進(jìn)制圖像配準(zhǔn)算法的主要特點在于其使用BRIEF,Oriented Fast and Rotated BRIEF(ORB),BRISK,FREAK等二進(jìn)制特征描述算子。BRIEF算子是在對原圖像進(jìn)行高斯平滑濾波后,通過比較特征點位置附近服從高斯隨機(jī)分布的512對像素點亮度值,獲得二進(jìn)制字符串作為特征點描述符。ORB,BRISK和FREAK算子都在BRIEF算子的基礎(chǔ)上進(jìn)行改進(jìn),通過比較不同采樣模式下像素點對的亮度獲得二進(jìn)制字符串作為特征點描述符,如圖3所示。其中ORB算子對旋轉(zhuǎn)具有不變性,對噪聲具有較強(qiáng)的魯棒性；BRISK算子和FREAK算子對平移、旋轉(zhuǎn)、尺度變化具有不變性,對噪聲、視角變化具有較強(qiáng)的魯棒性。

圖3 BRISK和FREAK的采樣模式

二進(jìn)制特征描述算子的最大優(yōu)勢是特征描述符的相似性可以用漢明距離代替歐幾里得距離來評估,漢明距離的計算可以通過逐位異或(XOR)附加一個位計數(shù)器來實現(xiàn),比歐幾里得距離的計算效率高很多。對于800 × 600 pixels的序列圖像,每幅圖像檢測1500個特征點,使用二進(jìn)制配準(zhǔn)算法和經(jīng)典配準(zhǔn)算法進(jìn)行特征點描述和匹配計算時間如表2所示。

表2 二進(jìn)制配準(zhǔn)算法與經(jīng)典算法性能比較

由表2可知,二進(jìn)制配準(zhǔn)算法計算速度約比經(jīng)典的SURF,SIFT算法快兩個數(shù)量級,同時保持對噪聲、尺度、旋轉(zhuǎn)變化的魯棒性,適用于實時性要求高的無人機(jī)航空圖像處理任務(wù)。

4 圖像融合

圖像融合是指在完成圖像匹配以后,對圖像進(jìn)行縫合,并對縫合的邊界進(jìn)行平滑處理,讓縫合自然過渡,消除不同時刻圖像采樣,由于圖像光強(qiáng)或色彩的不連續(xù)性而造成的圖像拼接邊界處的縫隙問題,它的主要思想是讓圖像在拼接處的光強(qiáng)平滑過渡以消除光強(qiáng)的突變。圖像融合方法主要分為兩大類:一類是空域融合方法；另一類是頻域融合方法。

4.1 空域融合方法

空域融合方法有算術(shù)平均法、加權(quán)平均法、中值濾波器法等。算術(shù)平均方法的主要思想是:圖像對應(yīng)位置上的灰度值算術(shù)相加后取平均,消除拼縫的痕跡,能提高圖像質(zhì)量,由于簡單的算術(shù)平均,相對于多分辨率融合,其運(yùn)算速度極快。加權(quán)平均法是將重疊區(qū)域中對應(yīng)位置上像素點的灰度值按照一定的權(quán)值處理后疊加在一起,形成一種漸變的效果,之后合成新的圖像,權(quán)值的選取主要采取漸入漸出法和帽子函數(shù)加權(quán)平均法,加權(quán)平均需要進(jìn)行加權(quán)計算,因此該算法的時間復(fù)雜度比算術(shù)平均法要高,但能夠保留更多的細(xì)節(jié)信息。中值濾波器法采用中值濾波器作用在邊界附近區(qū)域的處理方法,使與周圍灰度值差比較大的像素取與周圍像素接近的值,從而消除光強(qiáng)的不連續(xù)性,該算法適于處理邊界附近的狹長地帶,速度較快,但質(zhì)量一般。

4.2 頻域融合方法

頻域融合方法有多分辨率金字塔圖像融合算法和基于小波分解算法等。其基本方法都是把圖像分解到不同分辨率下的一系列子圖像,然后在每一級子圖像上進(jìn)行融合,得到融合后的子圖像序列后再進(jìn)行重構(gòu)。其中,小波變換能夠在不同的空間分辨率上突顯原始圖像的重要特征數(shù)據(jù),并且經(jīng)過小波分解后的細(xì)節(jié)信息損失小,各尺度之間的系數(shù)無冗余,適用于多分辨率圖像融合。

空域融合方法速度快,適合大多數(shù)插入圖像的場合；頻域融合方法是在頻率域上對邊界區(qū)域進(jìn)行融合,質(zhì)量更好,但是在選擇系數(shù)上需要有先驗知識的支持,因此更適合專用的特定場合。

5 圖像匹配實驗

論文采用二進(jìn)制圖像配準(zhǔn)算法和空域融合方法速度對某無人機(jī)機(jī)載光電平臺獲取的偵察圖像進(jìn)行了拼接處理,拼接效果如圖4所示。

圖4 拼接效果

通過實驗得出:對于大小為1k×1k pixels,幀頻為25幀/s的無人機(jī)視頻圖像,圖像拼接精度可達(dá)到2～3pixels,在CPU主頻為2.6Ghz,內(nèi)存容量為4G的PC機(jī)上,采用隔幀抽取圖像進(jìn)行拼接的方法,可實現(xiàn)無人機(jī)偵察視頻圖像的準(zhǔn)實時拼接。拼接后的圖像對于提高戰(zhàn)場全域觀察能力,充分發(fā)揮偵察圖像的使用效益具有重要意義。

[1] 黃波,黃大慶.無人機(jī)光電平臺技術(shù)指標(biāo)設(shè)計方法[J].信息化研究,2010,36(11):26-28.

[2] 楊智堯,宋欣,宋占偉.動態(tài)圖像的拼接與運(yùn)動目標(biāo)檢測方法的研究[J].圖學(xué)學(xué)報,2014,35(6):893-898.

[3] 冷曉艷,薛模根,韓裕生,等.基于區(qū)域特征與灰度交叉相關(guān)的序列圖像拼接[J].紅外與激光工程,2005,34(5):602-605.

[4] 周國庫.基于小波提取邊緣特征點的遙感圖像配準(zhǔn)技術(shù)[D].西安:西北工業(yè)大學(xué),2002.

[5] 張汗靈,郝重陽.基于特征的自動圖像配準(zhǔn)算法[J].電視技術(shù),2003(9):80-83.

[6] Alahi A. FREAK: Fast Retina Keypoint[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2012:510-517.

[7] Mahesh, Subramanyam M V. Automatic image mosaic system using steerable Harris corner detector[C]// International Conference on Machine Vision and Image Processing. 2012:87-91.

[8] Harandi B K G, Shattri Bin Mansor, Helmi Zulhaidi M. Shafri. IMAGE MOSAIC METHODS FOR UAV SEQUENCE IMAGES[C]// Acrs. 2015.

[9] 婁樹理,楊增勝,周曉東.無人機(jī)光電偵察、監(jiān)視技術(shù)研究[J].紅外與激光工程,2007,23(2):28-30.

[10] 肖詩勤,楊關(guān)良,范順昌.一種基于特征的全景圖拼接算法研究[J].艦船電子工程,2009,29(11):119-120.

Image Mosaics of UAV Electro-Optical Platform

ZHANG Mingyi1ZHAO Quanpu1WU Zhonghua2

Aiming at the characteristic of UAV electro-optical platform, the paper contrasted advantages and disadvantages of several image mosaics algorithms. Based on binary image registration algorithm and spatial domain images fusion methods, the paper carried out a mosaic processing method on wide-field and high-definition image.

UAV, reconnaissance, image mosaics

2016年6月15日,

2016年7月21日

張明義,男,博士,副教授,研究方向:無人機(jī)作戰(zhàn)運(yùn)用。

E87

10.3969/j.issn.1672-9730.2016.12.026