郭 威，周厚奎，余 璇，徐家揚(yáng)

(1.浙江農(nóng)林大學(xué)，浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，311300，浙江，臨安；2.浙江農(nóng)林大學(xué)信息工程學(xué)院，浙江省計(jì)算機(jī)應(yīng)用技術(shù)重點(diǎn)學(xué)科，311300，浙江，臨安)

無人機(jī)影像自動(dòng)拼接校正

郭 威1,2，周厚奎1,2，余 璇1,2，徐家揚(yáng)1,2

(1.浙江農(nóng)林大學(xué)，浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，311300，浙江，臨安；2.浙江農(nóng)林大學(xué)信息工程學(xué)院，浙江省計(jì)算機(jī)應(yīng)用技術(shù)重點(diǎn)學(xué)科，311300，浙江，臨安)

無人機(jī)影像可獲得海量的高空間分辨率影像，在國土資源、林業(yè)調(diào)查、農(nóng)業(yè)、災(zāi)害快速響應(yīng)等多方面具有廣闊的應(yīng)用前景，不過如何立刻收集這些數(shù)據(jù)，是無人機(jī)快速應(yīng)用的一個(gè)難題。如何拼接一系列具有重疊區(qū)的相鄰影像，構(gòu)成無縫可用的總影像，是應(yīng)用的一個(gè)重要問題。研究采用浙江省富陽的無人機(jī)影像，預(yù)處理后基于參考影像，先對待匹配影像進(jìn)行均質(zhì)化變換，以減小影像間的明顯差異，再尋找匹配特征并尋優(yōu)。在影像之間的重疊區(qū)域，為盡量達(dá)到影像間無縫連接，采用平滑處理。拼接算法在Matlab 6.5中實(shí)現(xiàn)所得到的最終結(jié)果，較好地實(shí)現(xiàn)了影像間的結(jié)合，總體連接平滑并且接縫不明顯。研究能夠?yàn)閷?shí)現(xiàn)無人機(jī)影像的自動(dòng)化處理，加快無人機(jī)在各領(lǐng)域的應(yīng)用。

無人機(jī)；影像拼接；均質(zhì)化變換；重疊區(qū)；平滑處理

0 引言

無人機(jī)擁有快速、方便、空間分辨率高以及低成本獲取大量信息的特點(diǎn)，可以滿足遙感監(jiān)測的高時(shí)效和高精度要求，完善多平臺(tái)遙感立體監(jiān)測體系。并可幫助資源調(diào)查及災(zāi)害快速響應(yīng)，應(yīng)用范圍隨信息化快速增長，但現(xiàn)有的數(shù)據(jù)難以滿足需求[1]。

影像拼接需求廣泛，并且是照相繪圖學(xué)、機(jī)器視覺、無人機(jī)影像處理研究的熱點(diǎn)。拼接無人機(jī)影像，采用連接一系列空間重疊的無人機(jī)影像，拼接成總的無縫高清無人機(jī)影像，與單幅無人機(jī)影像相比，視野更寬廣，應(yīng)用更廣泛[2]。

1 理論基礎(chǔ)

無人機(jī)影像的拼接算法有基于區(qū)域相關(guān)的拼接算法和基于特征的配準(zhǔn)算法?；趨^(qū)域的配準(zhǔn)方法依據(jù)灰度值或經(jīng)過快速傅里葉變換的灰度信息，采用最小二乘法等計(jì)算影像間灰度值的差異，根據(jù)這個(gè)縣尋找重疊區(qū)域的范圍和位置，然后判斷重疊區(qū)域的相似程度，從而進(jìn)行無人機(jī)影像拼接；基于特征相關(guān)的拼接算法不直接利用無人機(jī)影像的像元值，而是以由灰度信息得出的無人機(jī)影像的特征作為標(biāo)準(zhǔn)，對無人機(jī)影像重疊部分的對應(yīng)特征區(qū)域進(jìn)行搜索匹配，具有更強(qiáng)的魯棒性[3-5]。

無人機(jī)影像拼接技術(shù)主要分為預(yù)處理、配準(zhǔn)、融合與邊界平滑3個(gè)部分。預(yù)處理就是先糾正變形圖像然后統(tǒng)一到建立的坐標(biāo)系中，從而來測量地物的坐標(biāo)信息[3]。由于無人機(jī)的體積較小，所以有抗風(fēng)能力差、自穩(wěn)定性不高的問題，雖然裝有自動(dòng)駕駛與增穩(wěn)陀螺，但傾斜抖動(dòng)仍不可避免，再加上相機(jī)鏡頭的非線性，會(huì)造成所得影像的各種幾何畸變，所以無人機(jī)影像拼接首先要對單幅無人機(jī)影像進(jìn)行預(yù)處理，以減少無人機(jī)影像的問題導(dǎo)致的誤匹配。配準(zhǔn)就是提取參考無人機(jī)影像和待拼接無人機(jī)影像中的匹配信息，并尋優(yōu)。由于下墊面不同、地形起伏、無人機(jī)的飛行姿態(tài)等差異，相鄰影像間的對應(yīng)信息亦有差異，一個(gè)好的無人機(jī)影像配準(zhǔn)算法，應(yīng)能在更多差異情況下都能準(zhǔn)確找到無人機(jī)影像間的對應(yīng)信息，實(shí)現(xiàn)無人機(jī)影像間的匹配和尋優(yōu)[5]。融合與邊界平滑是指完成無人機(jī)影像匹配之后，對無人機(jī)影像進(jìn)行縫合，以及對縫合的邊界進(jìn)行平滑處理使其自然過渡。因?yàn)椴杉噜彽臒o人機(jī)影像時(shí)總有差異，從而使得一些本應(yīng)一致的無人機(jī)影像特性，在不同無人機(jī)影像中的表現(xiàn)也不一樣。所以從一幅無人機(jī)影像拼接過渡到另一幅無人機(jī)影像時(shí)，就會(huì)產(chǎn)生明顯的拼接縫隙。影像融合的目的就是為了讓這種接縫不明顯，達(dá)到視覺一致性[3,5,7]。

拼接算法在Matlab 6.5中實(shí)現(xiàn)。Matlab是美國MathWorks公司出品的專門以矩陣的形式處理數(shù)據(jù)商業(yè)數(shù)學(xué)軟件。具有：1)編程效率高；2)用戶使用方便；3)擴(kuò)充能力強(qiáng)；4)友好的用戶界面；5)接近數(shù)學(xué)表達(dá)式的自然化語言；6)高效方便的矩陣和數(shù)組運(yùn)算；7)完備的圖形處理功能，實(shí)現(xiàn)計(jì)算結(jié)果和編程的可視化等優(yōu)點(diǎn)[8]，從而應(yīng)用廣泛。

2 數(shù)據(jù)與方法

無人機(jī)試飛于2009年夏季在浙江省富陽市進(jìn)行，坐標(biāo)東經(jīng)119°57′E、北緯30°03′N。旋翼無人機(jī)遙感平臺(tái)的系統(tǒng)集成主要有直升機(jī)本體、機(jī)載電控箱、地面站3個(gè)部分(圖1)。同時(shí)在日本新一代旋翼式無人航空攝影平臺(tái)Herakles Ⅱ基礎(chǔ)上集成，主要包括遙感設(shè)備及控制系統(tǒng)、飛行控制與監(jiān)視系統(tǒng)、無線電遙測遙控系統(tǒng)、數(shù)據(jù)傳輸和通訊系統(tǒng)等。

圖1 航空攝影平臺(tái)Herakles Ⅱ及集成設(shè)備

無人機(jī)影像拼接的主要流程如圖2所示。首先進(jìn)行無人機(jī)遙感影像的預(yù)處理，并采用均質(zhì)化變換減小影像間的差異，最后運(yùn)用漸入漸出加權(quán)平均法實(shí)現(xiàn)圖像融合[4]。預(yù)處理主要針對2個(gè)方面進(jìn)行：糾正數(shù)碼照相機(jī)鏡頭非線性造成的畸變，糾正無人機(jī)由于平臺(tái)姿態(tài)、位置變化引起的傳感器外方位元素的誤差。

影像匹配的算法分基于灰度信息和基于特征的2種匹配算法。其中基于灰度信息的方法更簡便，而基于特征的匹配算法效率更高，魯棒性更好，包括基于Harris算子、MSER算子、SURF算子以及SIFT算子的算法等?？紤]到SIFT算法提取的特征點(diǎn)，在圖像進(jìn)行一些尺度或視角的變化后仍可保持穩(wěn)定的這一優(yōu)點(diǎn)，有利于更好匹配2幅具有差異的圖像的特征[4]。這正針對無人機(jī)影像生成過程中主要的畸變情形，故而本研究采用該算法。采用高斯卷積核生成的尺度空間中檢測極值點(diǎn)，精煉特征點(diǎn)位置，最后采用關(guān)鍵點(diǎn)特征向量的歐氏距離作為判定度量2幅圖像中關(guān)鍵點(diǎn)的相似性[6]。

考慮到拍攝角度和曝光時(shí)間等條件的不同，待拼接無人機(jī)影像間可能存在像元值差異，并引起拼接后的無人機(jī)影像拼接縫合處出現(xiàn)明顯的明暗變化，對無人機(jī)影像拼接處的縫隙進(jìn)行融合和平滑處理，以便實(shí)現(xiàn)最終的無縫拼接[5,7-8]。目前，無人機(jī)影像平滑處理的方法有多種，其中平均值融合法易于操作，算法簡單，但拼接痕跡過于明顯；多分辨樣條融合法拼接質(zhì)量高，可實(shí)現(xiàn)不同強(qiáng)度的無人機(jī)影像的融合，但實(shí)現(xiàn)起來比較復(fù)雜，計(jì)算量較大，過于繁瑣；加權(quán)平均值法簡單有效，能夠消除拼接痕跡[3]，故本研究使用像素加權(quán)融合法的漸入漸出法，重疊區(qū)域的像元值由2幅影像的像元值組合構(gòu)成，本研究采用5%的第1幅影像及95%的第2幅影像。

圖2 無人機(jī)影像拼接的主要流程

3 結(jié)果與分析

圖3所示是待拼接的2幅無人機(jī)影像，有航向重疊約20%，由一景無人機(jī)影像裁剪而成并模擬保留重疊(圖3)。

讀取2幅影像，找到它們的不變特征點(diǎn)，并且以連線來顯示這些關(guān)鍵點(diǎn)。不變特征點(diǎn)的尋找和選取是拼接匹配的關(guān)鍵，只有當(dāng)距離小于距離比值乘以到次最近匹配的距離某個(gè)匹配才會(huì)被認(rèn)可。生成1幅新影像，將2幅影像(待配無人機(jī)影像與參考無人機(jī)影像)放置在一起(圖4)。第1幅影像的尺寸為1 201×900，第2幅影像的尺寸相同。對應(yīng)點(diǎn)之間劃線，顯示匹配結(jié)果并計(jì)算出2幅影像的重疊區(qū)域，所要得到的最終結(jié)果，就是2幅影像的加和且只保留一次重疊區(qū)域。為保證2幅影像拼接之后看起來仍然保持一致，對第2幅影像(待配影像)參考第1幅影像進(jìn)行均質(zhì)化變換，使其與第1幅影像相匹配。也就是說，拼接2幅影像除重疊區(qū)域以外的部分，并重新計(jì)算重疊區(qū)域的情況，得到最終的結(jié)果(圖5)。

圖3 待拼接的2幅無人機(jī)影像

圖4 2幅無人機(jī)影像對應(yīng)點(diǎn)之間的匹配(連線)

圖5 最終得到的拼接影像

4 結(jié)論

無人機(jī)影像拼接技術(shù)可以用來建立大視角的高分辨率圖像，落實(shí)無人機(jī)在國土資源、林業(yè)調(diào)查、農(nóng)業(yè)、災(zāi)害快速響應(yīng)等多方面的應(yīng)用。本研究結(jié)合圖像拼接的流程，實(shí)現(xiàn)無人機(jī)影像的自動(dòng)拼接技術(shù)，為開發(fā)相關(guān)的自動(dòng)處理軟件打下基礎(chǔ)。首先針對圖像進(jìn)行預(yù)處理，包括幾何畸變校正和影像間的均質(zhì)化變換等，統(tǒng)一參考圖像和待拼接圖像。然后分析了現(xiàn)有的圖像配準(zhǔn)算法，提取參考圖像和待拼接圖像中的匹配信息，并在其中尋優(yōu)。對于圖像間的重疊部分，進(jìn)行融與邊界平滑處理，拼接影像并盡量讓接縫自然過渡。本研究還以浙江省富陽市的無人機(jī)試飛影像為例，在Matlab中實(shí)驗(yàn)了上述過程，實(shí)踐了無人機(jī)影像的自動(dòng)拼接。

[1] 金偉,葛宏立,杜華強(qiáng),等.無人機(jī)遙感發(fā)展與應(yīng)用概況[J].遙感信息,2009(1):88-92.

[2]余宏生,金偉其.數(shù)字圖像拼接方法研究進(jìn)展[J].紅外技術(shù),2009,31(6):348-353.

[3]狄穎辰,陳云坪,陳瑩瑩,等.無人機(jī)圖像拼接算法綜述[J].計(jì)算機(jī)應(yīng)用,2011,31(1):170-174.

[4]李新,葛小燕.基于SIFT的低空遙感圖像拼接[J].制造業(yè)自動(dòng)化,2013,35(3):18-20.

[5]陳挺.圖像拼接算法及實(shí)現(xiàn)[J/OL].[2009-06-03]. http://wenku.baidu.com/link url=dtKGRAi92KRlY-ZIZ-0kdWG7RgUXhz7p-Nkux2YByjfa0BxCj_KE6mIx-WmauadjEONERq8CZVyvsOFg5zFUqWa1mWIce-MtM-zuS5gYv1CTC3.

[6]劉慶元,劉有,鄒磊,等.無人機(jī)遙感影像拼接方法探討[J].測繪通報(bào),2012(5):53-55.

[7]蓋進(jìn)偉,韓燮.一種基于特征點(diǎn)匹配的圖像拼接方法研究[J].計(jì)算機(jī)測量與控制,2012,20(3):836-837.

[8]飛思科技產(chǎn)品研發(fā)中心.MATLAB 6.5輔助圖像處理[M].北京:電子工業(yè)出版社,2003.

[9]李宇昊.無人機(jī)在林業(yè)調(diào)查中的應(yīng)用實(shí)驗(yàn)[J].林業(yè)資源管理,2007(4):69-73.

AutomaticMosaicofUnmannedAerialVehicleImages

GUO Wei1,2,ZHOU Houkui1,2,YU Xuan1,2,XU Jiayang1,2

(1.Zhejiang Provincial Key Laboratory of Forestry Intelligent,Monitoring and Information Technology Research,Zhejiang A&F University,311300,Linan,Zhejiang,PRC;2.Zhejiang Provincial Key Discipline of Computer Application,Zhejiang A&F University,311300,Linan,Zhejiang,PRC)

Unmanned aerial vehicle (UAVs) could generate a great amount of high spatial resolution images,which are useful in land investigation,forestry,agriculture,and quick response etc.However,it is a bottleneck to process them promptly.First of all,it is necessary to mosaic a series of adjacent images.This study took the UAV images from flight in Fuyang,Zhejiang province.Through pre-processing,homogenous transformation,extract the corresponding features and optimize them to match the UAV images.On the overlapping regions,smoothing was processed to ensure seamless mosaic.It was programmed in Matlab6.5,and the results realized mosaic satisfyingly with not obvious seams.The study could serve as a supplemental experiment on the automatic processing of UAV images.

Unmanned aerial vehicle (UAVs);mosaic;homogenous transformation;overlaps;smoothing

2014-09-28;

2014-11-12

郭 威(1994-)，男，湖南人，本科，從事無人機(jī)及其影像處理研究。

浙江農(nóng)林大學(xué)科研發(fā)展基金人才啟動(dòng)項(xiàng)目(2014FR014)；浙江農(nóng)林大學(xué)創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目(201309013)；浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室、智慧農(nóng)林研究中心基金(2013ZHNL01)；國家自然科學(xué)基金青年基金(31300539)；浙江省自然科學(xué)基金項(xiàng)目(LQ13F050006，Y5110145)資助。

*通訊作者：雒瑞森，男，博士，主要從事林火時(shí)空格局分析研究工作。

10.13990/j.issn1001-3679.2014.06.029

TP391

A

1001-3679(2014)06-0874-04