韋程文

（深圳市建設(shè)綜合勘察設(shè)計(jì)院有限公司，廣東 深圳 518000）

0.引言

在空間信息科學(xué)技術(shù)不斷發(fā)展的過(guò)程中，遙感影像數(shù)據(jù)在各社會(huì)領(lǐng)域中被廣泛使用。無(wú)人機(jī)（UAVs）遙感的主要優(yōu)勢(shì)為投入低、操作方便、靈活、適用范圍廣等，解決了航空遙感在指定應(yīng)用范圍中快速得到高分辨率影像需求中的空間問(wèn)題。目前，我國(guó)低空域逐漸對(duì)民用開(kāi)放，無(wú)人機(jī)遙感技術(shù)也在不斷地發(fā)展，其使用具有較大的潛力，如何實(shí)現(xiàn)無(wú)人機(jī)數(shù)據(jù)量圖像快速魯棒全自動(dòng)三維處理尤為重要[1]。早特征點(diǎn)檢測(cè)、魯棒性估計(jì)算法、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)重建算法等不斷發(fā)展的過(guò)程中，基于圖像的三維重建技術(shù)也在不斷發(fā)展，從而使基于圖像的自動(dòng)三維重建技術(shù)被廣泛使用[2]。以此，本文針對(duì)無(wú)人機(jī)圖像數(shù)據(jù)特點(diǎn)，提出基于三維重建的大區(qū)域無(wú)人機(jī)影像全自動(dòng)拼接方法，實(shí)現(xiàn)大數(shù)據(jù)無(wú)人機(jī)圖像快速三維重建。

1.無(wú)人機(jī)圖像數(shù)據(jù)的特點(diǎn)

無(wú)人機(jī)搭載相機(jī)大部分都是固定鏡頭非量測(cè)型普通數(shù)碼相機(jī)，在得到圖像的時(shí)候還會(huì)對(duì)圖像對(duì)應(yīng)經(jīng)緯度坐標(biāo)進(jìn)行記錄，并且記錄飛行速度、方向角和高度等信息。無(wú)人機(jī)為了對(duì)飛行穩(wěn)定性進(jìn)行保證，要實(shí)現(xiàn)穩(wěn)定平臺(tái)信息的設(shè)計(jì)，并且提供俯仰角、橫滾角信息。因?yàn)闊o(wú)人機(jī)載和和成本的限制，裝載導(dǎo)航GPS 精度為10m 左右，輔助數(shù)據(jù)記錄角信息精度比較低。無(wú)人機(jī)在飛行前要設(shè)計(jì)航線規(guī)劃軌跡，實(shí)際航飛軌跡不規(guī)則，部分飛行任務(wù)偏離原本的航線，并且在飛行過(guò)程中姿態(tài)并不穩(wěn)定，傾斜比較大。對(duì)于拍攝地形來(lái)說(shuō)，能夠利用Google Earth 數(shù)據(jù)或者公開(kāi)DSM 數(shù)據(jù)得到此區(qū)域相應(yīng)精度在30m 左右的地形高程數(shù)據(jù)。為了避免飛行過(guò)程中漏拍，無(wú)人機(jī)影像的重疊率比較高，在重建圖像過(guò)程中得到航向重疊在70%以上，旁向重疊在30%以上，以此飛行任務(wù)得到大量的影像，部分大場(chǎng)景都會(huì)拍攝得到千張影像[3]。

無(wú)人機(jī)圖像數(shù)據(jù)特點(diǎn)為：（1）在使用過(guò)程中得到無(wú)人機(jī)定焦鏡頭，固定焦距值，并且利用嚴(yán)格標(biāo)定消除畸變，得到相機(jī)內(nèi)參數(shù)信息；（2）有10m 左右精度位置輔助信息；（3）存在粗略地形高程數(shù)據(jù)；（4）存在低精度姿態(tài)輔助信息，一般在10°以內(nèi)；（5）具有豐富地面圖像數(shù)據(jù)紋理，適合自動(dòng)匹配重建；（6）保證高重疊率[4]。

2.高光譜影像拼接的三維重建

2.1 影像拼接流程

無(wú)人機(jī)高光譜影像拼接流程，整體拼接流程根據(jù)處理影像波段數(shù)包括三部分（如圖1 所示）。因?yàn)椴煌ǘ纬上駛鞲衅魑恢貌煌统上駮r(shí)間的不同，高光譜影像不同波段具有配準(zhǔn)誤差，所以在拼接前實(shí)現(xiàn)影像配準(zhǔn)處理，配準(zhǔn)之后同幅影像各個(gè)波段數(shù)據(jù)利用統(tǒng)一姿態(tài)參數(shù)進(jìn)行描述。因?yàn)楹罄m(xù)步驟目的就是對(duì)影像姿態(tài)參數(shù)進(jìn)行計(jì)算，得到拍攝區(qū)域中空間信息密集點(diǎn)云，利用單波段數(shù)據(jù)處理得到幾何信息。通過(guò)數(shù)字微分實(shí)現(xiàn)影響波段數(shù)據(jù)幾何糾正，鑲嵌得出拍攝區(qū)域拼接影像[5]。

圖1 無(wú)人機(jī)高光譜影像拼接流程

為了實(shí)現(xiàn)全自動(dòng)波段配準(zhǔn)，本文方案將中間波段數(shù)據(jù)作為基準(zhǔn)數(shù)據(jù)，通過(guò)二次多項(xiàng)式將其他波段和基準(zhǔn)波段幾何關(guān)系充分描述，實(shí)現(xiàn)各波段數(shù)據(jù)和基準(zhǔn)數(shù)據(jù)的特征點(diǎn)匹配，以匹配特征點(diǎn)坐標(biāo)實(shí)現(xiàn)二次多項(xiàng)式系數(shù)擬合，以此實(shí)現(xiàn)各波段數(shù)據(jù)幾何配準(zhǔn)。高光譜數(shù)據(jù)波段配準(zhǔn)前后的對(duì)比，（如圖2 所示）。通過(guò)圖2 可以看出來(lái)，配準(zhǔn)之前具有配準(zhǔn)誤差，影像重影，通過(guò)二次多項(xiàng)式配準(zhǔn)之后的各個(gè)波段影像具有良好的重疊，沒(méi)有重影問(wèn)題，同個(gè)高光譜數(shù)據(jù)各個(gè)波段利用統(tǒng)一姿態(tài)參數(shù)對(duì)空間位置姿態(tài)進(jìn)行描述。選擇波段能夠在高光譜數(shù)據(jù)中選擇一個(gè)波段數(shù)據(jù)，生成后續(xù)點(diǎn)云，一般在豐富紋理波段中能夠提取大量的特征點(diǎn)數(shù)量，但是本文并沒(méi)有使波段數(shù)據(jù)量作為選擇波段評(píng)價(jià)標(biāo)準(zhǔn)，主要是因?yàn)閷?duì)大區(qū)域影像序列分析，某個(gè)影像中某波段信息量豐富，并不代表此區(qū)域全部影像中此波段信息量都比較豐富。所以，本文選擇高光譜影像中間段選擇后續(xù)特征點(diǎn)[5]。

圖2 高光譜數(shù)據(jù)波段配準(zhǔn)前后的對(duì)比

2.2 提取特征點(diǎn)

本文利用改進(jìn)SIFT方法將特征點(diǎn)進(jìn)行提取，SIFT特征點(diǎn)的主要特點(diǎn)為光照、旋轉(zhuǎn)、尺度等不發(fā)生改變，具有良好魯棒性，能夠滿足寬基線匹配，所以滿足MAV采集圖像姿態(tài)不穩(wěn)定問(wèn)題。特征點(diǎn)匹配過(guò)程中利用KD樹(shù)使搜索效率得到提高，并且使用從粗到精的匹配策略，對(duì)高冗余度數(shù)碼照片集進(jìn)行處理[6]。

2.3 分析運(yùn)動(dòng)獲取結(jié)構(gòu)

SFM屬于計(jì)算機(jī)視覺(jué)領(lǐng)域標(biāo)準(zhǔn)技術(shù)，針對(duì)照片之間特征點(diǎn)的匹配關(guān)系，利用非線性優(yōu)化方法對(duì)相機(jī)參數(shù)和稀疏三維點(diǎn)云進(jìn)行計(jì)算。通過(guò)貪婪搜索SFM方法和遞進(jìn)方法逐臺(tái)的添加相機(jī)，初始相機(jī)對(duì)標(biāo)標(biāo)定使用五點(diǎn)法對(duì)穩(wěn)定初值進(jìn)行確定，避免非線性在局部極值中收斂，得出錯(cuò)誤相機(jī)標(biāo)定結(jié)果[7]。

2.4 多視立體三維重建

MVS為近幾年發(fā)展的計(jì)算機(jī)視覺(jué)技術(shù)，通過(guò)已標(biāo)定多視角照片實(shí)現(xiàn)三維重建，一般方法為深度圖、基于法向量、面片融合的方法。本文使用深度圖融合三維重建方法，重點(diǎn)為對(duì)立體圖像深度圖的恢復(fù)進(jìn)行確定，并且使高可靠性的多深度圖進(jìn)行融合，從而得出密集三維點(diǎn)云，以下為具體過(guò)程：

給定某圖像對(duì)為Yi=(Is，It)，基線比較大，利用DAISY描述子和極限量測(cè)相識(shí)度，對(duì)稠密深度圖。DAISY為通過(guò)一系列梯度直方圖串聯(lián)構(gòu)成，計(jì)算劃分成為多個(gè)獨(dú)立方向梯度計(jì)算，之后使每個(gè)方向梯度模值綜合構(gòu)成方向直方圖，此計(jì)算過(guò)程利用各方向梯度實(shí)現(xiàn)不同尺度高斯濾波。DAISY得出與SIFT直方圖計(jì)算過(guò)程相類似的不變性，但是效率比較高，滿足圖像逐個(gè)像素點(diǎn)對(duì)描述子進(jìn)行計(jì)算，所以滿足密集匹配生成深度圖。

為了使計(jì)算效率得到提高，直接利用DAISY匹配度分支對(duì)一幅圖像像素x具有深度d概率進(jìn)行計(jì)算：

式中，指的是圖像像素x對(duì)應(yīng)描述子；在另一幅圖像中的描述子，假設(shè)深度為d。分布函數(shù)陡峭度通過(guò)進(jìn)行控制；Z指的是歸一化常數(shù)，保證概率和為1。為了決定是否使深度值為某像素賦予，根據(jù)對(duì)極線均勻采樣得到最大概率前兩位，對(duì)兩者比值進(jìn)行計(jì)算：

在RΧ 比某閾值要大的時(shí)候，此深度值也是有效的，本文實(shí)驗(yàn)中所使用的閾值為0.75，結(jié)果表示所產(chǎn)生外點(diǎn)比較少。生成稠密點(diǎn)云，通過(guò)泊松重構(gòu)方法生成3D表面格網(wǎng)模型[8]。

2.5 建筑物紋理重建

收集數(shù)據(jù)，得出描述圖像輪廊的便捷模型。但是要?jiǎng)?chuàng)建真實(shí)三維模型，并且實(shí)現(xiàn)建筑物表面紋理重建。本文對(duì)簡(jiǎn)單建筑物模型進(jìn)行考慮，通過(guò)多邊形頂面和矩形側(cè)面構(gòu)成。所以，紋理重建要和其對(duì)應(yīng)，也就是頂面紋理與側(cè)面紋理的重建。通過(guò)序列影像重建建筑物模型在兩幅或者更多影像中出現(xiàn)，所以要在多幅影像中選擇建筑物重建最優(yōu)紋理。不管是頂面或者側(cè)面紋理選擇，都要在建筑物某個(gè)紋理可見(jiàn)時(shí)，紋理區(qū)域面積越大，那么重建紋理圖像就會(huì)越清晰，能夠?qū)⒔ㄖ锉砻婕y理特征展現(xiàn)出來(lái)。

3.實(shí)驗(yàn)結(jié)果

本文實(shí)現(xiàn)無(wú)人機(jī)系統(tǒng)數(shù)據(jù)的實(shí)驗(yàn)，提供實(shí)驗(yàn)數(shù)據(jù)無(wú)人機(jī)系統(tǒng)包括環(huán)境調(diào)查、資源調(diào)查、災(zāi)害測(cè)量系統(tǒng)，使用不同小型固定翼無(wú)人機(jī)飛行平臺(tái)，無(wú)人機(jī)飛行高度為200-2000m，無(wú)人機(jī)平臺(tái)掛載定位精度為5-15m左右動(dòng)態(tài)單點(diǎn)定位GPS與定位10°之內(nèi)陀螺儀。飛行前通過(guò)航線規(guī)劃軟件設(shè)置拍攝重疊與旁向重疊，避免圖像模糊，相機(jī)曝光時(shí)間不超過(guò)1/500s。

3.1 實(shí)驗(yàn)結(jié)果

本文實(shí)現(xiàn)Bundler中GPU并行化，對(duì)比增量式重建方法與批處理方法標(biāo)定結(jié)構(gòu)差異，給出實(shí)驗(yàn)數(shù)據(jù)，一組數(shù)據(jù)包括通過(guò)專業(yè)攝影測(cè)量軟件Inpho標(biāo)定結(jié)果，將此結(jié)果作為參考，使批處理方法實(shí)驗(yàn)結(jié)果對(duì)比。

對(duì)比Inpho測(cè)量軟件，數(shù)據(jù)共有2037 幅圖像，飛行高度為1000m，數(shù)據(jù)輔助部分（如表1 所示）。對(duì)比結(jié)果（如圖3 所示）。本文絕對(duì)定向使用方法為標(biāo)定位置信息與輔助信息GPS 位置信息絕對(duì)定向，所以GPS 位置信息具有誤差。圖3表示批處理方法標(biāo)定結(jié)果與Inpho 標(biāo)定結(jié)果差距為10m，此記錄GPS 坐標(biāo)精度相當(dāng)，所以標(biāo)定結(jié)果處于合理誤差范圍。

表1 數(shù)據(jù)輔助部分

圖3 對(duì)比結(jié)果

對(duì)相機(jī)位置信息各分量進(jìn)行統(tǒng)計(jì)，方向角信息各分量誤差均值、最大值、外點(diǎn)個(gè)數(shù)與90%誤差范圍進(jìn)行統(tǒng)計(jì)。對(duì)比結(jié)果（如表2 所示）：外點(diǎn)信息指的是誤差超過(guò)均值誤差5 倍的誤差個(gè)數(shù)，90%誤差范圍指的是90%誤差中最大誤差值。本組數(shù)據(jù)在CPU版本運(yùn)行時(shí)間在10 天以上，此數(shù)據(jù)在使用CPU版本運(yùn)行中出錯(cuò)，標(biāo)定過(guò)程中出現(xiàn)中斷，結(jié)果出現(xiàn)嚴(yán)重錯(cuò)誤。推測(cè)主要是因?yàn)樵黾幽撤鶊D像位置估計(jì)優(yōu)化過(guò)程中出現(xiàn)錯(cuò)誤，從而在添加后續(xù)圖像的時(shí)候整體結(jié)構(gòu)出現(xiàn)錯(cuò)誤。GPU版本中Bundler，因?yàn)轱@存原因，在捆綁調(diào)整時(shí)無(wú)法通過(guò)，簡(jiǎn)單來(lái)說(shuō)此實(shí)驗(yàn)使用增量式重建方法標(biāo)定。處理此數(shù)據(jù)合理方法就是實(shí)現(xiàn)原始數(shù)據(jù)分組調(diào)整，使增量式重建方法改變成為分步重建思路。

表2 對(duì)比結(jié)果

3.2 結(jié)果分析

批處理方法和增量式重建對(duì)比，在大數(shù)據(jù)無(wú)人機(jī)圖像處理能管理方面有所提高，并且此攝影軟件Inpho標(biāo)定結(jié)果對(duì)比，整體精度處于10m之內(nèi)。根據(jù)GPS坐標(biāo)絕對(duì)定向，GPS坐標(biāo)自身具有10m誤差，所以批處理標(biāo)定結(jié)果在合理標(biāo)定范圍中。此數(shù)據(jù)表示，在無(wú)人機(jī)圖像攝像機(jī)投影矩陣估計(jì)與場(chǎng)景重建過(guò)程中，批處理方法對(duì)比重建Bundler方法在處理效率、能力和穩(wěn)定性方面具有一定優(yōu)勢(shì)，本文算法在無(wú)人機(jī)圖像重建和標(biāo)定過(guò)程中具備可行性[9]。標(biāo)定結(jié)果位置與角度誤差統(tǒng)計(jì)結(jié)果（如表3 所示）：

表3 標(biāo)定結(jié)果位置與角度誤差統(tǒng)計(jì)結(jié)果

4.結(jié)束語(yǔ)

本文提出了三維重建無(wú)人機(jī)影像全自動(dòng)拼接方法，此方法通過(guò)密集點(diǎn)云方式重建拍攝區(qū)域，并且不需要其他的輔助數(shù)據(jù)，在拼接過(guò)程中不需要人工干預(yù)。通過(guò)實(shí)驗(yàn)結(jié)果表示，無(wú)人機(jī)影像全自動(dòng)拼接方法能夠及時(shí)得到高精度拼接影像。本文算法能夠過(guò)濾顯著離散點(diǎn)，但是對(duì)邊緣點(diǎn)誤認(rèn)為離散點(diǎn)過(guò)濾，對(duì)拼接精度造成影響。因?yàn)槠唇訑?shù)據(jù)為高光譜影響，本文不對(duì)拼接輻射一致性問(wèn)題考慮，上述問(wèn)題在后續(xù)研究過(guò)程中改進(jìn)。