卜全民 趙小喬 李 濤

隨著“實(shí)景三維中國”“智慧化城市建設(shè)”等建設(shè)項(xiàng)目的深入開展，三維實(shí)景建模技術(shù)和應(yīng)用得以快速發(fā)展。無人機(jī)傾斜攝影三維建模技術(shù)具有方便靈活、成本低、精度高等優(yōu)勢，已成為構(gòu)建大場景三維實(shí)景模型的主要技術(shù)手段①孫杰、謝文寒等：《無人機(jī)傾斜攝影技術(shù)研究與應(yīng)用》，《測繪科學(xué)》2019年第6 期。。在無人機(jī)傾斜攝影測量三維建模技術(shù)中，控制點(diǎn)布設(shè)和航線規(guī)劃方案對三維模型成果精度、作業(yè)效率和成本具有重要影響。此外模型成果中也會經(jīng)常出現(xiàn)懸空物、遮擋等現(xiàn)象，影響模型質(zhì)量。張慧瑩等②張慧瑩、董春來、王繼剛等：《基于Context Capture 的無人機(jī)傾斜攝影三維建模實(shí)踐與分析》，《測繪通報(bào)》2019年增刊。提出了隔行帶、隔基線布設(shè)方法，范攀峰等③范攀峰、李露露：《基于Smart3D 的低空無人機(jī)傾斜攝影實(shí)景三維建模研究》，《測繪通報(bào)》2017年第2 期。研究了合理布設(shè)控制點(diǎn)和數(shù)量的方案，但都未形成無人機(jī)傾斜攝影控制點(diǎn)布設(shè)規(guī)范或指導(dǎo)意見。在航線規(guī)劃方面，吳波濤等④吳波濤、張煜、李凌霄等：《基于多旋翼單鏡頭無人機(jī)的三維建模技術(shù)》，《長江科學(xué)院院報(bào)》2016年第11 期。對無人機(jī)傾斜攝影全覆蓋航線進(jìn)行了研究，楊樂⑤楊樂：《面向海島航拍的無人機(jī)航跡規(guī)劃算法研究》，《中國海洋大學(xué)》2014年碩士論文。提出了基于改進(jìn)牛耕式的覆蓋航跡算法，但這些航線規(guī)劃方案都沒有充分利用無人機(jī)的優(yōu)勢及特點(diǎn)。針對懸空物的處理，陳杭⑥陳杭：《一種基于多重紋理映射的傾斜攝影模型單體化技術(shù)》，《測繪與空間地理信息》 2018年第41 期。、譚仁春等⑦譚仁春、李鵬鵬、文琳等：《無人機(jī)傾斜攝影的城市三維建模方法優(yōu)化》，《測繪通報(bào)》2016年第11 期。主要基于Open Scene Graph 三維引擎技術(shù)進(jìn)行了研究，但該方法要求作業(yè)人員對三維模型數(shù)據(jù)結(jié)構(gòu)較為了解，并具備OpenGL 開發(fā)經(jīng)驗(yàn)。針對遮擋物的處理，李明等①李明、張衛(wèi)龍、范丁元等：《城市三維重建中的自動紋理優(yōu)化方法》，《測繪學(xué)報(bào)》2017年第46 期。、卜松濤等②卜松濤、岳凡琦、依蘭等：《基于傾斜影像的三維建筑物紋理提取方法研究》，《測繪與空間地理信息》2014年第10 期。提出最優(yōu)紋理選擇的方法，王宇新等③王宇新、賈棋、劉天陽等：《遮擋物體移除與圖像紋理修補(bǔ)方法》，《計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)》2008年第1期。提出運(yùn)用摳像技術(shù)移除樹木遮擋方法，但這些方法都是把遮擋物作為整體來提取，忽略了遮擋物本身紋理形狀和色調(diào)差異。本文提出根據(jù)三維模型精度要求、測區(qū)地形和地物密度等因素進(jìn)行無人機(jī)平臺選型、控制點(diǎn)布設(shè)和航線路徑規(guī)劃方案選擇的原則及方法，并對傾斜攝影測量系統(tǒng)、影像數(shù)據(jù)處理、三維實(shí)景建模技術(shù)進(jìn)行了研究；針對模型中的懸空物、遮擋物問題，分別提出基于TIN 的降維處理方法和基于紋理色調(diào)、幾何特征的遮擋物分類提取修復(fù)的模型優(yōu)化方法，這些技術(shù)方法的應(yīng)用，取得了很好的三維實(shí)景模型效果。

一、無人機(jī)傾斜攝影測量技術(shù)

無人機(jī)傾斜攝影測量技術(shù)是目前快速獲取三維空間數(shù)據(jù)和實(shí)景模型的主要方法。通過無人機(jī)飛行平臺搭載的多臺不同角度相機(jī)（通常為5 鏡頭），從垂直、傾斜5 個(gè)角度同時(shí)進(jìn)行采集影像數(shù)據(jù)（外業(yè)），快速、高效、精確地獲取地物海量的影像數(shù)據(jù)，通過數(shù)據(jù)處理作業(yè)（內(nèi)業(yè)）生產(chǎn)出三維實(shí)景模型。無人機(jī)具有機(jī)動性好、效率高、成本低等優(yōu)勢，隨著無人機(jī)穩(wěn)控和測繪技術(shù)的快速發(fā)展，無人機(jī)傾斜攝影技術(shù)已成為重要的航測遙感平臺④王朝輝、吳昊、孟將：《無人機(jī)傾斜攝影像控布點(diǎn)方案研究及精度分析》，《 測繪通報(bào)》2021年第5 期。⑤陳理想：《無人機(jī)傾斜攝影實(shí)景三維建模及質(zhì)量評價(jià)》，《測繪與空間地理信息》2019年第1 期。，也是當(dāng)前三維實(shí)景建模技術(shù)領(lǐng)域研究和應(yīng)用的熱點(diǎn)之一⑥原明超、仇?。骸稛o人機(jī)傾斜攝影測量在三維模型測圖中的應(yīng)用》，《 測繪通報(bào)》2020年第7 期。。

（一）無人機(jī)平臺選型

無人機(jī)平臺可分為固定翼、旋翼、垂直起降固定翼等類型⑦連蓉、丁憶等：《傾斜攝影與近景攝影相結(jié)合的山地城市實(shí)景三維精細(xì)化重建與單體化研究》，《 測繪通報(bào)》2017年第11 期。，見圖1：

圖1 傾斜攝影常用無人機(jī)類型

傾斜攝影無人機(jī)各有其技術(shù)優(yōu)勢和不足，見表1：

表1 無人機(jī)分類及其優(yōu)缺點(diǎn)

垂直起降固定翼無人機(jī)● 結(jié)合旋翼和固定翼無人機(jī)的各自優(yōu)勢，可旋翼起降、固定翼巡航● 飛行距離長，巡航面積大，飛行速度快率和清晰度受到限制● 只能按照固定航線飛行，不能懸停獲取連續(xù)影像● 操作難度較大，風(fēng)險(xiǎn)性較高

無人機(jī)平臺選型時(shí)，需要考慮的主要因素：1.具有足夠的安全性和可靠性；2.任務(wù)載荷能力滿足需求；3.飛行控制精度滿足相關(guān)規(guī)范要求；4.測區(qū)的地理環(huán)境和氣象條件；5.續(xù)航時(shí)間、飛行速度、控制距離、操作的便捷性等需求。

（二）傾斜攝影測量系統(tǒng)

攝影測量系統(tǒng)是無人機(jī)傾斜攝影測量系統(tǒng)的核心任務(wù)載荷，主要包括傾斜攝影相機(jī)及其控制系統(tǒng)、位置與姿態(tài)采集系統(tǒng)（POS）等。多角度傾斜相機(jī)通常采用5臺相機(jī)配置，1臺相機(jī)垂直向下，其他4臺相機(jī)按照一定角度傾斜配置，見圖2。這種相機(jī)組合配置能同時(shí)獲取地物同一曝光點(diǎn)的正射和4個(gè)不同方向的多方位影像，作業(yè)效率高，可以快速采集影像，但通常相機(jī)較重，需搭載在續(xù)航時(shí)間長、載荷能力強(qiáng)的無人機(jī)平臺上。在測區(qū)較小或無人機(jī)任務(wù)載荷能力不足等情況下也可選擇1-4 鏡頭相機(jī)配置的方案。

圖2 5 鏡頭傾斜攝影相機(jī)

無人機(jī)傾斜攝影測量通常搭載位置與姿態(tài)采集系統(tǒng)（POS），一般由全球衛(wèi)星導(dǎo)航系統(tǒng)（GNSS，如GPS）和慣性測量單元（IMU）集成，是直接對相機(jī)進(jìn)行定姿定位的一種高精度測量系統(tǒng)。在數(shù)據(jù)處理時(shí)，通過區(qū)域網(wǎng)平差，可以獲得每張影像的精確內(nèi)外方位元素，使影像的位置和姿態(tài)得以恢復(fù)。

航線規(guī)劃時(shí)可按照“井”字飛行路徑設(shè)計(jì)，并沿航線往返飛行，以獲取地物的正射和側(cè)面信息數(shù)據(jù)。航向、旁向影像重疊度要滿足規(guī)范要求①繆玉周：《 消費(fèi)級無人機(jī)傾斜攝影測量技術(shù)在構(gòu)建城市真三維模型中的應(yīng)用研究》，《東華理工大學(xué)》2018年碩士論文.，航向重疊度通常不低于80%、旁向重疊度不低于70%時(shí)，一般可獲得效果好、精度高的三維實(shí)景模型②王壯壯：《 傾斜攝影三維模型構(gòu)建及其優(yōu)化研究》，《江西理工大學(xué)》2021年碩士論文。。

二、控制點(diǎn)布設(shè)和航線規(guī)劃

（一）控制點(diǎn)布設(shè)方案

控制點(diǎn)的主要作用是為整個(gè)測區(qū)影像數(shù)據(jù)提供準(zhǔn)確的定位依據(jù)，可以選擇測區(qū)內(nèi)存在的具有明顯特征的固定點(diǎn)，也可以制作標(biāo)志物作為控制點(diǎn)。測區(qū)內(nèi)控制點(diǎn)的分布和數(shù)量是影響最終三維實(shí)景模型質(zhì)量的重要因素，本文根據(jù)模型精度要求、測區(qū)地形和地物密度并參照《低空數(shù)字航空攝影規(guī)范》要求，設(shè)計(jì)了三種控制點(diǎn)布設(shè)方案，如圖3所示。

圖3 控制點(diǎn)布設(shè)方案

研究表明，一般情況下控制點(diǎn)方案b 可以滿足1:1000 精度要求，控制點(diǎn)方案c 可以滿足1:500精度要求，如果地物結(jié)構(gòu)復(fù)雜、密度較高、模型精度要求高可以選擇方案c 進(jìn)行布設(shè)控制點(diǎn)。

（二）航線規(guī)劃

航線規(guī)劃涉及的主要因素有相機(jī)參數(shù)、飛行相對高度、航向旁向重疊度、飛行路徑等，其中飛行路徑方案的選擇在大區(qū)域測量時(shí)對作業(yè)效率和成本影響較大。

當(dāng)前無人機(jī)飛行路徑規(guī)劃研究重點(diǎn)多集中于點(diǎn)對點(diǎn)路徑規(guī)劃①陳曦、譚鑫、高歡等：《無人機(jī)不同航線傾斜攝影建模方法比較及改進(jìn)》，《 地理空間信息》2021年第10 期。，無人機(jī)連續(xù)飛行拍攝時(shí)需要一定的轉(zhuǎn)彎半徑，在無人機(jī)路徑規(guī)劃時(shí)需要考慮轉(zhuǎn)彎半徑的條件約束。傳統(tǒng)的路徑設(shè)計(jì)多為“之”字形方案，該方案受轉(zhuǎn)彎半徑約束，無效覆蓋面積較大，本文提出“井”字形路徑方案，可有效解決上述問題，研究表明可大幅度提高作業(yè)效率，降低成本。

無人機(jī)傾斜攝影測量外業(yè)流程如圖4所示。

圖4 無人機(jī)傾斜攝影測量外業(yè)流程

三、傾斜攝影數(shù)據(jù)處理和三維實(shí)景建模

傾斜攝影數(shù)據(jù)處理和三維實(shí)景建模是傾斜攝影測量三維建模的內(nèi)業(yè)部分，其質(zhì)量直接影響最終三維實(shí)景模型的效果和精度①劉增良：《基于傾斜攝影的大規(guī)模城市實(shí)景三維建模技術(shù)研究與實(shí)踐》，《測繪與空間地理信息》2019年第2 期。。傾斜攝影數(shù)據(jù)通過以街景工廠、Context Capture Center、Smart 3D 等為代表的三維建模軟件，可實(shí)現(xiàn)測區(qū)整體實(shí)景建模、自動化程度高②繆盾、吳競：《基于Agisoft Photoscan 的圖像三維重建及精度研究》，《測繪工程》2017年第8 期。。

（一）傾斜攝影數(shù)據(jù)處理

傾斜攝影數(shù)據(jù)處理主要包括影像預(yù)處理、空三測量、影像密集匹配等。

1.數(shù)據(jù)預(yù)處理。因光照條件、相機(jī)誤差、飛行控制等因素會造成影像畸變、扭曲、對比度差異過大等問題，為了提高影像后期處理的精度，應(yīng)對影像質(zhì)量進(jìn)行檢查，進(jìn)行畸變校正、勻光勻色等影像處理，并按照統(tǒng)一規(guī)則對影像與POS 數(shù)據(jù)進(jìn)行統(tǒng)一命名編號，影像和POS 數(shù)據(jù)坐標(biāo)系不一致時(shí)，要進(jìn)行坐標(biāo)轉(zhuǎn)換，做好數(shù)據(jù)預(yù)處理工作才能有效保障后續(xù)過程的順利進(jìn)行。

2.空三測量。本文采用光束網(wǎng)法進(jìn)行空三測量，該方法將圖像點(diǎn)的坐標(biāo)作為原始值，采用共線方程線性化，建立整個(gè)區(qū)域的統(tǒng)一性方程式和誤差方程式，對所有待求點(diǎn)地面坐標(biāo)和六個(gè)外方位元素進(jìn)行整體解求。刺點(diǎn)作業(yè)時(shí)可參照現(xiàn)場照片和地物特征確認(rèn)控制點(diǎn)位置，避免刺點(diǎn)錯(cuò)誤，完成后采用光束法進(jìn)行區(qū)域網(wǎng)整體平差解算。該方法具有精度高、理論嚴(yán)謹(jǐn)?shù)奶攸c(diǎn)，在非攝影測量觀測值引入和誤差估計(jì)方面具有出色表現(xiàn)。

3.影像密集匹配。密集匹配是為了計(jì)算測區(qū)每個(gè)物方點(diǎn)三維坐標(biāo)，從而重建整個(gè)測區(qū)影像而進(jìn)行的同名點(diǎn)匹配，對影像解讀具有重要作用。影像密集匹配算法也是目前傾斜攝影測量技術(shù)領(lǐng)域的研究熱點(diǎn)之一，主要有ELAS(Efficient Large-scale Stereo)局部算法、SGM(Semi-global matching)半全局算法、CSCA(Cross-scale cost aggregation)跨尺度代價(jià)聚集算法。ELAS 屬于局部算法，在傾斜表面和紋理較稀疏部位能達(dá)到良好的效果，但在視差不連續(xù)部位效果不好；SGM 算法利用了局部算法和全局算法的各自優(yōu)勢，很好地平衡了匹配效果和效率；CSCA 是一種全局算法，利用多尺度信息進(jìn)行密集匹配，顯著提高了匹配精度。通過密集匹配得到所有影像中的同名點(diǎn)，并從中提取更多的特征點(diǎn)，從而得到整個(gè)測區(qū)的大量點(diǎn)云數(shù)據(jù)。

（二）三維實(shí)景建模

在Context Capture 三維建模軟件中，利用經(jīng)過上述步驟處理好的影像數(shù)據(jù)構(gòu)建不規(guī)則三角網(wǎng)TIN，然后進(jìn)行紋理映射生成三維實(shí)景模型。

1.構(gòu)建TIN。根據(jù)測區(qū)的點(diǎn)云數(shù)據(jù)將區(qū)域構(gòu)建為相連的三角面網(wǎng)絡(luò)，三角面的形狀和大小取決于點(diǎn)的密度和位置，可通過三維建模軟件自動完成。

2.紋理映射。紋理映射即將紋理空間中的紋理像素映射到屏幕空間中的像素的過程。通過三維建模軟件從影像中計(jì)算出紋理，并自動映射到對應(yīng)的白模上，最終形成三維實(shí)景模型。

3.三維實(shí)景模型輸出。模型輸出采用分層顯示技術(shù)，可對建模區(qū)域選用Regular planner grid 進(jìn)行劃分，選擇3D mesh 產(chǎn)品形式和OSGB 格式。

傾斜攝影數(shù)據(jù)處理和三維建模技術(shù)流程如圖5所示。

圖5 傾斜攝影數(shù)據(jù)處理和三維建模技術(shù)流程圖

四、三維實(shí)景模型優(yōu)化

通過無人機(jī)傾斜攝影測量技術(shù)獲取的高分辨率影像數(shù)據(jù)，可實(shí)現(xiàn)真實(shí)度高、可測量的精細(xì)三維實(shí)景模型。但由于受到地物本身特征、光照、影像匹配算法等多種因素影響，三維實(shí)景模型可能會出現(xiàn)懸空物等缺陷①趙躍：《傾斜攝影測量三維模型優(yōu)化方法研究》，《測繪與空間地理信息》2021年第5 期。。由于拍攝角度、地物距離太近等原因，建筑物模型紋理中會出現(xiàn)遮擋現(xiàn)象，需要對三維模型進(jìn)行優(yōu)化處理，以得到更精細(xì)化的三維實(shí)景模型②李安福、曾政祥、吳曉明：《淺析國內(nèi)傾斜攝影技術(shù)的發(fā)展》，《測繪與空間地理信息》2014年第9 期。。

（一）懸空物處理

三維模型中出現(xiàn)的懸空物多為橫截面較小的物體，如路燈、建筑物頂部的廣告牌等。由于影像分辨率、算法識別等因素，模型重建時(shí)很難識別這些地物的全部細(xì)節(jié)，造成地物橫截面較小的部分無法顯示，從而形成模型懸空物現(xiàn)象。

本文針對三維模型中懸空物的處理，提出三維模型數(shù)據(jù)降維處理的方法，通過二、三維數(shù)據(jù)協(xié)同分析解決懸空物處理問題。傾斜攝影三維實(shí)景模型是通過不規(guī)則三角網(wǎng)TIN 和紋理映射構(gòu)建的，TIN模型中記錄了三角網(wǎng)頂點(diǎn)三維坐標(biāo)、法向量、拓?fù)潢P(guān)系等③周曉敏、孟曉林、張雪萍等：《傾斜攝影測量的城市真三維模型構(gòu)建方法》，《測繪科學(xué)》2016年第9 期。，三維三角網(wǎng)投影轉(zhuǎn)換到二維平面時(shí)，記錄保存著所有三角網(wǎng)間的連接關(guān)系、高程信息等，通過離散點(diǎn)最小凸邊形提取④聞俏、蔡紅玥、逯躍鋒：《基于最小凸包的多尺度線狀矢量數(shù)據(jù)匹配方法研究》，《科學(xué)技術(shù)創(chuàng)新》2021年第12 期。、離散點(diǎn)聚類⑤羅有志：《K-means 聚類算法研究及應(yīng)用》，《長沙理工大學(xué)》2016年碩士論文。等算法，可以自動定位并消除懸空地物，該方法較好地解決了傳統(tǒng)三維數(shù)據(jù)格式復(fù)雜、處理要求高等問題。

（二）遮擋物處理

三維實(shí)景模型中出現(xiàn)遮擋物現(xiàn)象主要是由于拍攝角度、地物間距過近等因素造成的。遮擋物紋理需要進(jìn)行移除和遮擋區(qū)域修復(fù)處理，否則就會影響模型效果，降低模型精度。傳統(tǒng)方法多為將遮擋物作為整體進(jìn)行提取處理，但該方法忽略了地物的幾何紋理和色調(diào)差異等基本特征，降低了模型精度。本文根據(jù)形狀、色調(diào)差異對遮擋物進(jìn)行分類處理，如樹冠和樹干形狀和色調(diào)差異很大可進(jìn)行分別提取和修復(fù)。

在地物模型側(cè)面紋理中，樹冠遮擋一般幾何特征為面狀、紋理色調(diào)為綠色，具有特殊的色調(diào)空間和地物側(cè)面紋理信息差異顯著等特點(diǎn)，利用這些特征就可以通過設(shè)置色調(diào)空間作為約束條件對樹冠遮擋進(jìn)行初提取，再利用形狀信息進(jìn)行精提取。而樹干遮擋多呈線狀特征、紋理色調(diào)為近灰褐色等特點(diǎn)，根據(jù)這些特征可以通過色調(diào)空間設(shè)置對樹干遮擋進(jìn)行初提取，再利用邊緣檢測和跟蹤算法進(jìn)行精提取。

遮擋初提取時(shí)先將圖像RGB（紅、綠、藍(lán)色）色度空間轉(zhuǎn)換為HSV（色調(diào)、飽和度、亮度）色度空間，利用色調(diào)、飽和度和亮度的顯著差異提高遮擋物與建筑物之間的紋理辨識度。將初提取結(jié)果進(jìn)行網(wǎng)格化，通過計(jì)算網(wǎng)格的平行線密度和設(shè)置平行線密度閾值的方法進(jìn)行精提取。最后對移除遮擋區(qū)域利用Criminisi 算法進(jìn)行修復(fù)，就可得到更為精細(xì)的紋理圖像，從而解決遮擋問題。

五、結(jié)語

本文研究了無人機(jī)傾斜攝影三維實(shí)景建模技術(shù)，提出了無人機(jī)平臺選型、控制點(diǎn)布設(shè)方案和航向規(guī)劃中飛行路徑設(shè)計(jì)選擇方法，按照上述選型和設(shè)計(jì)方案進(jìn)行傾斜攝影作業(yè)，可大幅度提高作業(yè)效率和采集影像精度。提出傾斜攝影三維實(shí)景模型優(yōu)化技術(shù)，針對模型中懸空物問題，利用基于不規(guī)則三角網(wǎng)TIN 的三維模型數(shù)據(jù)降維處理的方法，通過二、三維數(shù)據(jù)協(xié)同分析處理懸空物，較好地解決了傳統(tǒng)三維數(shù)據(jù)格式復(fù)雜、處理要求高等問題；針對模型中遮擋物問題，利用模型中遮擋物紋理的幾何特征和紋理色調(diào)差異，提取遮擋物紋理，對移除遮擋區(qū)域通過Criminisi 算法進(jìn)行修復(fù)，最后得到更為精細(xì)的紋理圖像，解決遮擋問題。這些技術(shù)方法的應(yīng)用，使生產(chǎn)的三維實(shí)景模型更為真實(shí)、精細(xì)，拓寬了無人機(jī)傾斜攝影三維實(shí)景建模技術(shù)的研究和應(yīng)用思路，對當(dāng)前數(shù)字化、智慧化城市建設(shè)具有一定促進(jìn)作用。