趙紅蕊，秦進(jìn)春,2，譚琪凡

(1.清華大學(xué) 土木工程系，北京 100084；2.西安測繪研究所，陜西 西安 710054)

0 引 言

多視圖三維重建技術(shù)是快速便捷獲取大范圍空間信息的重要手段。面向各類應(yīng)用場景，通過與其他硬件、軟件、算法融合實(shí)現(xiàn)廣泛應(yīng)用，目前已在事故應(yīng)急救援[1]、森林監(jiān)測[2-3]、海浪監(jiān)測[4]、人臉重建[5-6]及人體掃描[7-8]等眾多方面得到應(yīng)用。在土木工程領(lǐng)域也得到探索性的應(yīng)用，例如建筑[9-10]、道路[11-12]和橋梁[13]等。最熱門的應(yīng)用領(lǐng)域是建筑，最熱門的應(yīng)用場景是三維場布、施工部署、施工監(jiān)測等施工管理場景。這些應(yīng)用場景對(duì)建筑物模型的精度和細(xì)節(jié)要求較高，需要結(jié)合建筑物的特點(diǎn)進(jìn)行三維重建或優(yōu)化。

針對(duì)建筑物進(jìn)行重建或優(yōu)化典型的算法就是利用建筑物直線和平面獨(dú)特的幾何關(guān)系，識(shí)別圖像中的建筑物特征。張恒等[14]通過形態(tài)學(xué)層級(jí)分析，在高分辨率合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)影像中提取建筑物特征。張浩等[15]將支持向量機(jī)分類器(SVM)用于建筑物識(shí)別與分類，并對(duì)分類結(jié)果中的建筑物進(jìn)行輪廓提取，對(duì)于建筑物重建具有重要指導(dǎo)意義。王燕妮等[16]提出一種局部特征結(jié)合形狀輪廓匹配的建筑物特征算子，通過提取已知建筑物的局部特征點(diǎn)，依據(jù)尺度變化信息制定任意形狀輪廓匹配相似度準(zhǔn)則及映射函數(shù)，能夠檢驗(yàn)不同光照、不同尺度下的建筑物特征。通過以上各類建筑物識(shí)別手段，能夠提取體現(xiàn)建筑物特性的紋理特征，并升級(jí)為表征實(shí)際物體的對(duì)象特征，更有利于對(duì)象建模及點(diǎn)云應(yīng)用。

利用建筑物特征信息還能夠簡化傳統(tǒng)三維重建問題，優(yōu)化建筑物對(duì)象的重建算法。王思潔等[17]提出一種基于結(jié)構(gòu)化場景的單張圖像建筑物三維重建方法，先基于RANSAC算法及最小距離法分別解算滅點(diǎn)直線和滅點(diǎn)，然后基于平行平面、包含平行信息的任意平面和包含垂直信息的任意平面的平面模型解算三維坐標(biāo)，實(shí)現(xiàn)三維建模。楊玲等[18]提出基于航空影像的半自動(dòng)建筑物三維建模方法，首先建立基本模型庫，選擇模型組建建筑物，根據(jù)建筑物內(nèi)部約束確定參數(shù)；然后提出依據(jù)影像上提取的建筑物邊緣信息計(jì)算建筑物參數(shù)初始值的方法；最后使用廣義點(diǎn)攝影測量理論平差計(jì)算建筑物的精確參數(shù)。

上述優(yōu)化算法雖然已經(jīng)取得了一定的效果，但是在建筑物模型精度和細(xì)節(jié)上還不能完全滿足實(shí)際應(yīng)用需求，并且對(duì)建筑物本身的特征信息挖掘利用還不夠全面。為了解決這些問題，本研究基于多視圖重建加密算法重建建筑物三維點(diǎn)云，以直線特征匹配優(yōu)化為突破口，在三維重建過程中對(duì)建筑物特征進(jìn)行加密，直接對(duì)建筑物模型結(jié)構(gòu)和精度進(jìn)行優(yōu)化。

1 直線特征檢測與匹配

直線特征往往包含更多的語義和結(jié)構(gòu)信息，且不易受到遮擋等因素的影響，更適宜三維模型重建。然而直線的幾何復(fù)雜度也更高，準(zhǔn)確提取和匹配的計(jì)算難度更大。本研究選擇當(dāng)前直線提取效果較好的LSD算法[19]，自動(dòng)提取亞像素精度的直線特征，并選擇點(diǎn)特征輔助匹配的特征數(shù)算法匹配兩視圖間的直線特征。LSD算法如圖1所示，首先計(jì)算各像素的梯度方向和梯度切線，然后生成單位切線矢量場，并將切線方向接近的像素區(qū)域連通作為候選直線段。

圖1 LSD算法示意圖

為便于劃定直線范圍，進(jìn)一步建立區(qū)域的外接矩形，定義區(qū)域的主慣性軸方向?yàn)榫匦蔚闹鞣较?。將區(qū)域內(nèi)像素的切線方向與矩形的主方向進(jìn)行對(duì)比，角度差異在閾值“±τ”范圍內(nèi)的像素稱為對(duì)齊點(diǎn)(圖2)。統(tǒng)計(jì)矩形內(nèi)的所有像素的個(gè)數(shù)n和對(duì)齊點(diǎn)的個(gè)數(shù)k，應(yīng)用Helmholtz準(zhǔn)則反向驗(yàn)證待定區(qū)域能否劃分為直線。這樣采用LSD方法就能夠提取出圖像中穩(wěn)定的直線特征，并記錄矩形的起點(diǎn)、終點(diǎn)和寬度。

圖2 外接矩形及對(duì)齊點(diǎn)示意圖

(1)

由此定義特征數(shù)CN的值kn為

(2)

對(duì)于直線上已經(jīng)選擇的2個(gè)候選點(diǎn)，從圖像左側(cè)順時(shí)針旋轉(zhuǎn)至右側(cè)，先經(jīng)過的一端定義為起點(diǎn)K1，后經(jīng)過的一端定義為終點(diǎn)K2，結(jié)合鄰域內(nèi)已匹配且不共線的3個(gè)獨(dú)立點(diǎn)P1、P2、P3，利用CN共同定義線-點(diǎn)不變量，如圖3所示，根據(jù)K1、K2、P1、P2、P3依次連接定義點(diǎn)U、V、W、T、M、N。其中隱含假設(shè)為：直線和3個(gè)獨(dú)立點(diǎn)在同一平面上，故此方法更適合平面較多的直線匹配。在建筑物三維重建需求中，平面直線的分布較多，因此可以利用線-點(diǎn)不變量對(duì)建筑物三維重建進(jìn)行優(yōu)化。

圖3 線-點(diǎn)不變量的定義

2 直線特征匹配效率優(yōu)化

相比于點(diǎn)特征，直線特征包含信息更豐富，不穩(wěn)定性更強(qiáng)，也意味著準(zhǔn)確匹配的難度更大。為此引入CN算法[20]，通過良好匹配的點(diǎn)特征輔助匹配直線特征提取。CN算法需要計(jì)算圖像內(nèi)各條直線間的交點(diǎn)，而從圖中提取的直線數(shù)量較多時(shí)，匹配計(jì)算量極大，需要對(duì)直線特征匹配效率進(jìn)行優(yōu)化。利用LSD算法對(duì)試驗(yàn)無人機(jī)影像提取直線特征，共提取33 466條直線段，結(jié)果如圖4所示。

圖4 LSD特征提取結(jié)果

從提取結(jié)果中隨機(jī)選取2 500條直線段并求解相互之間的交點(diǎn)。之后按照直線特征長度倒序排列，每50條直線段劃分為一組，統(tǒng)計(jì)各組直線有效交點(diǎn)的數(shù)量，繪制直方圖，如圖5所示。

圖5 直線段長度與交點(diǎn)數(shù)量的關(guān)系

由圖5可知，有效交點(diǎn)數(shù)量隨直線段長度呈現(xiàn)超線性的增長關(guān)系。同時(shí)，直線更長也意味著鄰域范圍更大，鄰域內(nèi)更易有足夠數(shù)量的同名特征點(diǎn)，是特征數(shù)計(jì)算的良好選擇。基于區(qū)域生長的直線提取算法，受到各類干擾因素影響，其結(jié)果中不可避免地包含大量短線段。試驗(yàn)統(tǒng)計(jì)LSD直線提取算法所得直線段的長度分布情況，如圖6所示。直線段長度的分布區(qū)間為[5.16像素，970.42像素]，而其中位數(shù)僅為21.43像素，表明直線段長度大多分布在短距離范圍內(nèi)，長距離范圍內(nèi)分布較為分散。由統(tǒng)計(jì)結(jié)果啟發(fā)，篩選長度大于固定閾值的直線匹配，能在犧牲少量交點(diǎn)的條件下節(jié)省可觀的時(shí)間消耗?？紤]直線段長度的分布情況，本研究選擇的閾值為80像素。試驗(yàn)對(duì)比篩選前后的計(jì)算時(shí)長和匹配直線數(shù)目為：閾值篩選前共匹配得到288組直線，耗時(shí)73.38 s；閾值篩選后共匹配得到254組直線，耗時(shí)18.21 s。合理篩選閾值僅消耗原始方法24.82%的計(jì)算時(shí)長，但保留88.19%的匹配結(jié)果，提升了計(jì)算效率。

圖6 直線段長度分布

3 基于直線特征優(yōu)化的建筑物建模

3.1 基于密集點(diǎn)云的多視圖直線匹配

CN算法依賴直線鄰域內(nèi)的特征點(diǎn)信息，無法處理特征點(diǎn)數(shù)量較少的情況。本研究在重建密集點(diǎn)云的基礎(chǔ)上，能夠有效擴(kuò)展低紋理區(qū)域的密集匹配，足夠?yàn)橹本€鄰域提供合適的特征點(diǎn)信息。與此同時(shí)，還可根據(jù)直線間交點(diǎn)輔助直線的多視圖匹配，通過交點(diǎn)的重投影誤差篩選錯(cuò)誤匹配，深入利用點(diǎn)特征輔助直線特征匹配。

根據(jù)PMVS算法輸出的密集點(diǎn)云坐標(biāo)，以及稀疏點(diǎn)云重建階段恢復(fù)的相機(jī)投影矩陣，容易計(jì)算密集匹配點(diǎn)的圖像坐標(biāo)。圖7對(duì)比了加密前后匹配點(diǎn)的數(shù)量和分布情況，特征點(diǎn)經(jīng)過200倍降采樣處理。

圖7 加密前后匹配點(diǎn)數(shù)量及分布情況

基于加密匹配點(diǎn)重新匹配直線特征，匹配直線的數(shù)量也有明顯增長(圖8)。當(dāng)然，由于直線特征匹配的復(fù)雜性，匹配直線的增加比例不及匹配點(diǎn)多。加密前后的直線匹配結(jié)果中均有明顯的錯(cuò)誤，還需剔除誤匹配。

圖8 加密前后匹配直線數(shù)量及分布情況

為解決直線特征誤匹配和多視圖匹配問題，選擇利用直線上特殊的點(diǎn)代替直線?；仡機(jī)N計(jì)算過程，需要計(jì)算圖像中各條直線的交點(diǎn)，并選擇端點(diǎn)附近的交點(diǎn)作為特征數(shù)計(jì)算的候選點(diǎn)。相比于隨機(jī)提取的端點(diǎn)，直線交點(diǎn)在多視圖中的穩(wěn)定性更強(qiáng)。而使用候選點(diǎn)代替直線端點(diǎn)，就能將直線匹配問題轉(zhuǎn)化為點(diǎn)匹配問題。

檢驗(yàn)點(diǎn)匹配的2個(gè)重要方式是對(duì)極幾何關(guān)系和重投影誤差?；诨A(chǔ)矩陣，計(jì)算多視圖匹配點(diǎn)與極線交點(diǎn)的關(guān)系?；谙鄼C(jī)投影矩陣，計(jì)算直線在各視圖中的可視性，以及直線候選點(diǎn)的重投影誤差。試驗(yàn)圖像經(jīng)過篩選后共得到299條匹配直線，繪制候選點(diǎn)的重投影及原始提取直線，如圖9所示。所有直線候選點(diǎn)的重投影誤差均方根為1.28像素。

圖9 篩選后的匹配直線及其重投影

3.2 結(jié)合空間直線的光束法平差

利用直線候選點(diǎn)重建空間直線特征，一方面能夠提供更豐富的空間模型信息，另一方面直線特征的幾何信息(如平行、垂直等關(guān)系)能夠優(yōu)化模型的空間結(jié)構(gòu)。由于缺少空間點(diǎn)的真實(shí)坐標(biāo)值，點(diǎn)云模型僅以重投影坐標(biāo)誤差為約束條件，難以準(zhǔn)確判別模型的優(yōu)劣。大量試驗(yàn)結(jié)果已經(jīng)證明，光束法平差必須有良好的初始值作為保障，否則可能優(yōu)化至局部最優(yōu)而非全局最優(yōu)[21]。換言之，哪怕重投影誤差較小，也無法證明模型已經(jīng)達(dá)到全局最優(yōu)解。

直線特征幾何信息的引入則為評(píng)價(jià)建模效果提供了新的標(biāo)準(zhǔn)，尤其是建筑物或建筑群場景的重建，空間直線具備特殊的三軸垂直關(guān)系。模型結(jié)果越接近三軸垂直，那么可認(rèn)為參數(shù)計(jì)算越準(zhǔn)確。反之，如果三軸直線偏離垂直關(guān)系，也可以通過優(yōu)化三軸直線夾角，即三軸與對(duì)應(yīng)平面法向量夾角，從而達(dá)到優(yōu)化模型參數(shù)的目的。

提取的三軸垂直直線特征如圖10所示，從建筑物外輪廓中提取的471、2 807、592號(hào)直線，應(yīng)滿足三軸垂直關(guān)系，分別定義為x、y、z軸。利用特征數(shù)算法計(jì)算直線候選點(diǎn)，能夠得到三軸的方向向量。需要說明的是，由于向量的起點(diǎn)和終點(diǎn)自由，即使是空間異面直線也能夠基于向量計(jì)算三軸垂直，等價(jià)于統(tǒng)一原點(diǎn)的三軸向量。

圖10 提取的三軸垂直直線特征

內(nèi)積運(yùn)算描述向量之間的垂直關(guān)系，并可用于計(jì)算向量間夾角；外積運(yùn)算描述向量之間的共面關(guān)系，并可用于計(jì)算向量平面的法向量。代入圖10中示例，也即x×y得到xy平面的法向量，(x×y)z可得z向量與法向量之間的夾角，理想情況下夾角為0，即z向量為xy平面的法向量。

分別計(jì)算z-xy平面、y-zx平面和x-yz平面的夾角，數(shù)學(xué)關(guān)系可表達(dá)為

(3)

將三軸垂直的直線特征引入光束法平差，式(3)作為新的目標(biāo)函數(shù)。對(duì)于直線特征而言，平差算法一方面需保證直線候選點(diǎn)的重投影誤差仍然較小，另一方面應(yīng)盡可能還原三軸垂直關(guān)系，趨于全局最優(yōu)效果。

3.3 直線特征三維重建

直線特征不僅能夠優(yōu)化模型結(jié)構(gòu)，而且能夠加密已有模型，考慮將直線拆分為離散點(diǎn)云的形式加入已有稀疏點(diǎn)云模型，并賦予各點(diǎn)RGB取值。一方面利用PMVS算法為直線離散點(diǎn)計(jì)算單位法向量，對(duì)接后續(xù)重建需求；另一方面直線特征引入了新的面片種子點(diǎn)，可改善密集點(diǎn)云的建模效果。

需要解決的問題是離散點(diǎn)的采樣頻率，采樣過于稀疏可能無加密作用，而采樣過密時(shí)相鄰點(diǎn)可能無顯著差異。經(jīng)過試驗(yàn)探索，以20像素為間距等分參考影像上的直線投影，求解等分點(diǎn)的空間坐標(biāo)，并通過雙線性插值法計(jì)算各點(diǎn)的RGB值，計(jì)算過程如圖11所示。

圖11 直線離散點(diǎn)RGB賦值示意圖

定義直線候選點(diǎn)為新的端點(diǎn)，從起點(diǎn)方向取間距為20像素的等距離散點(diǎn)。假設(shè)端點(diǎn)坐標(biāo)分別為(u1，v1)和(u2，v2)，其中u1

(4)

同理，假設(shè)端點(diǎn)的空間坐標(biāo)分別為(x1，y1，z1)和(x2，y2，z2)，空間直線長度為L。假設(shè)該離散點(diǎn)(xd，yd，zd)在空間上距端點(diǎn)(x1，y1，z1)長度為D，其空間坐標(biāo)可以表達(dá)為

(5)

根據(jù)齊次坐標(biāo)的相機(jī)模型x=PX，可以利用投影矩陣P重構(gòu)一條連接相機(jī)光學(xué)中心和投影點(diǎn)x的反投影線，兩視圖的反投影射線交點(diǎn)就是空間點(diǎn)三維坐標(biāo)X，可以將相機(jī)模型改寫為向量外積的形式x×PX=0。將式(4)、(5)代入向量外積，即可求解未知數(shù)D。為進(jìn)一步優(yōu)化加密點(diǎn)坐標(biāo)，還可根據(jù)重投影誤差進(jìn)行非線性優(yōu)化。

之后采集平面坐標(biāo)(ud，vd)處的四鄰域整數(shù)像素，通過雙線性插值確定離散點(diǎn)的RGB取值。參照稀疏三維點(diǎn)云ply文件的格式，補(bǔ)充直線離散點(diǎn)的空間坐標(biāo)和RGB值。將輸出結(jié)果代入PMVS算法進(jìn)行點(diǎn)云加密。

4 試驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的有效性，試驗(yàn)選擇建筑物信息較豐富的5張無人機(jī)航拍影像重建三維點(diǎn)云，進(jìn)一步提取直線特征優(yōu)化點(diǎn)云數(shù)量和幾何結(jié)構(gòu)，單張無人機(jī)影像大小為6 000像素×4 000像素。

4.1 稀疏點(diǎn)云優(yōu)化前后對(duì)比

經(jīng)過密集點(diǎn)云輔助提取和候選點(diǎn)篩選，5張影像共得到548條準(zhǔn)確匹配的直線特征，其分布情況如圖12所示。之后以20像素間距為標(biāo)準(zhǔn)加密直線離散點(diǎn)，548條直線共得到3 312個(gè)離散點(diǎn)。為驗(yàn)證離散點(diǎn)的計(jì)算準(zhǔn)確性，對(duì)比原始直線和加密離散點(diǎn)的圖像重投影，如圖13所示。

圖12 多視圖匹配直線分布

圖13 直線加密點(diǎn)重投影驗(yàn)證

原有稀疏點(diǎn)云中共計(jì)8 394個(gè)三維點(diǎn)，加入直線離散點(diǎn)后共有11 706個(gè)三維點(diǎn)。將直線加密前后的ply文件載入MeshLab軟件觀察效果，前后對(duì)比如圖14所示。

圖14 直線加密前后的稀疏點(diǎn)云對(duì)比

從試驗(yàn)結(jié)果可以看出，稀疏三維點(diǎn)云經(jīng)過直線特征加密后，所含建筑物輪廓信息明顯增加，但同時(shí)也難免存在誤差，部分源于直線提取和匹配誤差，部分源于離散點(diǎn)采樣重建的計(jì)算誤差。其中微小的計(jì)算誤差將在密集面片要素優(yōu)化過程中得到修正，少量可能出現(xiàn)的錯(cuò)誤也將在面片過濾時(shí)被剔除，最終保留準(zhǔn)確的匹配直線加密信息。

4.2 密集點(diǎn)云優(yōu)化前后對(duì)比

基于直線特征加密后的稀疏點(diǎn)云，再次使用PMVS算法生成密集點(diǎn)云。直線特征加密前，密集點(diǎn)云中共有996 614個(gè)三維點(diǎn)；直線加密后，再次生成的密集點(diǎn)云中包含1 004 057個(gè)三維點(diǎn)。相比于稀疏點(diǎn)云，密集點(diǎn)云的數(shù)量增長較小，主要是因?yàn)镻MVS算法的面片擴(kuò)展已經(jīng)覆蓋大多數(shù)像素，多數(shù)直線加密區(qū)域與密集點(diǎn)云已加密區(qū)域重合。不過直線加密點(diǎn)作為PMVS算法初始化面片的種子點(diǎn)，仍能有效優(yōu)化加密區(qū)域的建模效果。

圖15展示了此時(shí)的模型全貌，因試驗(yàn)圖像數(shù)量和視角有限，所有由遮擋造成的模型空缺無法加密。如需進(jìn)一步完善密集點(diǎn)云，需增加其他視角影像，改善地面建筑物之間的遮擋情況，或引入深度學(xué)習(xí)方法估計(jì)遮擋范圍的空間表面。

圖15 直線加密后的密集點(diǎn)云模型

僅針對(duì)直線二次加密后的點(diǎn)云模型，仍然是孤立的離散點(diǎn)形式，缺乏三維表面的連續(xù)性。為詳細(xì)說明直線加密的效果，選擇模型中具有代表性的局部模塊，對(duì)比引入直線離散點(diǎn)前后密集點(diǎn)云的模型效果，如圖16所示。可以看出，經(jīng)過直線特征二次加密后，建筑物輪廓及其鄰域內(nèi)的模型細(xì)節(jié)得到改善。

圖16 直線加密前后的密集點(diǎn)云局部對(duì)比

4.3 建筑物模型結(jié)構(gòu)優(yōu)化前后對(duì)比

通過試驗(yàn)所用建筑物圖像集合提取的空間直線具備特殊的三軸垂直關(guān)系，因此可將直線特征夾角引入光束法平差目標(biāo)函數(shù)，重新優(yōu)化相機(jī)和空間點(diǎn)參數(shù)，達(dá)到優(yōu)化模型的目的。結(jié)合自動(dòng)化聚類算法和人工交互方式，從圖12中選擇45條三軸垂直直線特征，以3條為一組計(jì)算候選點(diǎn)的重投影誤差及三軸直線夾角。優(yōu)化前，5幅圖像上直線候選點(diǎn)的重投影誤差均方根分別為1.27、1.36、1.73、1.68、1.42像素，優(yōu)化后的重投影誤差均方根分別為1.27、1.37、1.72、1.70、1.41像素，引入直線特征前后光束法平差的結(jié)果變化極小，仍維持較低誤差水平狀態(tài)。對(duì)比優(yōu)化前后15組直線的三軸夾角情況，列于表1。

表1 優(yōu)化前后15組試驗(yàn)直線的三軸夾角對(duì)比

對(duì)比發(fā)現(xiàn)，優(yōu)化后的三軸直線夾角更小，證明了直線優(yōu)化光束法平差的有效性。圖17對(duì)比了結(jié)構(gòu)優(yōu)化前后的模型目視效果，側(cè)視圖和俯視圖的對(duì)比均可表明，建筑物模型三軸垂直的關(guān)系明顯改善。

圖17 結(jié)構(gòu)優(yōu)化前后的模型效果對(duì)比

5 結(jié) 語

(1)為滿足直線特征的多視圖匹配和誤匹配篩選，使用特征數(shù)計(jì)算時(shí)的直線候選點(diǎn)代替端點(diǎn)，將直線匹配問題轉(zhuǎn)化為點(diǎn)匹配問題，對(duì)直線特征檢測效率進(jìn)行了優(yōu)化?？紤]到直線特征的幾何信息，利用建筑物外輪廓線三軸互相垂直的特性，進(jìn)一步優(yōu)化模型參數(shù)。將直線特征拆分為等距離散點(diǎn)，加密稀疏點(diǎn)云特征，并重新生成新的密集點(diǎn)云。試驗(yàn)對(duì)比發(fā)現(xiàn)，經(jīng)過直線特征加密的建筑物及其鄰域建模效果得到改善。

(2)相比于傳統(tǒng)三維重建方法，本文方法對(duì)建筑物重建的針對(duì)性更強(qiáng)，能夠直接對(duì)建筑物模型進(jìn)行優(yōu)化，提升重建精度和效率。由于直線特征自身的復(fù)雜性，其準(zhǔn)確匹配問題目前仍未得到有效解決。特征數(shù)算法固然提升了直線匹配的準(zhǔn)確率，但計(jì)算效率偏低，而且最終準(zhǔn)確匹配的直線數(shù)量仍然有限。下一步需深入探索直線匹配的優(yōu)化方案，進(jìn)一步提升直線匹配和最終建模的效果。