摘要:本文針對密集匹配點云處理精度過低的問題,進行了無人機傾斜攝影中密集匹配點云的處理與應用研究。本文提出的新的處理方案包括無人機航測飛行平臺搭載相機標定、無人機傾斜攝影影像特征點提取與匹配、三角測量與多視影像密集匹配。將新的處理方案應用于真實研究區(qū)域內(nèi),可以對密集匹配點云進行高精度處理,降低各控制點平面誤差與高程誤差,提升無人機傾斜攝影應用廣泛性。
關(guān)鍵詞:無人機;傾斜;影像;密集;匹配;點云
中圖分類號:P23""""""""" 文獻標志碼:A
隨著無人機技術(shù)不斷發(fā)展,無人機傾斜影像技術(shù)已經(jīng)廣泛應用于各個領(lǐng)域。在無人機傾斜影像處理過程中,密集匹配點云的處理是非常重要的環(huán)節(jié)。無人機傾斜影像密集匹配點云是使用無人機傾斜攝影獲取影像數(shù)據(jù),采用立體匹配算法計算每個像素點的三維坐標信息[1]。其基本原理是利用多視角圖像之間的信息,利用幾何變換和映射關(guān)系將不同視角的圖像轉(zhuǎn)換至同一個坐標系中,根據(jù)像素之間的顏色和空間信息計算每個像素點的深度信息,得到密集的點云數(shù)據(jù)。
無人機傾斜影像密集匹配點云的應用領(lǐng)域非常廣泛,主要包括以下5個方面。1)城市規(guī)劃。對城市建筑物的點云數(shù)據(jù)進行分析并處理,可以獲取建筑物的三維信息,為城市規(guī)劃提供參考。2)土地資源調(diào)查。利用無人機傾斜影像密集匹配點云技術(shù),可以快速獲取大范圍土地資源的三維信息,為土地資源調(diào)查提供數(shù)據(jù)支持。3)林業(yè)調(diào)查。使用無人機傾斜影像密集匹配點云技術(shù)獲取森林資源的三維信息,為林業(yè)調(diào)查提供數(shù)據(jù)支持。4)水利水電工程。利用無人機傾斜影像密集匹配點云技術(shù)獲取水電站大壩等建筑物的高精度三維信息,為水電站工程提供數(shù)據(jù)支持。5)災害監(jiān)測與評估。無人機傾斜影像密集匹配點云技術(shù)獲取災區(qū)的三維信息,為災害監(jiān)測與評估提供數(shù)據(jù)支持[2]。無人機傾斜影像密集匹配點云技術(shù)是一種非常實用的技術(shù),應用前景廣泛。
1無人機航測飛行平臺搭載相機標定
普通無人機航攝平臺使用的高分辨率光學攝像機是非量測攝像機,具有光學畸變大、內(nèi)方位信息不明確等特征?;儗е氯我?個透鏡在像面上不是直線,而是形成1條彎曲的曲線,因此小孔成像模型誤差很大[3]。變形量影響模型的準確性,為了還原真實的場景,須將內(nèi)部參數(shù)和外部參數(shù)全部還原。在進行3D場景復原的過程中,須對攝像機進行校正來消除失真。結(jié)合幾何光學原理計算徑向畸變的值,如公式(1)、公式(2)所示。
式中:ydistored為畸變后的縱坐標;xdistored為畸變后的橫坐標;y為歸一化平面點縱坐標;x為歸一化平面點橫坐標;k1、k2和k3為畸變系數(shù);r為徑向距離。平移以及旋轉(zhuǎn)相機坐標系與世界坐標系來轉(zhuǎn)換坐標,其中,具有3×3的相對轉(zhuǎn)動關(guān)系的矩陣R和3×3的矢量t,因此,在世界坐標系統(tǒng)和攝像機坐標系中,P點的關(guān)系如公式(3)所示。
(3)
式中:Xc、Yc和Zc分別為P點相機坐標系中的橫坐標、縱坐標和空間坐標;XW、YW和ZW分別為P點在世界坐標系中的橫坐標、縱坐標和空間坐標;T為轉(zhuǎn)換系數(shù)。采用相機標定的方式獲得內(nèi)部參數(shù),將各個坐標系聯(lián)系在一起。
2無人機傾斜攝影影像特征點提取與匹配
在攝影測量和機器視覺中,特征點的提取和匹配是一項基本的數(shù)據(jù)處理步驟,也是數(shù)字化測量自動化的重要手段。該方法要求多幀圖像中的同名點準確、可靠,利用多個同名圖像的點經(jīng)多視角幾何關(guān)系計算基本矩陣,由陣列獲取圖像的姿態(tài)關(guān)系以及特征點坐標,對圖像進行稀疏重構(gòu)[4]。因此,獲取更穩(wěn)健、精確的同物點是提高稀疏重構(gòu)效果的重要前提。在圖像處理過程中,圖像中最顯著的對象為圖像特征,它是圖像分析與匹配的根據(jù),直接影響圖像質(zhì)量。
SIFT特征提取算法主要有3個步驟。第一,尺度空間極值檢測。在該步驟中,算法會在不同尺度空間中尋找潛在的關(guān)鍵點[5]。這些潛在的關(guān)鍵點就是那些在尺度空間中表現(xiàn)極值特性的像素點。第二,關(guān)鍵點定位。一旦找到了潛在的關(guān)鍵點,算法就會比較潛在關(guān)鍵點在其鄰域內(nèi)的像素強度,進一步精確定位這些關(guān)鍵點在尺度空間中的位置[6]。第三,關(guān)鍵點主方向和關(guān)鍵點的描述符。算法會計算每個關(guān)鍵點的一個主方向。這個主方向是分析關(guān)鍵點周圍像素的梯度方向分布來確定的。算法會生成一個描述符,其作用為描述關(guān)鍵點周圍的局部圖像紋理,對后續(xù)的圖像匹配等操作非常重要。
以上這些步驟的作用都是從影像中提取穩(wěn)定、獨特的特征,將其用于后續(xù)的圖像處理任務,例如三維重建、目標識別和圖像拼接等[7]。算法采用高斯卷積構(gòu)造具有多尺度特征的空間。高斯卷積核是目前已知僅有的1個可進行標度轉(zhuǎn)換的高斯核,其特征如公式(4)所示。
式中:G為高斯核特征值;σ為高斯正態(tài)分布方差。
SIFT特征提取原理如圖1所示。由圖1可知,SIFT算法構(gòu)建圖像的尺度空間,即使用不同尺度的高斯濾波器對原始圖像進行平滑處理,形成高斯結(jié)構(gòu)。比較相鄰尺度的高斯圖像的差分,在尺度空間中檢測局部極值點,這些極值點即為關(guān)鍵點或特征點。采用擬合二次曲線等方法對初步檢測的關(guān)鍵點進行亞像素級別的精確定位,提高關(guān)鍵點的準確性。為了使特征旋轉(zhuǎn)不變,SIFT算法計算每個關(guān)鍵點鄰域內(nèi)的梯度方向直方圖,并確定一個主方向。在確定了關(guān)鍵點的位置和方向后,SIFT算法為每個關(guān)鍵點生成1個描述符,描述關(guān)鍵點周圍的局部圖像結(jié)構(gòu)。利用高斯函數(shù)對圖像進行濾波,對整個圖像進行加權(quán)平均,利用高斯差分函數(shù)對各個尺度上的圖像進行權(quán)重運算,確定這些特征的比例和方向不變。用高斯卷積核可以得到一幅二維圖像的縮放率空間,如公式(5)所示。
L=G·I(5)
式中:L為縮放率空間;I為權(quán)重。σ與圖像平滑、尺度空間呈正比例關(guān)系。根據(jù)以上表達式,可以得知影像特性以及比例空間的關(guān)系。確定各特征點的位置、尺度和方向后,本文對其進行定義,將其與已有的特征矢量相結(jié)合,對其進行描述[8]。為避免受光照、視角等因素影響,特征描述符不僅包括關(guān)鍵詞,而且包括其鄰近區(qū)域的信息。以檢測的關(guān)鍵點為核心,選取16×16的鄰域,將該鄰域再分為4×4的子區(qū),將該子區(qū)分為8個區(qū)段,獲得4×4×8=128個維度的特征矢量,矢量單元尺寸為各梯度方向區(qū)間權(quán)重。在獲得特征矢量后,須對其進行規(guī)范化處理,其規(guī)范化方向是將其按主方向轉(zhuǎn)動,使其具備旋轉(zhuǎn)不變性。
3三角測量
在相機內(nèi)參數(shù)一定的情況下,初始像對中只有5對匹配點,用于求解R值。匹配點三角化示意如圖2所示。
為優(yōu)化重投影誤差,建立以下優(yōu)化目標函數(shù),如公式
(6)所示。
式中:P*為優(yōu)化后的像素點匹配目標;Mi為M矩陣中的第i張圖的映射;pi為觀測點坐標。
4多視影像密集匹配
運動結(jié)構(gòu)恢復(Structure From Motion,SFM)是一種利用運動恢復結(jié)構(gòu)的方法,它分析多視角圖像中的像素點之間的對應關(guān)系,推斷每個像素點的深度信息,生成點云數(shù)據(jù)。SFM生成點云的方法為匹配圖像中的特征點并估計它們的深度信息,其不可能直接生成密集點云,因此在一些沒有明顯特征或者深度變化不大的區(qū)域中,使用SFM無法準確地生成密集的點云數(shù)據(jù)。SFM流程如圖3所示。
多視圖立體視覺(Multi-View Stereo,MVS)是一種利用多視角圖像生成三維場景的方法。采用MVS對每一幅圖像中的每個像素點進行匹配,使其在三維空間上的位置近似于真實圖像。MVS的原理是基于多視角影像之間、同一個3D區(qū)域內(nèi)具有極線幾何限制的圖像。
在2幅圖像中,有1條射線經(jīng)過圖像中這個點,再經(jīng)過相機中央,最終到達1個3D點,這個3D點被投射至另外1幅圖像中。這是一個很正常的過程,就像是1臺普通的攝像機。這2幅圖像的約束關(guān)系可以用于匹配圖像中的對應點并估計其深度信息。
在MVS中,通常采用聚簇分類的方法對影像進行預處理,減少在匹配過程中的計算量。聚簇分類是將影像中的像素點按照其顏色、紋理等特征進行分類,將屬于同一類別的像素點聚簇在一起。對每個聚簇分別進行密集匹配,可以提高匹配的準確性和效率。在密集匹配的過程中,通常采用PMVS方法進行過濾和匹配。在匹配步驟中,PMVS方法對每個聚簇中的像素點進行特征提取和匹配,尋找它們之間的對應關(guān)系。在膨脹步驟中,PMVS方法將每個匹配點周圍一定范圍的點加入匹配對中,增加匹配點的數(shù)量,提高密集程度。在過濾步驟中,PMVS方法會根據(jù)一定的規(guī)則和約束條件對匹配點進行篩選和過濾,去除錯誤的匹配點和噪聲點。
5應用研究
應用上述方法對研究區(qū)域內(nèi)的密集匹配點進行處理。研究區(qū)域以及控制點分布如圖4所示。
在完成匹配后,檢驗點云精度,分別計算各個點的平面誤差和高程誤差,結(jié)果見表1。
由表1可以看出,在利用上述處理方法進行數(shù)據(jù)處理后,各個控制點平面誤差和高程誤差均不超過14.0mm。說明該處理方法精度極高,能夠有效地提取控制點的三維坐標信息。對這些數(shù)據(jù)進行分析,得到該處理方法在實踐中具備可行性的結(jié)論。成功應用這種處理方法能夠為后續(xù)測量和建模工作提供更加準確的數(shù)據(jù)支持。
6結(jié)論
本文詳細介紹了無人機傾斜攝影中密集匹配點云的處理與應用。研究發(fā)現(xiàn)該技術(shù)在獲取高質(zhì)量點云數(shù)據(jù)方面作用重要,在各個領(lǐng)域中應用前景廣泛。無人機傾斜攝影中密集匹配點云的處理與應用研究意義重大,理論價值很高。深入研究該技術(shù),分析應用案例,進一步優(yōu)化算法,提高數(shù)據(jù)處理效率,使應用更加廣泛。未來將繼續(xù)深入研究無人機傾斜攝影中密集匹配點云技術(shù)的理論和方法,探索其在更多領(lǐng)域中的應用,不斷提高該技術(shù)的實用性和可靠性。
參考文獻
[1]任娜,張玉,王洪江,等. 基于二維正態(tài)分布的無人機激光雷達點云匹配研究[J]. 激光雜志,2024,45(4):265-270.
[2]戴志勝,王鵬飛,周光建. 基于攝影測量匹配點云估算建筑表面太陽輻照度[J]. 測繪通報,2023(9):93-99.
[3]呂欣陽,樊冬麗,張廣運,等. 無人機影像匹配點云的露天礦臺階高度計算方法[J]. 測繪通報,2023(5):135-139.
[4]成樞,孫昂,程旭明. 基于改進的不規(guī)則三角網(wǎng)的密集匹配點云濾波與應用[J]. 城市勘測,2023(2):85-89.
[5]全昌文,李正洪,龐百寧,等. 無人機影像密集匹配點云在違法占地和違法建筑監(jiān)測中的應用[J]. 測繪通報,2023(4):111-114,134.
[6]范佳鑫,王春,代文,等. 基于多尺度高程變異系數(shù)的影像匹配點云濾波方法[J]. 地理與地理信息科學,2023,39(2):25-31.
[7]鮑秀武,梁文彪,劉也. 基于傾斜攝影測量點云與影像匹配的像控點坐標自動提取方法研究[J]. 城市勘測,2023(1):105-109.
[8]王果,王成,王宏濤,等. 基于無人機密集匹配點云的黃河流域礦區(qū)植被提取[J]. 中國礦業(yè),2023,32(6):65-71.