蘇 宇,張澤旭,袁萌萌,徐田來,鄧涵之,王 靜
(1. 哈爾濱工業(yè)大學 航天學院, 哈爾濱 150001;2. 濟南大學 自動化與電氣工程學院, 濟南 250022;3. 光輻射國防重點實驗室, 北京 100085)
空間在軌服務中獲取目標的三維結構與尺寸信息對后續(xù)的對接、維護與抓捕等任務具有重要的意義。目標三維結構的獲取方法通常有3種途徑:一是利用導航相機采集的可見光圖像序列進行點云三維重建,點云重建密度和精度較高,但易受到空間環(huán)境光照的影響;二是利用激光雷達對目標進行掃描,將不同角度的掃描點云拼接重建,雖然空間光照對重建點云影響較小,但受到激光雷達功率與掃描約束,點云的分辨率較低,同時空間目標的運動會帶來很大的誤差;三是利用可見光導航相機的重建點云與激光雷達的掃描點云進行深度融合,充分結合兩種傳感器的優(yōu)勢,這種方法越來越得到學術界關注[1-2]。本文探索一種高精度的三維激光點云與可見光圖像重建點云融合方法。
文獻[3]利用可見光圖像進行三維重建,通過使用連續(xù)幀之間的光流來跟蹤Harris圖像點,并基于雙目立體視覺模型生成三維點云,然后將成功跟蹤的三維點云利用ICP算法實現(xiàn)目標模型的三維重建。此方法的準確性非常依賴光照條件與圖像拍攝效果。
文獻[4]利用一個激光傳感器和一個線陣CCD同步掃描進行三維重建,通過使每一行激光采樣點對應一行可見光采樣點,直接實現(xiàn)了激光與可見光采樣點的行配準,此方法雖然配準精度較高,但需要目標保持靜止,且功耗較高,對追蹤航天器提出較高要求,難以應用于空間目標探測。
在點云融合算法方面,大多數(shù)研究圍繞著對ICP算法進行改進,文獻[5-6]提出了一種遺傳算法與最小二乘法結合的配準方法。此配準方法收斂性較好,但當點云數(shù)據(jù)的數(shù)據(jù)量較大時,其配準精度較差。
文獻[7]采用徑向基函數(shù)[8]的方法首先對模型進行變形,減弱局部大變形對匹配結果的影響,實現(xiàn)形狀最佳匹配,此方法較為依賴于經(jīng)驗選擇基函數(shù)的參數(shù)。
除ICP配準算法外,文獻[9]提出了運用曲面的特性進行幾何曲面匹配的算法,該算法通過計算兩個感興趣表面之間的距離尋找它們之間的最小非剛性變換。
本文首先給出了量綱不同的兩組點云的配準融合步驟,給出目標函數(shù)表達式,然后提出了一種基于形心的平移矩陣初值確定方法和基于序列圖像三維重建反演相機姿態(tài)的旋轉(zhuǎn)矩陣初值確定方法,在配準過程中,利用歐式距離判斷方法去除邊緣雜點,使得融合后的點云更加完整,準確性更高,具體過程如圖1所示。
圖1 激光點云與可見光圖像重建點云ICP融合Fig. 1 Laser point cloud and visible light image reconstruction point cloud ICP fusion
將式(2)作為目標函數(shù),此時只需要先將兩組點云放到同一坐標系下(坐標不變),并控制目標函數(shù)[10]最小即可。
具體配準步驟[11-12]如下:
2)利用最小二乘法重復選擇對應點對,并計算最優(yōu)剛體變換將不同坐標系下點云數(shù)據(jù)合并到同一坐標系中,求得使上述對應點對平均距離最小的剛體變換,得到新的和。
4)如果新的變換點集與參考點集滿足式(3)要求,即兩點集的平均距離小于某一給定閾值,則停止迭代計算,否則新的變換點集作為新的點集繼續(xù)迭代。
ICP算法對運算初值的選取要求嚴格,初值準確可大大減少迭代次數(shù),提升配準精度,若初值選擇不合適,就會使迭代不能收斂到全局最優(yōu)配準結果,造成匹配失敗[13]。
對此,本文選擇通過對點云特性及其來源分析,確定配準初值。
對于平移矩陣初值的選取,本文選擇針對兩種重建點云求取形心的方式獲得,具體方式如下。
利用兩組點云的坐標差作為平移矩陣初值應用于點云配準
對于坐標系不同的兩組點云,本文在確定旋轉(zhuǎn)矩陣初值時,利用序列圖像三維重建過程中的基礎矩陣的求解進行反演相機相機姿態(tài)的計算[14-15],其確定方法如圖2所示。
圖2 旋轉(zhuǎn)初值確定方法Fig. 2 A method to determine the initial value of rotation
得到對應點如下
將上述方程展開可得到
向量構造:
矩陣構造:
由于空間非合作目標序列圖像重建中,可見光相機都是事先標定好的,且已知相機內(nèi)參矩陣為,可利用
通過上述點云配準過程,可獲得兩組點云間的最優(yōu)轉(zhuǎn)換關系。
由于可見光圖像三維重建點云解算誤差及稠密化過程,導致邊緣雜點較多,此時可利用激光雷達掃描點云的點云分布均勻且邊緣特性較好的優(yōu)勢,刪除可見光圖像三維重建點云中的雜點與錯誤點,具體方法如下。設配準后的對應點集和Q ,對中的一個點,搜索
為驗證多模數(shù)據(jù)融合的空間非合作目標三維重建方法,本文利用3Dmax仿真模型進行序列圖像的渲染,其獲取圖像如圖3所示。
圖3 仿真序列可見光圖像Fig. 3 Simulation sequence visible light images
利用SFM原理進行稀疏點云三維重建[21],并利用CMVS進行點云稠密化[22],獲得可見光圖像的三維重建點云數(shù)據(jù),如圖4所示。
圖4 可見光圖像三維重建點云Fig. 4 Visible light image 3D reconstruction point cloud
激光仿真數(shù)據(jù)選擇利用blender進行激光掃描點云仿真,仿真參數(shù)如表1所示。
表1 激光掃描點云參數(shù)Table 1 Laser scanning point cloud parameters
本文選擇在5角度(0°,72°,144°,216°,288°)進行掃描,由于仿真時已知5角度激光雷達的相對位姿及坐標系,可直接將5組點云按對應的轉(zhuǎn)換關系轉(zhuǎn)換到同一坐標系下,結果如圖5所示。
圖5 激光掃描三維點云重建結果Fig. 5 Laser scanning 3D point cloud reconstruction results
利用第3部分所述方法進行改進的ICP點云數(shù)據(jù)融合并剔除邊緣雜點,對配準過程中的迭代次數(shù)及其對應誤差進行記錄,獲得的最終融合點云如圖6和圖7所示。
圖6 融合后三維點云Fig. 6 3D point cloud after fusion
圖7 局部漏洞填補情況Fig. 7 Partial loophole filling result
下面利用融合前后的目標三維點云分別計算目標的尺寸信息,并與實際模型尺寸比較得到的主體尺寸誤差率、點云均方差、點云密度(仿真模型總表面積約為21.4 m2),如表2所示。
表2 融合前后各參數(shù)對比Table 2 Comparison of parameters before and after fusion
除合成的模型外,本文使用了某衛(wèi)星模型進行了圖像與激光點云仿真,仿真結果如圖8所示,分別對圖像與激光點云進行重建與點云配準實驗,最終獲得的合成點云如圖9所示。
圖8 仿真圖像與激光點云Fig. 8 Simulation image and the laser point cloud
圖9 點云融合結果Fig. 9 Point cloud fusion result
通過表3和表4中的數(shù)據(jù)對比可以發(fā)現(xiàn)融合點云具有更好的完整性,且精度在融合前后較為穩(wěn)定,融合效率較高,可為后續(xù)任務提供更加可靠的融合點云。
表3 融合前后各參數(shù)對比Table 3 Comparison of parameters before and after fusion
表4 優(yōu)化前后配準對比Table 4 Registration comparison before and after optimization
基于可見光圖像序列的三維重構方法能夠得到較為稠密的點云,但是受光照條件影響,點云模型存在較多空洞或缺損,點云重構誤差較大,基于激光雷達的重構出的點云較完整,而且點云具有真實尺度信息,但考慮到空間平臺的供電因素,載荷激光雷達無法長時間連續(xù)工作,點云模型較稀疏。本文的融合方法對上述兩種點云進行融合,融合初值較準確,迭代次數(shù)少,效率較高;比較發(fā)現(xiàn),融合點云密度有很大的提升,誤差小于可見光圖像三維重建點云,與激光雷達點云誤差相近,且融合后點云的缺損部分也得到了補充,保留了目標的紋理特性,點云完整性得到很大的提升。