宋麗梅，張繼鵬，李云鵬，劉鎮(zhèn)寧，羅 菁

（天津工業(yè)大學 天津市電氣裝備智能控制重點實驗室，天津 300387）

1 引 言

計算機運算能力的快速提高極大地促進了機器視覺技術(shù)在各個領(lǐng)域的發(fā)展，三維重建技術(shù)作為其中的一項重要組成部分已經(jīng)被廣泛應(yīng)用于逆向工程設(shè)計、工業(yè)檢測與識別和人體測量等多個領(lǐng)域。多視圖點云拼接作為三維重建技術(shù)中的研究重點，其難度遠高于兩兩點云視圖拼接，是三維重建領(lǐng)域研究的熱點問題［1］。

非接觸式三維重建技術(shù)的成像通常受到傳感器視場范圍的約束，所以必須將多個不同視角下的點云進行拼接才能對被測物體進行全貌成像。目前使用最多的三維點云配準方法是由Besl等人提出的ICP 算法［2］。該算法雖然有較好的魯棒性和穩(wěn)定性，但是容易陷入局部最優(yōu)解，導致錯誤的匹配結(jié)果，并且對于特征點較少的物體，點云配準精度較低。為提高ICP 算法求解全局優(yōu)化問題的工作質(zhì)量，Artyom［3］等人提出了正則點云配準方法。Zhao［4］等人提出改進的3DSC-ICP 點云配準方法，在提升配準效率的同時也解決了ICP 配準算法陷入局部最優(yōu)的缺點。

隨著深度學習［5-6］的發(fā)展，神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于點云配準工作當中。Li［7］等人提出了名為VPRNet 的新型網(wǎng)絡(luò)，用于部分到部分點云配準的深度學習網(wǎng)絡(luò)，但網(wǎng)絡(luò)對于大型點云的配準精度不高。Xin［8］等人提出了一種基于BP 神經(jīng)網(wǎng)絡(luò)和位移窗技術(shù)的魯棒粗到細配準方法，降低了配準時間和空間復雜度。Chang［9］等人開發(fā)了一種估計物體相對姿態(tài)的配準結(jié)構(gòu)，經(jīng)過訓練后，所提出的架構(gòu)可以估計模型點云與數(shù)據(jù)點云之間的旋轉(zhuǎn)，然后根據(jù)計算平均值進行平移估計。Zuo［10］等人提出了一種基于單次深度學習的雙頻復合條紋投影輪廓測量方法，可以實現(xiàn)更高質(zhì)量的相位信息提取和更魯棒的復雜表面物體的相位展開。Nicolas［11］等人提出了一種基于深度學習的快速迭代切片傳輸?shù)狞c云配準方法，通過多次迭代實現(xiàn)點云的配準。Li［12］等人提出了一種基于深度學習的離群值去除點云配準方法，經(jīng)過訓練后能夠快速、準確地去除離散點，實現(xiàn)點云配準。

基于世界坐標系轉(zhuǎn)換的三維點云拼接方法也被廣泛應(yīng)用。Meng［13］等人提出了一種基于電磁追蹤系統(tǒng)的點云配準方法，利用電磁追蹤系統(tǒng)高準確度的位移和姿態(tài)角信息，通過不同坐標系間的快速轉(zhuǎn)換，實現(xiàn)點云的快速配準。Qiu［14］等人提出了一種快速的多向仿射配準算法（FMDAR），可以有效地轉(zhuǎn)換復雜的數(shù)據(jù)。然而，F(xiàn)MDAR 算法不能配準嚴重不完整和嚴重變形的點云。Diao［15］等人提出了一種基于參考對象空間關(guān)系的點云拼接方法，可以對參考特征不足的點云進行拼接并保證了一定的拼接速度。Zuo［16］等人提出了一種結(jié)合結(jié)構(gòu)光和光場特性進行無相位展開三維重建的方法，有效地避免了一次測量所產(chǎn)生的隨機誤差。

本文設(shè)計了一種基于雙目相機多視角傳感器三維點云的成像系統(tǒng)，將線激光器與雙目相機組合成為一個掃描支柱。在掃描過程中，激光器將紅外激光投射到目標物體上，雙目相機通過采集物體上反射的線激光計算出物體的深度信息進而生成點云。在掃描系統(tǒng)中，本文提出了一種基于多視角傳感器軸線融合的點云拼接方法，該方法可以快速、準確地將多視角下的三維點云進行拼接。

2 三維重建系統(tǒng)構(gòu)成及其工作原理

考慮到相機的景深、測量角度以及紅外激光器的投射范圍，本文設(shè)計的三維重建系統(tǒng)如圖1所示。系統(tǒng)由4個掃描支柱組成，每個掃描支柱在空間位置上構(gòu)成一個邊長為2.5 m 的正方形。系統(tǒng)的工作范圍為1.3～1.9 m。每個掃描支柱包括兩個型號為MV-CU013-A0UC 的工業(yè)相機、型號為M0814-MP 的8 mm 鏡頭、型號為HO-Y635P5-1030 的780 nm 紅外激光發(fā)射器、型號為E6B2-CWZ6C 的編碼器、CAN 總線步進電機及其驅(qū)動器。

圖1 三維重建系統(tǒng)及其組成部分Fig.1 3D reconstruction system and its components

當三維重建系統(tǒng)工作時，首先由激光發(fā)射器向被測物體上投射不可見紅外激光，然后由相機同步采集所投射激光條紋位置的紋理圖像用以生成點云，最后步進電機控制的移動滑臺帶動激光發(fā)射器和步進電機向上運動，完成被測物體表面的三維重建。為了控制點云數(shù)據(jù)的間隔距離，本文設(shè)計的基于雙目相機多視角點云的三維成像系統(tǒng)利用產(chǎn)生外觸發(fā)信號的編碼器控制攝像機采集所需條紋圖像和紋理圖像。

2.1 相機參數(shù)的獲取

要還原攝像機所拍攝的物體在真實空間的位置就要知道世界中的物體到計算機圖像平面的轉(zhuǎn)換關(guān)系。要建立相機與世界坐標系之間的關(guān)系，需要對相機進行標定，求解出相機的內(nèi)外參數(shù)。相機的透視投影會使采集到的圖片產(chǎn)生畸變從而影響重建的精度，相機標定的另一個目的就是計算出畸變系數(shù)用于圖像矯正。

雙目立體視覺類似人體的雙眼，它采用兩臺相同的工業(yè)相機從不同的角度拍攝待測物體，找到兩幅圖像中公共區(qū)域的匹配點，計算出該點的三維坐標。雙目立體視覺系統(tǒng)成像的前提是進行雙目標定，計算出兩個相機之間的旋轉(zhuǎn)矩陣R和平移矩陣T。本文利用張正友標定方法對雙目相機進行標定，從而分別得到左右相機與世界坐標系之間的轉(zhuǎn)換關(guān)系RL、TL和RR、TR以及左右相機的畸變參數(shù)和內(nèi)參。

2.2 軸線標定原理

本文所提出的基于多視角傳感器軸線融合的點云拼接方法流程如圖2 所示。標定利用高精度位移旋轉(zhuǎn)臺帶動平面靶標進行同軸轉(zhuǎn)動，通過傳感器多次的數(shù)據(jù)采集得到一系列繞轉(zhuǎn)臺軸線旋轉(zhuǎn)的點集。通過對點集的處理，計算出精確的軸線向量以及軸線上的任一點在世界坐標系下的具體位置。

圖2 本文所提出的點云拼接方法流程圖Fig.2 Flowchart of point cloud splicing method proposed in this paper

數(shù)據(jù)點在采集時會存在一定的精度誤差，造成多視角傳感器掃描出來的點云拼接存在拼接錯位、點云遠離軸線等問題。本文提出的多傳感器多軸線融合的點云拼接方法利用在不同位置下的多組雙目傳感器采集平面靶標在同一位置下的旋轉(zhuǎn)點集，分別計算出雙目傳感器所對應(yīng)的軸線向量，對多組軸線向量進行擬合，求解出誤差最小的軸線向量。利用求解出來的軸線向量進行點云拼接具有精度高、速度快、穩(wěn)定性高的優(yōu)勢。

如圖3 所示建立坐標系，其中ocl-xclyclzcl為左相機坐標系，ocr-xcrycrzcr為右相機坐標系，Ow-XwYwZw為世界坐標系，OL-ULVL為左相機圖像坐標系，OR-URVR為右相機圖像坐標系。

圖3 相機與靶標坐標系Fig.3 Camera and target coordinate system

設(shè)世界坐標系下有一點Ow，該點在左右相機坐標系下對應(yīng)的點分別為ocl和ocr，在左右相機的成像平面坐標系下映射的像素坐標分別為(ul，vl)，(ur，vr)，則有如式（1）所示關(guān)系：其中：Al和Ar為相機的內(nèi)參矩陣，Rl、Rr、Tl、Tr為相機的外參矩陣，內(nèi)參矩陣和外參矩陣均由雙目標定結(jié)果可知。由公式（1）可知，若獲得左右相機平面中對應(yīng)的像素坐標(u，v)，即可求得該像素點在世界坐標系下對應(yīng)的三維坐標。

將公式（1）進一步變換可消去zcl和zcr兩個未知數(shù)，得到一個超定方程組：

進一步寫為公式（2）：

為了獲得空間點繞軸線旋轉(zhuǎn)前后的關(guān)系，需要計算出轉(zhuǎn)臺軸線方程在世界坐標系的參數(shù)和已知的旋轉(zhuǎn)角度。本文提出的多傳感器多軸線融合的點云拼接方法其思路如下：

通過雙目標定建立世界坐標系，利用高精度旋轉(zhuǎn)臺帶動靶標進行繞軸線旋轉(zhuǎn)的運動，采集不同角度下的靶標圖像。先利用軸線標定的結(jié)果得到每個標定板上圓的圓心繞旋轉(zhuǎn)軸旋轉(zhuǎn)的點集P1，再利用該點集計算得到一系列軌跡圓的圓心，最后擬合所求圓心計算出旋轉(zhuǎn)軸的軸線在世界坐標系中的位置。為了提高點云拼接精度，提升系統(tǒng)的穩(wěn)定性，本文利用多組傳感器從不同角度進行軸線數(shù)據(jù)采集，最終解算出最優(yōu)軸線向量，具體的實現(xiàn)步驟如下：

（1）利用軸線標定的結(jié)果分別得到4組傳感器下的靶標繞旋轉(zhuǎn)軸運動的點集。

（2）求解出點集中每個點繞旋轉(zhuǎn)軸運動形成的空間圓軌跡的圓心，設(shè)其中一組傳感器所有求出的圓心的集合為Oi，則這些圓心位于旋轉(zhuǎn)軸的不同位置上。

（3）其中一組傳感器擬合出經(jīng)過圓心點集Oi的三維空間直線L，L即為該組傳感器所計算出的空間軸線。

（4）其他3 組傳感器分別利用上述方法解算出各自對應(yīng)的空間軸線。

（5）將4 組傳感器分別解算出的空間軸線進行擬合，計算得到最優(yōu)空間軸線。

在轉(zhuǎn)臺旋轉(zhuǎn)過程中，理論上同一個點的軌跡圓上的所有測量點都應(yīng)該處于同一平面，但是實際測量過程中存在誤差，會造成解算出的軸線偏離實際的旋轉(zhuǎn)軸而導致生成的點云拼接不準。本文所提出的多傳感器多軸線融合的點云拼接方法正是消除了這種誤差，提高了點云的拼接精度。

由于空間圓可以描述為一個空間平面和一個空間球相交，因此可以分為3 步來擬合，具體步驟如下：

（1）擬合軌跡點所在的球面方程

空間圓球的方程如式（3）所示：

（2）擬合軌跡點所在的平面方程

空間平面方程可以描述為公式（7）：

將所測得到的空間圓心帶入式（7）中得到公式（8）：

矩陣變換得到公式（9）：

根據(jù)最小二乘法可以求得A'、B'、C'的參數(shù)，聯(lián)立空間平面方程與球面方程可以求得空間圓的半徑R和圓心坐標(Oa，Ob，Oc)。

（3）利用RANStAC 算法將4 組傳感器采集并計算出的數(shù)據(jù)進行解算分別得到各自的軸線向量。

3 實驗與結(jié)果

3.1 多視角傳感器軸線標定

掃描系統(tǒng)進行軸線標定之前需要進行雙目標定。本文進行雙目標定時采用的靶標為10×10 圓點陣列靶標，圓心間距為20 mm，加工精度為1 μm，使用張正友標定方法。在實驗過程中，靶標與相機之間的距離為1.7 m。為保證雙目標定精度，采集12幅不同位置的靶標圖像作為標定圖像。

雙目標定后，利用高精度移動轉(zhuǎn)臺帶動靶標繞轉(zhuǎn)臺旋轉(zhuǎn)軸運動，采集不同角度下的靶標圖像進行主傳感器的軸線標定。由于靶標平面的特征明顯，利用數(shù)據(jù)圖像處理的方法識別出靶標上的圓，將在靶標上提取到的100個圓按順序排列，得到100 個相互匹配的點對。假設(shè)其中一個的點對在左右相機像素坐標系下的坐標分別為pl(uil，vil)和pr(uir，vir)，將pl和pr帶入公式（2）即可求得對應(yīng)點的三維坐標(xi，yi，zi)。

點位提取是軸線標定精度的關(guān)鍵。本實驗中主傳感器和副傳感器點位提取結(jié)果和軸線數(shù)據(jù)標定結(jié)果如圖4 所示。單幅圖像在空間中的排列關(guān)系符合實際物理關(guān)系。由于雙目相機的視場范圍有限，為防止平面靶標在偏離一定角度之后出現(xiàn)圓心提取誤差較大甚至無法提取的情況，本文將高精度位移旋轉(zhuǎn)臺的移動角度固定為-26°～26°，每次旋轉(zhuǎn)1°，得到一系列繞軸旋轉(zhuǎn)的點集，再利用這些點進行圓的擬合求取軸線數(shù)據(jù)。

圖4 主傳感器和副傳感器點位提取結(jié)果與軸線標定結(jié)果Fig.4 Point extraction results of main sensor and secondary sensor and axis calibration results

經(jīng)過實驗分析發(fā)現(xiàn)，利用此方法雖然能夠較為精準地解算出軸線向量以及在軸線上任意一點的世界坐標，但穩(wěn)定性較差。在三維重建過程中計算出的相對點云位置關(guān)系誤差較大，影響點云拼接的精度。在此基礎(chǔ)上，本文引入了其他3 組掃描系統(tǒng)作為輔助標定系統(tǒng)，從而計算出高精度的軸線向量。

3.2 多傳感器軸線擬合

完成主、副傳感器的雙目標定以及軸線標定，分別獲取主傳感器和3 個副傳感器的世界坐標系下的轉(zhuǎn)臺軸線方程。理論上，由于4 個傳感器的世界坐標系均以靶標上同一點作為原點，因此轉(zhuǎn)臺軸線的信息在4 個傳感器的世界坐標系下均一致。但在實際的標定過程中，受系統(tǒng)的隨機裝配誤差和軸線擬合算法誤差影響，得到的軸線信息無法保持一致。因此本文提出一種基于最小二乘的多軸線二次融合方法，利用等距平面分別截取4 個傳感器得到的轉(zhuǎn)臺軸線方程，將截得的空間點進行二次軸線擬合，以此來減小由于多傳感器裝配誤差引起的軸線擬合的誤差。

利用第2.2 節(jié)所述的軸線標定方法，將各個傳感器獲取的轉(zhuǎn)臺軸線方程記為公式（10）：

當i=0 時，該方程為主傳感器獲取的軸線方程，將此軸線記為N0；當i=1 時，該方程為副傳感器1 獲取的軸線方程，將此軸線記為N1；當i=2 時，該方程為副傳感器2 獲取的軸線方程，將此軸線記為N2；當i=3 時，該方程為副傳感器3 獲取的軸線方程，將此軸線記為N3。

根據(jù)幾何關(guān)系，不相互平行的空間平面與空間直線交于一點。如圖5 所示，結(jié)合坐標系與旋轉(zhuǎn)軸的關(guān)系，可知理論上轉(zhuǎn)臺的旋轉(zhuǎn)軸的方向向量與世界坐標系的z軸平行，取平面Z=zj對軸線N0、N1、N2、N3進行截取，得到4個分別位于軸線上的點jh0、jh1、jh2和jh3，則jhi可如式（11）表示：

圖5 多軸線二次融合采樣過程Fig.5 Multi-axis secondary fusion sampling process

根據(jù)本文不同的雙目視覺傳感器獲取的不同的轉(zhuǎn)臺軸線，可知每一個平面Z=zj可截得4 個空間點。由于空間軸線與空間平面截得的空間點均由真實的軸線截得，因此對不同平面截得的空間點進行融合，通過式（12）進行融合后的空間點三維坐標求解：

其中：(um，vm，wm)為經(jīng)過多軸融合的軸線的方向向量，(xm，ym，zm)為該軸線上一點。利用式（13），即可完成多傳感器條件下的多視角點云拼接。

根據(jù)本節(jié)中的方法，對4 組傳感器得到的轉(zhuǎn)臺軸線進行采樣，采樣得到的軸線數(shù)據(jù)如圖6 所示。對多個傳感器得到的空間軸線進行融合，得到的軸線最終結(jié)果如圖7 所示。其中各個傳感器得到的軸線向量和多軸線融合后的最終向量如表1 所示。

表1 各組傳感器軸線標定結(jié)果Tab.1 Axis calibration results of each sensor

圖6 多傳感器軸線數(shù)據(jù)Fig.6 Multi-sensor axis data

圖7 多軸線融合后的特征點及軸線Fig.7 Feature points and axes after multi-axis fusion

3.3 三維重建精度分析

為了進一步證明本文提出的基于多視角傳感器軸線融合的點云拼接方法的優(yōu)越性，在測量范圍為1.3～1.9 m之內(nèi)，選取了直徑為144.954 2 mm的標準球進行精度評價（圖8）。

圖8 精度評價實驗流程圖Fig.8 Flow chart of accuracy evaluation experiment

分別使用單軸線三維點云配準方法、最近點迭代算法點云配準方法、深度學習的離群值去除點云配準方法、多視角傳感器軸線融合的三維點云配準方法對標準球進行三維重建，并對重建后的標準球直徑進行誤差分析。其中最大誤差為MAXerr，平均絕對誤差為MAEerr，均方根誤差為RMSEerr。由表2 可知，本文所提出的點云拼接方法將誤差控制在0.037 mm 以內(nèi)，其他方法得到的誤差均較大，證明本文所提出的多視角傳感器軸線融合的三維點云配準方法優(yōu)于其他點云配準方法。由表3 可知，本文方法的點云拼接時間為0.517 s,亦優(yōu)于其他方法。

表2 標準球的誤差分析Tab.2 Error analysis of standard ball

表3 標準球的點云拼接時間對比Tab.3 Comparison of point cloud splicing time of standard ball

3.4 多視角傳感器點云拼接效果

本實驗是在測量范圍為1.3～1.9 m 內(nèi)使用直徑約為160 mm 的圓柱與寬約47 cm 的人體模特上進行點云拼接效果顯示。在每個實驗中對單軸線三維點云配準方法、最近點迭代算法點云配準方法、深度學習的離群值去除點云配準方法、多視角傳感器軸線融合的三維點云配準方法4 種拼接方法進行對比。本實驗首先對物體的真實紋理信息進行拼接展示，再去除三維點云的RGB信息進行拼接效果細節(jié)顯示。

為了在更多類型的對象上測試我們的方法，對無特征點物體和有特征點物體進行了三維掃描，如圖9 和圖10 所示。顯示最終的點云并分析其點云橫截面與拼接縫隙。從實驗中可以看出，本文方法獲得的軸線信息可以很好地從各個角度拼接出三維物體的點云。

圖9 標準圓柱拼接效果及截平面效果各種方法對比Fig.9 Comparison of standard cylindrical splicing effect and sectional plane effect

圖10 人體模特拼接效果各種方法對比Fig.10 Comparison of mannequin splicing effect

圖9 顯示了無特征點物體的點云拼接效果。本文提出的配準方法拼接時間為0.817 s。理論上，同一圓柱形物體不同視角的點云應(yīng)該是連續(xù)曲面，其切面也應(yīng)該是連續(xù)曲線。但是，其他方法得到的拼接結(jié)果在不同切片的點云之間存在不同程度的分層。圖10 顯示了有特征點物體的點云拼接效果。本文提出的配準方法的拼接時間為0.916 s，與傳統(tǒng)的最近點迭代算法點云配準方法相比，提高了點云的配準效率。對于有特征點物體的點云拼接的連接處應(yīng)該是連續(xù)且光滑的曲面，但是，其他方法得到的拼接效果在點云拼接的連接處有不同程度的縫隙。從實驗結(jié)果可以看出，本文提出的點云拼接方法對物體具有更好的拼接效果。

4 結(jié) 論

本文提出了一種多視角傳感器軸線融合的三維點云拼接方法，采用多組傳感器在不同視角下采集的軸線信息進行融合求取最優(yōu)解，利用融合后的軸線數(shù)據(jù)對無特征點和有特征點的點云進行高精度的拼接，從而能夠準確獲取大型物體或者場景的點云。

實驗表明，在1.3～1.9 m 的測量范圍內(nèi)，本文所提出的點云拼接方法對直徑為144.952 4 mm的標準圓進行三維重建的誤差在0.037 mm 以內(nèi)，且不依賴于物體的初始位置和特征點，對點云的拼接速度也有一定的保證。該點云拼接方法不管在無特征點物體還是在有特征點的物體上都能夠有較好的拼接效果。

本文所提出的多視角傳感器軸線融合的點云拼接方法有較好的穩(wěn)定性、較高的精度、較快的速度、較廣的適用場景，可以完成多類型物體的三維點云拼接。