朱迪，吳曉紅，何小海，張余強(qiáng)

（1.四川大學(xué)電子信息學(xué)院圖像信息研究所，成都610065；2.成都西圖科技有限公司，成都 610065）

0 引言

實(shí)物地質(zhì)標(biāo)本作為珍貴的不可再生資源，在地質(zhì)勘探、礦產(chǎn)開采等領(lǐng)域中具有重要的研究意義[1]。作為近年來計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，三維重建技術(shù)能將實(shí)物地質(zhì)標(biāo)本進(jìn)行數(shù)字化存儲(chǔ)，有效地避免了實(shí)物地質(zhì)資料遭到破壞后對(duì)后續(xù)研究造成的不良影響。目前，業(yè)界主流的方案有視覺和激光雷達(dá)兩大類。其中，視覺類代表為Kinect[2]，激光雷達(dá)類代表為三維掃描儀。三維掃描儀通過激光掃描技術(shù)[3]提供被測(cè)物體表面精確的三維點(diǎn)云數(shù)據(jù)，魯棒性很高，但該技術(shù)在全掃描時(shí)計(jì)算速度慢，且價(jià)格非常昂貴。而Ki?nect能提供實(shí)時(shí)、精確和密集的三維測(cè)量數(shù)據(jù)，同時(shí)硬件成本比較低廉，未來發(fā)展前景廣闊。

目前在Kinect上進(jìn)行實(shí)時(shí)稠密重建最常用的算法是帝國(guó)理工和微軟研究院在2012年提出的Kinect Fu?sion[4]。該算法首先采用雙邊濾波對(duì)原始深度信息進(jìn)行平滑降噪，然后使用“最鄰近迭代算法（Iterative Closest Point，ICP）”求解相機(jī)每次的相對(duì)位移與轉(zhuǎn)動(dòng)，把求解到的相機(jī)位姿融合到“截?cái)喾?hào)距離場(chǎng)（Truncated Signed Distance Field，TSDF）”模型中，最后通過渲染和投影給TSDF模型賦予顏色紋理，使重建結(jié)果變得肉眼可見。雖然Kinect Fusion實(shí)現(xiàn)了基于廉價(jià)消費(fèi)類相機(jī)的實(shí)時(shí)剛體重建，但是該算法依然存在很多缺陷。例如原始深度信息降噪采用的雙邊濾波器計(jì)算速度較慢，無法滿足重建的實(shí)時(shí)性，以及點(diǎn)云配準(zhǔn)采用的ICP算法會(huì)導(dǎo)致幀間誤差隨運(yùn)行時(shí)間增加而累積，造成重建錯(cuò)位。對(duì)于ICP算法，J.Xie和Y.F.Hsu（2015）提出重建時(shí)先用“隨機(jī)抽樣一致算法（Random Sample Con?sensus，RANSAC）”[5]對(duì)點(diǎn)云進(jìn)行粗配準(zhǔn)，然后再用添加了“尺度不變特征變換（Scale-Invariant Feature Trans?form，SIFT）”算子的ICP進(jìn)行精細(xì)配準(zhǔn)，改進(jìn)了Kinect Fusion對(duì)被建物體結(jié)構(gòu)特征要求高的問題，但該方法依然無法消除配準(zhǔn)累積誤差。

針對(duì)上述問題，本文首先引入聯(lián)合雙邊濾波[6]對(duì)深度圖進(jìn)行預(yù)處理，該聯(lián)合雙邊濾波采用了快速高斯變換降低計(jì)算復(fù)雜度。然后利用全局校準(zhǔn)減小了累積誤差帶來的重建錯(cuò)位，提高了重建質(zhì)量和算法魯棒性。最后采用局部最優(yōu)投影法對(duì)點(diǎn)云進(jìn)一步擬合，平滑了點(diǎn)云，減少了噪聲，實(shí)現(xiàn)了一種針對(duì)實(shí)物地質(zhì)標(biāo)本高效率、高質(zhì)量的重建方法。

1 實(shí)物地質(zhì)標(biāo)本三維重建

1.1 地質(zhì)標(biāo)本重建流程

基于實(shí)物地質(zhì)標(biāo)本的三維重建系統(tǒng)框圖如圖1所示：首先采用Kinect捕獲目標(biāo)物體的RGB圖和深度圖。接著用GrabCut[7]分割算法對(duì)RGB圖進(jìn)行分割，把前景目標(biāo)從背景中提取出來，然后根據(jù)裁剪的RGB圖像和深度圖像形成當(dāng)前視圖的三維點(diǎn)云。各幀點(diǎn)云生成后，先采用RANSAC算法進(jìn)行粗對(duì)準(zhǔn)，再使用添加了SIFT算子的ICP算法進(jìn)行精細(xì)配準(zhǔn)，接著通過全局校準(zhǔn)消除配準(zhǔn)誤差累積，然后用局部最優(yōu)投影法擬合點(diǎn)云，對(duì)點(diǎn)云進(jìn)一步降噪。

1.2 引入聯(lián)合雙邊濾波預(yù)處理

Kinect Fusion采用的雙邊濾波[8]相比一些常用的濾波算法如均值濾波[9]、中值濾波[10]能很好地克服邊界信息損失的問題。但它的核函數(shù)為高斯函數(shù)，計(jì)算速度較慢，無法滿足重建系統(tǒng)的實(shí)時(shí)性。由于Kinect能同時(shí)采集目標(biāo)物體的RGB圖和深度圖，兩圖的相似性很高，引入聯(lián)合雙邊濾波，讓彩色圖作為導(dǎo)向圖，對(duì)深度圖中像素點(diǎn)間的歐式距離和彩色中強(qiáng)度值的相似性進(jìn)行加權(quán)處理，補(bǔ)全深度圖像中缺失的部分。改進(jìn)后的深度圖輸出如式（1）所示：

公式（1）中的 p、q為圖像中的兩個(gè)相鄰像素，Ip、Iq表示彩色圖像灰度化后的像素值，k是歸一化常量，f、g表示權(quán)重分布函數(shù)，是高斯函數(shù)。從公式（1）可以看出，在強(qiáng)度差距大的地方，權(quán)重會(huì)減小，濾波效應(yīng)相應(yīng)變小，所以在圖像邊緣等強(qiáng)度差較大的地方可以保持梯度。

圖1 實(shí)物地質(zhì)標(biāo)本三維重建系統(tǒng)框圖

1.3 全局校準(zhǔn)

ICP配準(zhǔn)過程中，隨著點(diǎn)云不斷被添加到模型里，幀與幀之間的配準(zhǔn)錯(cuò)誤逐漸積累[11]，導(dǎo)致最后一幀和第一幀之間出現(xiàn)明顯的錯(cuò)位，本文采用全局校準(zhǔn)來消除這個(gè)影響。首先建立場(chǎng)景數(shù)據(jù)集，通過場(chǎng)景數(shù)據(jù)集檢測(cè)閉環(huán)，然后將閉環(huán)的最后一幀與第一幀進(jìn)行配準(zhǔn)獲取配準(zhǔn)誤差，最后把得到的誤差均勻分配在其他幀之間，得到一致的回路。

（1）場(chǎng)景數(shù)據(jù)集的建立

在已有的研究中，閉環(huán)檢測(cè)多采用一種叫詞袋模型[12]的算法來進(jìn)行場(chǎng)景建模。該算法先提取每張圖像的特征，然后對(duì)所有特征向量進(jìn)行聚類，得到K個(gè)聚類中心作為詞典，每幅圖像就能表示為一個(gè)有K個(gè)視覺詞典的矢量。接著計(jì)算每幅圖中各特征到K個(gè)詞的距離，距離最小的單詞數(shù)值加1，由此，每一幅圖像就變成了一個(gè)與視覺詞序列相對(duì)應(yīng)的詞頻矢量。通過場(chǎng)景數(shù)據(jù)集獲得每幅圖像的詞頻表示后，計(jì)算兩圖的視覺詞典間距就能確定兩幅圖的相似度，從而完成圖像檢索、識(shí)別、分類等任務(wù)。

（2）閉環(huán)檢測(cè)

通過計(jì)算圖像間的余弦距離來測(cè)量?jī)煞鶊D像之間的相似度。用一個(gè)n維的特征向量集合來表示圖像Iu，圖像中的每個(gè)特征向量di都關(guān)聯(lián)到一個(gè)視覺單詞dm。每幅圖像都會(huì)包含很多不同權(quán)重的詞匯，權(quán)重代表了這個(gè)詞匯在圖像集中出現(xiàn)的頻率，單個(gè)詞匯的權(quán)重計(jì)算如式（2）所示。

其中N表示所有圖像的數(shù)量，ni表示所有圖像中包含了dm的圖像數(shù)量。得出每個(gè)詞匯的權(quán)重后再利用相似函數(shù)計(jì)算兩幅圖像Iu與Iv間的相似度，相似函數(shù)如式（3）所示。

式中m為圖像中包含的詞匯數(shù)，根據(jù)式（3）就能計(jì)算出兩圖像間的相似矩陣，然后判斷它們的相似程度。

（3）誤差校準(zhǔn)

檢測(cè)到閉環(huán)后，首先用閉環(huán)中每一幀的代表頂點(diǎn)制定一個(gè)循環(huán)圖，如圖2展示了一個(gè)簡(jiǎn)單的循環(huán)圖示例，圖中頂點(diǎn)A為初始幀代表點(diǎn)，頂點(diǎn)E為末尾幀代表點(diǎn)，循環(huán)閉合到頂點(diǎn)A。ΔX為頂點(diǎn)A與頂點(diǎn)E對(duì)齊后的變換參數(shù)，令Ti為配準(zhǔn)過程中各幀的位姿變換值，有T1T2...Tn=ΔX。然后將ΔX均勻分配到各個(gè)位姿中，最大化減小環(huán)路閉合不匹配的問題。通常，因?yàn)榕錅?zhǔn)過程有誤差，ΔX的值會(huì)各不相同，如果配準(zhǔn)過程完全標(biāo)準(zhǔn)沒有錯(cuò)誤的話，ΔX的值應(yīng)該是一個(gè)單位矩陣。

圖2 包含5個(gè)頂點(diǎn)的循環(huán)示例圖

為了獲得一致的映射，誤差校準(zhǔn)需要計(jì)算頂點(diǎn)的權(quán)重，這些權(quán)重指定了ΔX在變換中需要改變的部分。例如圖2，頂點(diǎn)E需要變換ΔX，而頂點(diǎn)A則保持不變。頂點(diǎn)vi的權(quán)重計(jì)算如式（4）所示。其中vs是閉環(huán)中的第一個(gè)頂點(diǎn)，ve是最后一個(gè)頂點(diǎn)。變換參數(shù)ΔX的計(jì)算公式如式（5）所示。誤差校準(zhǔn)后，每一幀圖像最終修改轉(zhuǎn)換為Tm，如式（6）所示。Tm就是修改后每幀的位姿變換值，整個(gè)過程會(huì)重復(fù)進(jìn)行多次直到收斂。

（4）三維點(diǎn)云擬合

經(jīng)過配準(zhǔn)和全局校準(zhǔn)后的點(diǎn)云依然存在內(nèi)部高頻噪聲[13]以及系統(tǒng)自身和預(yù)處理過程中產(chǎn)生的離群點(diǎn)噪聲，點(diǎn)云模型紋理不夠連續(xù)、邊緣參差不齊。因此，需要對(duì)配準(zhǔn)后的離群點(diǎn)云進(jìn)行進(jìn)一步擬合，細(xì)化模型。

本文采用了一種基于投影的算法——局部最優(yōu)投影法，來對(duì)點(diǎn)云進(jìn)行局部擬合[14]。該方法的目的在于通過迭代投影把采樣表面附近的點(diǎn)均勻擬合到采樣表面上，實(shí)現(xiàn)高質(zhì)量點(diǎn)云去噪。

其中：

G(Q)是本文需要分析的能量函數(shù)，如式（12）所示。式中能量項(xiàng)E1( )X,P,C表示了初始點(diǎn)云P與目標(biāo)點(diǎn)云Q之間的擬合程度。

從式（9）的E1中可以看出這個(gè)公式把目標(biāo)點(diǎn)云中每個(gè)點(diǎn)與初始點(diǎn)云各點(diǎn)的L1范數(shù)的高斯加權(quán)和都計(jì)算了一遍，可以看作是考察了初始點(diǎn)云與目標(biāo)點(diǎn)云里每個(gè)點(diǎn)的擬合程度。但由于公式中存在高斯范數(shù)，與目標(biāo)點(diǎn)相距較遠(yuǎn)的點(diǎn)云高斯權(quán)重很低，可以被忽略。所以能量項(xiàng)E1表示的其實(shí)是目標(biāo)點(diǎn)云Q中每個(gè)點(diǎn)與其附近領(lǐng)域的初始點(diǎn)云P的擬合程度，是一個(gè)局部的算法。

能量項(xiàng)E2表示了目標(biāo)點(diǎn)云Q各點(diǎn)間的相斥力，它是保證點(diǎn)云分布均勻的關(guān)鍵。E2計(jì)算了對(duì)每個(gè)目標(biāo)點(diǎn)云qi∈Q與其他不同點(diǎn)云的距離的高斯加權(quán)和，與E1類似，由于存在高斯權(quán)重，E2中的求和項(xiàng)實(shí)際只有qi的鄰域點(diǎn)起作用?？梢园袳2看作過近點(diǎn)云間的斥項(xiàng)，當(dāng)兩個(gè)點(diǎn)距離很近時(shí)，這兩點(diǎn)間的E1能量會(huì)很大，這時(shí)候加入E2就可以有效避免這種情況的發(fā)生。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)平臺(tái)

搭建的實(shí)物地質(zhì)標(biāo)本重建系統(tǒng)示意圖如圖3所示。平臺(tái)包括一個(gè)Kinect傳感器、一個(gè)電控旋轉(zhuǎn)平臺(tái)、一臺(tái)計(jì)算機(jī)以及一塊黑色吸光布，黑色吸光布均勻鋪于旋轉(zhuǎn)平臺(tái)表面，以減少平臺(tái)反光對(duì)地質(zhì)標(biāo)本成像的影響。整個(gè)改進(jìn)算法利用C++實(shí)現(xiàn)，并在一臺(tái)帶有12GB RAM，處理器為 Intel Core i5-4590 CPU@3.30GHz 64位的計(jì)算機(jī)上進(jìn)行測(cè)試。

圖3 實(shí)物地質(zhì)標(biāo)本三重建系統(tǒng)平臺(tái)示意圖

2.2 實(shí)驗(yàn)分析

本文總共對(duì)6個(gè)形狀、大小、紋理各不相同的實(shí)物地質(zhì)標(biāo)本進(jìn)行了30余組重建對(duì)比實(shí)驗(yàn)，從中挑選了部分實(shí)驗(yàn)結(jié)果在下文進(jìn)行展示。其中，圖4中的（a）、（b）、（c）分別為地質(zhì)標(biāo)本1在重建圖像為20幀時(shí)使用Kinect Fusion、J.Xie算法和本文算法的重建結(jié)果圖；圖（d）、（e）、（f）為標(biāo)本 1 在重建圖像為 40 幀時(shí)使用三種算法的結(jié)果圖。

圖4 標(biāo)本1重建結(jié)果對(duì)比圖

圖 5 中的（a）、（b）、（c）分別為地質(zhì)標(biāo)本 2 在重建圖像為20幀時(shí)使用Kinect Fusion、J.Xie算法和本文算法的重建結(jié)果圖；圖（d）、（e）、（f）為標(biāo)本 2 在重建圖像為40幀時(shí)使用三種算法的結(jié)果圖。從圖4（c）、（f）與（b）、（e）的對(duì)比中可以看出本文算法很好的消除了配準(zhǔn)誤差帶來的重建錯(cuò)位。從圖 5（c）、（f）與（b）、（e）的對(duì)比中可以看出本文算法很好地填補(bǔ)了孔洞、擬合了點(diǎn)云、去除了離群噪聲。

圖5 標(biāo)本2重建結(jié)果對(duì)比圖

此外，表1展示了兩組標(biāo)本的重建幀數(shù)與重建時(shí)間記錄。從表中可以看出雖然在輸入幀數(shù)相同的情況下本文算法耗費(fèi)時(shí)間比Kinect Fusion與J.Xie算法略多，但從圖4、圖5中可以看出本文算法在輸入圖像20幀情況下的重建效果明顯優(yōu)于另外兩種算法在輸入圖像40幀情況下的結(jié)果，所以從重建結(jié)果角度看，本文算法相比Kinect Fusion與J.Xie算法花費(fèi)了更少的采集圖像和運(yùn)行時(shí)間重建出了更完整的地質(zhì)實(shí)物標(biāo)本，優(yōu)化了重建效果，提升了重建速度。

表1 三組算法運(yùn)行時(shí)間比較表

3 結(jié)語

本文基于Kinect，提出了一種用于實(shí)物地質(zhì)標(biāo)本的三維重建方法。首先，引入聯(lián)合雙邊濾波器對(duì)深度數(shù)據(jù)進(jìn)行優(yōu)化；然后，對(duì)配準(zhǔn)后點(diǎn)云進(jìn)行全局校準(zhǔn)消除配準(zhǔn)中的累積誤差；最后，采用局部最優(yōu)投影法對(duì)離群點(diǎn)云進(jìn)行擬合、平滑點(diǎn)云、去除噪聲。在采用了多組具有代表性的標(biāo)本進(jìn)行實(shí)驗(yàn)后，最終結(jié)果表明：

（1）本文算法在大幅減少重建地質(zhì)標(biāo)本圖像幀數(shù)時(shí)依然可以保持重建結(jié)果穩(wěn)定，提升了重建效率，魯棒性很高。

（2）本文算法有效地修復(fù)了配準(zhǔn)累積誤差、平滑了點(diǎn)云、填補(bǔ)了孔洞、去除了離群噪聲，得到了更優(yōu)的重建效果。