韓豐澤,李國棟,韓一菲,鄭 福,孫志斌

(1.中國科學院國家空間科學中心,北京 100190；2.中國科學院大學,北京 100049；3.遼寧大學,遼寧 沈陽 110036)

1 引 言

隨著微電子學和光電子技術(shù)的發(fā)展,以及實際生活中的需要,三維成像已經(jīng)成為當前視覺領(lǐng)域重要的發(fā)展方向之一。三維成像在實際中廣泛的應用在無人駕駛、面部認證、3D打印、虛擬現(xiàn)實、生物、醫(yī)學等方面。三維成像技術(shù)的研究方向主要有激光三角法三維成像[1]、雙目視覺三維成像[2]、結(jié)構(gòu)光三維成像[3]、光場三維成像[4]、數(shù)字全息三維成像[5]和飛行時間(Time-of-Flighr,ToF)三維成像等。其中ToF具有軟件復雜度低、響應時間快、測量距離彈性大的優(yōu)點。

ToF距離測量成像是通過計算發(fā)射出的光信號與物體反射回來的光信號之間的相位差來計算距離。近年來隨著光學傳感器和計算機技術(shù)的發(fā)展,飛行時間測量和距離測量技術(shù)成像逐漸成為研究的熱點[6-15]。2014年,波恩大學的Hullin等人[6]使用連續(xù)波調(diào)制(AMCW)的飛行時間傳感器,利用計算成像的技術(shù)實現(xiàn)瞬態(tài)成像,該技術(shù)可以在現(xiàn)實世界的場景中獲取靜態(tài)的光分布,同時降低瞬態(tài)成像的成本。2018年,蒙特利爾大學的Nguyen等人[9]提出了一種僅使用一個ToF深度相機和兩個反射鏡進行的三維重建方法。除了避免了同步問題以及多個深度相機可能造成的紅外干擾外,該方法能夠顯著提高深度估計的精確度,還可應用于動態(tài)對象。Kentaro等人[14]利用矩陣輔助激光解吸/電離飛行時間(MALDI-TOF)質(zhì)譜成像(MSI)來可視化蘋果中可溶性碳水化合物的分布。

飛行時間方法獲取的三維點云數(shù)據(jù)在近距離存在噪點較多、精度較差的問題,因此需要對點云數(shù)據(jù)進行濾波處理。目前研究多數(shù)是對基于激光雷達系統(tǒng)獲取的點云進行濾波[16-17]。Zheng等人[18]提出一種新的點位置更新公式,并采用多種常規(guī)策略來客服尖銳的邊緣收縮,在防止大規(guī)模尖銳結(jié)構(gòu)嚴重失真方面具有優(yōu)勢。馬先明等人[19]利用柵格法以及雙邊濾波算法對噪聲進行濾波處理,能夠較好地保留目標物幾何特征并去除噪聲。肖國新等人[20]提出了一種自適應雙邊濾波點云去噪算法,能夠使空間方差參數(shù)自適應取值。趙凱等人[21]提出了一種基于密度的空間聚類算法(DBSCAN)的大場景散亂點云去噪方法。劉德兒等人[22]針對激光點云提出了一種基于二維Gamma分布的激光點云去噪方法,能自動識別噪聲點,降低人工設(shè)置閾值的影響。

綜上所述,目前國內(nèi)外對于ToF技術(shù)的研究主要集中于瞬態(tài)成像、非視域探測成像、三維重建等領(lǐng)域,對于目標提取及濾波的研究多數(shù)停留在激光雷達點云方面,針對目前發(fā)展現(xiàn)狀及未來ToF必將廣泛應用的趨勢,本文基于目前ToF技術(shù)獲取點云的特性,采用強度與點云位置相結(jié)合的方式對點云進行目標提取及濾波操作,為三維目標重建提供良好的預處理手段。

2 點云數(shù)據(jù)獲取2.1 ToF成像原理

3D-ToF相機通過計算發(fā)射出的光信號與物體反射回來的光信號之間的相位差來計算相機和目標物之間的距離,如圖1所示。因此,為了計算發(fā)射和反射光之間的相位差,光源通常為脈沖或者調(diào)制連續(xù)波。本文使用的相機為AMCW-ToF相機,發(fā)射出的光信號s(t)用正弦波描述,接收信號為g(t):

(1)

其中,ω是調(diào)幅(AM)頻率;A為調(diào)制信號的振幅;φ為相位偏移量;t為時刻。求飛行時間的過程可以用發(fā)射信號與接收信號的相關(guān)函數(shù)表示:

(2)

其中,T是積分時間,將公式(1)代入公式(2)可以得到:

c(τ)=[Acos(ωt-φ)+1]?[cos(ωt)]

(3)

圖1 TOF成像原理圖Fig.1 TOF imaging principle

由四項步法采集接收的光子信息,每個計算窗口的相位延遲為90°(0°,90°,180°,270°),即通過圖1中的4個快門積分時間(C1,C2,C3,C4)的c(τ)計算可以得到:

(4)

其中,B是因為信號疊加而產(chǎn)生的偏置。

根據(jù)公式(4)可以得到相位偏移量φ、深度D,同時可以得到反射光的振幅A和偏置B:

(5)

其中,c是光速;t為光子飛行時間;f=ω為調(diào)制頻率。

2.2 ToF獲取三維點云數(shù)據(jù)

本文中使用德州儀器(TI)公司生產(chǎn)的3D-ToF傳感器模塊獲取ToF數(shù)據(jù)。該模塊包括傳感器芯片OPT8241和控制處理器芯片OPT9221,其最大分辨率為320×240像素、最高幀率為120 fps、調(diào)制光的波長為850 nm。該模塊可以獲取點云數(shù)據(jù)的位置信息、強度信息和相位信息,如圖2所示。其中圖2(a)為原始點云位置信息,圖2(b)為強度信息,圖2(c)為相位信息。

圖2 ToF三維數(shù)據(jù)Fig.2 ToF 3D data

3 算法流程及介紹

本文中提出的對于三維點云目標提取方法的主要步驟如圖3所示。

圖3 本文算法流程圖Fig.3 Algorithm flowchart of this paper

3.1 強度信息目標區(qū)域確定

3.1.1 圖像預處理

雙邊濾波器(Bilateral filter)是一種基于高斯濾波的濾波方法,本文中使用雙邊濾波對三維點云的強度信息進行平滑處理。雙邊濾波器需要兩個高斯濾波,一個是對強度值的高斯濾波,另一個是對空間距離的高斯濾波。在對空間距離的高斯濾波中距離被濾波的像素點越遠的點權(quán)重越小。雙邊濾波公式如下所示:

(6)

其中,g(i,j)是位于(i,j)處的強度值經(jīng)過雙邊濾波后的結(jié)果;S(i,j)是點(i,j)處的鄰域;f(k,l)是原始數(shù)據(jù)的強度值;w(i,j,k,l)是由強度值高斯濾波和空間距離高斯濾波結(jié)合后計算的結(jié)果,計算公式如下:

(7)

其中,ws空間距離高斯濾波;wr是對強度高斯濾波;σ是方差。

中值濾波器是一種非線性平滑濾波器,常常被用來保護邊緣信息。該濾波器對每一像素點鄰域窗口內(nèi)的所有像素值做中值計算,公式如下:

g(x,y)=med[f(x-k,y-l),(k,l∈W)]

(8)

其中,f為原始圖像;g為中值濾波后的圖像;W是鄰域大小,本文中W為3×3的矩形鄰域。

3.1.2 目標區(qū)域確定

圖像目標提取首先要進行邊緣提取的處理,通過鄰域內(nèi)像素值的差分,每個像素值都是對應點在3×3領(lǐng)域中的最大值減去最小值,可以得到圖像中的邊緣信息:

J(x,y)=max[g(x-Δ,y-Δ)]-min[g(x-Δ,y-Δ)]

(9)

其中,J為邊緣提取后的圖像,結(jié)果如圖4(a)所示。

為了便于目標的提取,將邊緣提取后的圖像二值化。通過統(tǒng)計圖像中連通區(qū)域的面積大小,濾除光學實驗臺上的孔洞,并通過matlab中regionprops方法統(tǒng)計區(qū)域中的面積分布并用矩形框框出目標范圍。通過選中的目標區(qū)域,將區(qū)域以外的值在原圖中都置為0,再進行二值化形態(tài)學開處理,最終得到目標范圍的二值圖像,結(jié)果如圖4(c)所示。開處理即為先腐蝕后膨脹。腐蝕即用一個3×3大小的結(jié)構(gòu)元素掃描圖像的每一個像素并作“與”操作,膨脹即用一個3×3大小的結(jié)構(gòu)元素掃描圖像的每一個像素并作“或”操作。

圖4 目標區(qū)域確定過程Fig.4 Target area determination process

根據(jù)圖4(c)將強度信息中的像素與點云位置信息中的點相對應,可從點云位置信息中獲得目標所在點云范圍,將非目標點云刪去。

3.2 改進的K鄰近離群點去除算法

由于強度信息中提取的只是整個目標點云的大致范圍,提取的點云中還存在大量離群點導致目標邊緣不清晰、有雜亂點,因此還需對目標點云進行離群點去除。離群點即異常值,指的是一個集合中偏離大部分正常值的值,如極大或者極小值。本文采用K鄰近方法檢測離群點,計算每個點pi的最近的K個鄰近點到該點的平均距離,這些平均距離近似服從高斯分布,概率密度函數(shù)如下:

(10)

其中,xi是第i個數(shù)據(jù)點pi的K個鄰近點平均距離;μ是均值;σ是標準差。

本文離群點去除算法過程如下:

1) 讀入點云數(shù)據(jù)；

2) 計算每個點pi鄰域大小n之內(nèi)的點數(shù),記為Nn(pi),并將Nn(pi)≤5的點判定為離群點,如圖5所示,本算法中n為當前點K鄰近的高斯均值；

3) 計算每個點最鄰近的K個點,并將xi≥(μ+2σ)的點判定為離群點；

4) 從點云數(shù)據(jù)中刪除離群點。

圖5 基于鄰域大小內(nèi)點數(shù)的離群點判斷方法Fig.5 Outlier judgment method based on the number of points in the neighborhood

4 仿真及實驗結(jié)果分析

本文算法使用個人筆記本電腦運行:Inter(R) Core(TM) i5-7200U CPU,8 GB內(nèi)存,64位操作系統(tǒng),軟件使用MATLAB 2018a,仿真數(shù)據(jù)集選用斯坦福大學的3D掃描儲存庫(The Stanford 3D Scanning Repository)。

4.1 改進K鄰近離群點去除算法仿真

首先在三維點云數(shù)據(jù)Bunny、Dragon、Horse上增加高斯噪聲和隨機噪聲,其中高斯噪聲的標準差為0.025,均值為mean=y+(x-y)/2,其中x=max(points)是點云中的最大值,y=min(points)是點云中的最小值,噪聲點的個數(shù)為目標點云的15 %。如圖6所示。

圖6 Bunny數(shù)據(jù)集仿真結(jié)果Fig.6 Bunny data set simulation results

本文通過定義“錯誤點數(shù)”,計算錯誤濾除率來評價算法濾波效果,錯誤點數(shù)是對離群點濾除前后兩個點云求異或,即不在交集中的點。其中錯誤點分為兩類:1)不該濾除的目標點(Target point that should not be deleted,TPND); 2)沒有濾除的噪聲點(Noise point that not be deleted,NPND)。錯誤點集可以表示為:

(11)

其中,X是錯誤點集,P和P0分別是目標原始點集和濾波后點集,X為P與P0的異或。錯誤濾除率為錯誤點數(shù)與濾除前點數(shù)的比。

根據(jù)3.2節(jié)中內(nèi)容,離群點去除時需要參數(shù)鄰域大小n,由于每個點云數(shù)據(jù)集的大小,形狀都不同,因此每次人工輸入n的值較為不準確。仿真時,將n的值設(shè)置為當前點云的K鄰近的高斯均值,并與人工輸入n值做對比,人工輸入分別選擇1、1.2、1.5、1.8、2、5、10、13、15、17、19 mm等11個值。通過圖7可以看出,高斯均值(圖中箭頭所標點,在Bunny數(shù)據(jù)集中高斯均值計算為2.3 mm)在錯誤濾除率和運行時間兩方面均表現(xiàn)最好。

圖7 高斯均值與人工輸入?yún)?shù)誤差率及運行時間對比Fig.7 Comparison between the effect of Gauss mean and artificial input parameters

Bunny原始點云數(shù)據(jù)的質(zhì)心為(-0.0240 m,0.0966 m,0.0356 m),增加噪聲后的質(zhì)心為(-0.0231 m,0.0986 m,0.0310 m),增加噪聲前后的質(zhì)心偏差為5.1 mm。將鄰域大小為高斯均值和人工輸入所得點云的質(zhì)心分別與原始點云數(shù)據(jù)質(zhì)心對比,如圖8所示,可以看出使用高斯均值做為鄰域大小所得的點云質(zhì)心偏差最小(圖中箭頭所標點)。

圖8 高斯均值與人工輸入?yún)?shù)質(zhì)心偏差量對比Fig.8 Comparison of the deviation of the centroid of the Gaussian mean and the artificial input parameters

為客觀評價本文算法,以Bunny數(shù)據(jù)集為例,在點云質(zhì)心偏差量方面與傳統(tǒng)盒濾波、高斯濾波、中值濾波及matlab集成的pcdenoise離群點去除算法做對比,本文的改進K鄰近離群點去除算法效果最好、質(zhì)心偏差最小,如表1所示。

使用K鄰近的高斯均值在增加了隨機噪聲和高斯噪聲的Bunny、Dragon、Horse三個點云上做算法處理,通過對原始目標點個數(shù)、增加噪聲后離群點濾除個數(shù),錯誤點數(shù),錯誤濾除率,運行時間等方面結(jié)果的統(tǒng)計,如表2所示,可以看出,改進K鄰近離群點濾除算法效果較好,錯誤濾除率較低,均在2 %以下。

表1 算法客觀性能對比Tab.1 Comparison of objective performance of algorithm

4.2 實驗結(jié)果及分析

本文對鯨魚玩偶、警車模型、盆栽、木頭人四種物體進行實驗采集、算法處理。在強度預處理上,通過計算均方誤差(MSE)、峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)、信息熵(Entorpy)、運行時間等對比其性能,如表3所示。根據(jù)表3可以看出,雙邊濾波圖像質(zhì)量更好,中值濾波運行時間較短。

圖9(a)～(d)為四種目標物體的原始強度圖。圖9(e)～(h)是四種目標物體通過強度目標區(qū)域確定后的二值圖,可以較為清晰提取出目標的范圍,較好的保留其完整性。

表2 改進的K鄰近離群點去除算法仿真結(jié)果Tab.2 Simulation results of the improved K-neighborhood outlier removal algorithm

表3 雙邊濾波與中值濾波圖像質(zhì)量對比Tab.3 Image quality comparison between bilateral filtering and median filtering

將強度信息中的目標范圍一一對應至點云的位置信息,提取出目標在點云中的位置,再運用3.2節(jié)中的改進K鄰近離群點去除算法對獲取的目標點云進行濾波。依據(jù)4.1節(jié)中對于離群點去除的仿真結(jié)果,可以看出,本文算法能夠有效的去除噪聲點,錯誤濾除率低。圖9(i)～(l)是本文算法目標提取及點云濾波后的最終結(jié)果。并針對鯨魚玩偶,將改進K鄰近離群點去除算法改為傳統(tǒng)盒濾波、高斯濾波、中值濾波及matalb-pcdenoise方法,并于本文算法做對比,結(jié)果如圖10所示。

文獻[24]采用雙閾值空間濾波對點云進行離群點去除,然后通過基于法向量的RANSAC改進算法提取目標,對于正方體、圓錐等標準物體具有良好提取效果。通過對圖9(a)～(d)中四種物體獲取的目標點云進行濾波處理,根據(jù)目標濾波前后的點數(shù)、運行時間等角度與本文算法對比,如表4所示。本文算法能夠更好的保留物體的完整性,并且運算時間較短。

圖9 基于ToF真實目標物體點云提取實驗結(jié)果Fig.9 Experimental results of point cloud extraction based on ToF real target objects

圖10 改進K鄰近離群點去除算法與傳統(tǒng)三維濾波方法對比Fig.10 Comparison of improved K-neighborhood outlier removal algorithm and traditional 3D filtering method

表4 與基于法向量的RANSAC改進算法 目標提取效果對比表Tab.4 Comparison of target extraction between our algorithm and the improved RANSAC algorithm based on normal vector

5 結(jié) 語

本文基于強度與位置信息內(nèi)稟映射特征為TOF點云從復雜背景中提取目標提出了一種新的思路。同時在點云位置信息處理方面,改進K鄰近離群點去除算法,使用高斯均值選取鄰域大小,減少了人工參數(shù)的輸入,將錯誤濾除率降低至2 %以下,濾除前后質(zhì)心偏差為0.073 mm。本文算法相較于基于法向量的RANSAC改進算法運行時間提高30 %左右,并且目標保留完整,能夠為三維重建、點云融合、目標識別等研究方向提供較好的支持。未來我們將對多目標物體、環(huán)境復雜度高等情況做進一步研究。