王明星，鄭 福，王艷秋，孫志斌

基于置信度的飛行時間點云去噪方法

王明星1,2，鄭 福1，王艷秋1,2，孫志斌1,2

（1. 中國科學院國家空間科學中心，北京 100190；2. 中國科學院大學，北京 100049）

飛行時間（Time-of-Flight，ToF）三維成像方法由于多路徑干擾和混合像素等問題降低了目標物體深度測量的精度。傳統(tǒng)的方法通過優(yōu)化重構異常點云數據或濾除噪聲點云數據來提高目標的準確性，但是這些方法復雜度高且容易導致過度平滑。三維點云圖像中的有效點云與噪聲點云之間的關系很難用數學模型來表示。針對上述問題，本文提出了一種基于置信度的飛行時間點云去噪方法。首先，分析多幀點云數據的概率相關性，以點云數據的置信度作為判別有效點云與噪聲點云的依據；其次，利用多幀點云之間的矢量對偶性，提出了一種快速提取不同置信度點云的算法，其時間復雜度為()；最后使用該算法提取多幀三維圖像中置信度高的點云數據獲得目標物體的真實測量數據，并重點對4組不同場景的點云數據進行對比實驗。實驗結果表明，該算法能夠在有效濾除噪聲的同時，顯著提高目標物體的距離測量精度，增強目標物體的特征，因此具有廣泛的應用價值。

飛行時間；點云去噪；置信度

0 引言

近20年以來，飛行時間三維成像方法因具有非接觸測量、響應速度快等優(yōu)勢，在工業(yè)生產、科學研究、計算機視覺、自主導航等領域得到廣泛的應用。飛行時間三維成像方法是通過向目標物體發(fā)射近紅外強度調制信號，傳感器接收從目標物體返回的調制信號，然后對發(fā)射信號與接收信號進行相位解調獲得目標物體與飛行時間相關的相位差數據，最后計算獲得目標物體的距離信息[1]。在實際應用中，存在系統(tǒng)相關噪聲和非相關噪聲，其中系統(tǒng)噪聲包括深度畸變噪聲、積分時間相關噪聲、像素相關噪聲、振幅相關噪聲和溫度相關噪聲[2]；非相關噪聲是指多徑干擾[3]、背景光產生的噪聲等。

現有的點云去噪方法主要可以分為4類：基于移動最小二乘（moving least squares，MLS）的方法、基于局部最優(yōu)投影（locally optimal projection，LOP）的方法、基于稀疏性的方法和非局部的方法[4]。

基于移動最小二乘的方法首先根據最小二乘法確定每個點的局部參考域，然后擬合一個基于參考域的多項式函數，最終將輸入點云擬合出一個平滑曲面，并將點投影到生成的曲面上[5]。文獻[6]提出代數點集曲面（algebraic point set surfaces，APSS）的方法，利用局部移動最小二乘法擬合代數球面，通過控制擬合球面的曲率，解決了高曲率情況下不穩(wěn)定重構的問題。文獻[7]提出一種魯棒的隱式最小二乘法（robust implicit MLS，RIMLS），解決了移動最小二乘法對異常值和尖銳特征敏感的問題。然而，這些方法存在過度平滑的問題[8]。

基于局部最優(yōu)投影的方法與基于MLS的方法不同，它不計算曲面的顯式參數。文獻[9]中通過最小化到數據點的歐氏距離之和來定義表示估計曲面的一組點。它的兩個改進版本是加權局部最優(yōu)投影（weighted LOP, WLOP）[10]和邊緣感知點集重采樣（edge-aware resampling，EAR）[11]。WLOP通過使排斥項適應局部密度來輸出分布更均勻的點云，而EAR通過局部各向異性投影進行重采樣來保留尖銳特征。然而，基于局部最優(yōu)投影的方法也存在過度平滑的問題[8]。

基于稀疏性的方法假設每個局部是平面，并針對某些幾何特征的稀疏表示進行優(yōu)化?；诒砻娣ň€稀疏性的方法首先通過使用L0[8]或L1[12]正則化求解全局極小化問題得到表面法線的稀疏重建，然后基于局部平面假設解決另一個全局極小化問題來使用表面法線更新點的位置。但是，在局部噪聲比較高的情況下，法線估計會產生較大的誤差，由此導致過度平滑或過度銳化[8]。

非局部的方法將數字圖像去噪算法中非局部均值（non-local means，NLM）[13]和三維塊匹配濾波（block-matching and 3D filtering，BM3D）[14]的非局部自相似性概念應用到點云去噪中，在高噪聲水平下能夠更好地保留結構特征。文獻[15]中利用基于曲率的相似性進行非局部濾波，由于濾波過程中考慮了鄰域的幾何結構，更好地保留了精細的形狀特征。然而，這些方法的計算復雜度很高。

綜述分析了各類點云去噪方法，本文提出的基于置信度的點云去噪算法不屬于上述中的任何一類。它跳出了從單幀點云分析的思維局限，利用統(tǒng)計學的方法分析多幀有序點云，計算點云的置信度，如果該點云的置信度大于給定的置信度閾值，則該點為有效點，予以保留；相反，若小于給定的置信度閾值，則該點為噪聲點，予以刪除。

1 飛行時間三維成像原理與噪聲分析

飛行時間三維成像設備主要包括發(fā)射端和接收端，如圖1所示，控制器發(fā)送調制信號到激光器，控制激光器發(fā)出調制的近紅外光，經過物體漫反射后，接收端傳感器接收反射回來的調制光，最后根據發(fā)射信號與接收信號的相位差來計算深度信息。相位差D是由4個不同相位延遲的接收窗口的電荷量1、2、3、4計算得到[1]：

獲得相位差之后，根據公式(2)計算目標物體與相機之間的距離：

式中：表示光速；表示發(fā)射信號的調制頻率。

圖1 TOF相機成像原理

公式(2)中，相位差D的取值范圍為[0, 2p]，因此相機能測量的最大距離為/2，與調制頻率成反比，頻率越低，能夠測量的范圍就越大，但是隨之帶來的是測量精度的下降。若目標超過相機能夠測量的最大距離，測量得到的錯誤值依然落在[0,/2]區(qū)間內，這種噪聲混雜在真實點云中難以濾除。因而在實際應用中，面對不同距離的測量場景，需要調制不同頻率的發(fā)射信號。

在飛行時間相機獲取的點云圖中，物體與背景之間以及物體邊緣處存在大量的飛行像素噪聲（flying pixels[16]），這是由于目標物體測量的距離信息和背景測量的距離信息混合后產生的干擾噪聲。當飛行時間相機的單個傳感單元同時接收到前景和背景反射回來的調制光[17]，如圖2所示，二者產生的能量疊加在一起，使用公式(1)計算得到錯誤的相位差，此時傳感器測量得到的距離介于前景與背景之間，導致生成3D點云后，出現了實際場景中不存在的飛行像素噪聲。尤其在拍攝對象細節(jié)豐富的情況下，飛行像素噪聲散落在物體邊緣，如圖3(a)所示，在視覺上物體的邊緣信息已經完全被破壞。因此在進行點云分割、配準、重建等下游任務之前必須有效去除噪聲。

另外，如圖3(b)中橢圓標記2，在相機鏡頭與目標之間存在實際場景中不存在的噪聲，這是由于場景中的鏡面反射引起的。同時，反射率不合適的目標材料、鏡頭散射以及多徑干擾也是噪聲產生的原因[16-17]。

圖2 飛行像素噪聲的產生

圖3 實際場景中點云噪聲示例

2 點云置信度的定義

由于存在噪聲，傳感器的各個傳感單元獲取的點云數據存在誤差或者缺失的現象。具體表現為：本該接收到紅外反射光的圖像傳感單元，由于太陽反射光直流分量或是硬件問題導致紅外反射光丟失，呈現點云缺失的現象；一些本不應該接收到反射光的圖像傳感單元，受物體漫反射、多路徑干擾等影響接收到距離信息，產生飛行像素噪聲。對此本文利用有效點云與噪聲之間的非相關性，定義了點云置信度的概念。當把圖像傳感單元采集的數據作為一個隨機變量，點云噪聲以較低的概率被圖像傳感單元接收，而有效點云以較高概率被采集。對同一個目標進行多次測量，根據圖像傳感單元采集的次數計算置信度。

本實驗采用的飛行時間傳感器有307200個圖像傳感單元對目標進行測量，并輸出有序點云數據。當對同一目標采集次，則第個圖像傳感單元采集的點云的置信度為：

即按采集次數計算點云的置信度，當采集10幅圖時將會有10組點云，若10次圖像傳感單元都接收到了信息，計算該點云置信度為100%，可以認為該圖像傳感器單元接收到的是有效的信息。若10次測量中只有1次采集到信息時，計算該點云置信度為10%，那么可以認為該圖像傳感單元接收到的是噪聲。

3 基于置信度的點云去噪算法

根據公式(3)可以求出各個傳感單元獲取的點云的置信度，若直接對幅點云圖像遍歷求得t，在面對數據量極大的點云時，其復雜度相對較高。本文提出了一種通過矢量對偶點云加和的方式快速提取不同置信度的點云方法，該方法能夠以很小的時間和空間復雜度提取出符合置信度要求的點云。當使用飛行時間傳感器采集到副點云圖時，對其中第幅圖像的傳感單元進行研究，若傳感單元接收到物體反射信號，該傳感單元將會根據公式(1)和(2)計算輸出該點云的三維坐標L＝(X,Y, Z)，若傳感單元沒有接收到物體反射信號，該傳感單元會輸出一個極大的偏置L＝max＝(max,max,max)，表明該點區(qū)域沒有物體，即該點為無效點。若在次采集中圖像傳感器單元只有次采集到數據，對該傳感單元次獲取的三維坐標進行求和有：

式中：sum,j是圖像傳感單元采集次的三維坐標之和，由于被正確采集時，三維坐標數據受隨機誤差影響在小數量級浮動，可以近似表示為sum,j＝*1j；當只有次被采集時，同理sum,j可以近似表示為sum,j＝*L＋(－)*max。這樣根據未被采集的次數－，sum,j就會相對于原始點云進行(－)*max的偏移，因此只要偏置max足夠大時，對這些點云進行直通濾波處理，就可以很容易提取出不同置信度的點云。

基于置信度的點云去噪算法的偽代碼如下所示：

算法基于置信度的點云去噪 輸入: //n幀點云圖像 輸出: //點云集和對應置信度 1：if//檢查是否為同源點云 2： //矢量加和 3： //分割提取 4： 5：else 6： output輸入錯誤 7： return 8：return

基于置信度的點云去噪算法的計算主要集中在點云坐標的相加，時間復雜度為()，是常量，取決于點云圖的分辨率以及幀數。一般來說，對于常量級的加法操作，其復雜度幾乎可以忽略不計。

4 實驗與分析

4.1 飛行時間點云獲取和預處理

以實驗中一組數據為例，首先將“東方紅一號”1:15的模型固定在光學實驗平臺中央，然后利用飛行時間傳感器從4個不同的角度分別采集10幀數據，4個角度之間相隔90°左右。實驗裝置如圖4所示。

實驗獲取的點云數據如圖5所示，點云數據中包含了大量與目標物體無關的背景數據以及噪點，并且由于物體的遮擋，如圖5(a)、(c)所示，在目標物體和背景之間存在大量的飛行像素噪聲。對原始數據進行直通濾波實現目標提取，目標提取結果如圖5(b)、(c)所示，目標物體背面的點云比較稀疏和散亂，給后續(xù)的點云拼接與重建工作帶來了較大阻礙。

圖4 實驗裝置

圖5 TOF相機拍攝的點云數據示例

4.2 基于置信度的點云去噪

本文實驗使用的傳感器分辨率為480×640，輸出有序點云數據。實驗在固定位置對目標連續(xù)采集10幀圖像。將每一個圖像傳感器單元采集到的10個三維坐標進行求和，得到的點云如圖6所示，從左上角到右下角很明顯地分成了10個區(qū)域，由于這10個區(qū)域在空間中是彼此分離的，因此很容易分別提取出來。左上角為10幀圖像中采集到10次的點，在這10幀圖像中它的置信度為100%，右下角為10幀圖像只采集到一次的點，它的置信度為10%。

圖6 10幀點云圖各像素單元求和結果

將圖6中不同置信度的點云分別提取出來，得到的結果如圖7所示。其中100%置信度的點云具有最豐富的細節(jié)，表面特征相較于原始點云更加明顯，這是因為這些點被百分之百接收。另外，其它置信度的點云基本上都分布在目標物體的邊緣，說明物體的邊緣比較容易產生異常點和噪聲，這與飛行像素噪聲產生的原理是相吻合的。

表1統(tǒng)計了不同置信度的點云數量及其所占比率，其中100%置信度的點云所占比率為0.9425，這表明基于置信度的點云去噪方法能夠保證在有效數據不損失的前提下去除噪聲。另外，根據需求降低置信度閾值可以豐富目標邊緣信息。

圖7 提取不同置信度點云結果

表1 不同置信度的點云數量及所占比率

圖8（左）是置信度為100%的點云數據，與圖5中的(b)、(d)比較，置信度去噪后的點云相比于原始的點云以及經過統(tǒng)計濾波的點云有明顯的提升：

1）傳統(tǒng)的濾波方法無法對混雜在正確點云中的噪聲進行濾除，而基于置信度的點云去噪方法能找到置信度不高的點云進行濾除，并且具有復雜度低、效率高的優(yōu)點。

2）提高測量精度?；谥眯哦赛c云去噪的結果中點云分布相較原始點云更加細致有序。由于隨機誤差、計算精度等，測量得到的點云三維坐標存在隨機誤差的情況，假設該誤差以高斯分布形式出現(,2)，當利用10幅圖進行置信度去噪后，根據統(tǒng)計學原理，該點的分布會變成(, 0.1*2)，即對點云進行了校正。實驗中選取圖8（左）紅色框選區(qū)域的點云數據，其坐標范圍為[4,15]，坐標范圍為[13,14]，分析在置信度去噪前后的距離隨坐標變化的圖像，其分布如圖8（右）所示，原始圖像距離的范圍為[362.75, 376.75]，置信度去噪后的距離的范圍為[365, 370.23]，即原始圖像的距離測量精度為±7.00mm，置信度去噪后的距離測量精度為±2.62mm，精度提高了62.86%。

圖8 置信度去噪結果(左）和紅色選中區(qū)域置信度去噪前后距離Z隨坐標X的變化圖像（右）

3）增強目標物體特征。傳統(tǒng)濾波根據點云的空間分布信息進行濾波，使得一些零散卻有效的點被濾除，表現為特征模糊。而基于置信度的點云去噪能保留這些特征，如圖8（左）所示，衛(wèi)星模型的表面結構更加清晰，有利于后續(xù)配準、重建等工作。

邊緣缺失的點云是衛(wèi)星模型72面球體結構的特殊性造成的。缺失部分對應的鏡面反射路徑朝著遠離相機傳感器的方向，傳感器無法接收該部分反射光信息，導致點云缺失。缺失部分可以采用多視角點云配準的方式進行補全，最終實現完整的三維重建。

4.3 不同幀數的置信度去噪對比實驗

實驗按照目標物體的類型分為A、B、C、D四組。分別測試利用不同幀數的去噪效果，并與直通濾波方法進行對比。

其中A1、A2是在室內用飛行時間傳感器從2個不同的角度獲取的“東方紅一號”1:15的模型拍攝的點云數據。B1、B2是在室外用飛行時間傳感器從2個不同的角度獲取的汽車的點云數據。C1、C2是在室內用飛行時間傳感器從2個不同的角度獲取的雕塑的點云數據。D1、D2是在室內用飛行時間傳感器從2個不同的角度獲取的木制椅子的點云數據。

實驗中對各組數據分別進行直通濾波以及2幀、4幀、6幀、8幀、10幀的置信度去噪處理。表2顯示了不同幀數置信度去噪后點云的數量，可以看出A、B兩組點云數量隨著幀數的增加呈現的下降趨勢比C、D兩組更加明顯，這是因為A、B組的目標物體表面為金屬材質，高反光條件下獲取的數據中的噪聲相對更多。

實驗發(fā)現，通過2幀點云數據的置信度去噪，能夠達到較好的去噪效果，在有效濾除噪聲的同時能夠保留目標物體的特征。如圖9所示，相比于原圖，在兩幀點云加和后，點云圖中的目標物體周圍的飛行像素噪聲幾乎消失了，目標提取變得更加容易，為后續(xù)的配準以及重建工作創(chuàng)造了有利條件。

圖10列出了A1、B1、C1、D1組在不同幀數加和的效果以及對應置信度去噪的結果。點云幀數越多，置信度去噪后點云數量越少，例如，在B1組數據的置信度去噪結果中，車頂部分的點云隨幀數增加變得稀疏。在C1、D1組中，由于獲取的原始點云目標物體周圍噪聲相對較少，10幀點云的置信度去噪與2幀點云的置信度去噪結果從視覺上不易發(fā)現差別，都完整地保留了目標物體的特征。這也說明了本文算法去除點云噪聲能力較強，而對于有效的目標點云能夠較好地保留下來。

圖9 B1組原始點云俯視圖（左）與2幀加和后點云俯視圖（右）對比

表2 不同幀數置信度去噪后點云數量

5 結論

本文提出了一種基于置信度的點云去噪方法，實驗證明，它能夠快速有效地去除ToF點云中的噪聲，去除噪聲占比達5.75%，還能減小隨機誤差，目標物體的距離測量精度提高了62.86%，同時增強目標物體的特征。這種方法對于通過其它方式獲取的同源有序點云數據同樣適用，具有可推廣性。

本文算法簡單高效，時間復雜度為()，點云幀數和置信度閾值在實驗中需要根據實際情況進行選擇，因此可以考慮直接將算法嵌入相機芯片或者集成到通用圖像捕獲軟件中，把置信度作為一個設置參數，直接輸出經過置信度去噪后的點云數據。在置信度較高時，目標物體的邊緣若出現點云缺失的情況，可以通過多視角點云配準的方式進行補全。

[1] LI L. Time-of-flight camera–an introduction[R/OL]. [2021-10-08].chrome-extension://ibllepbpahcoppkjjllbabhnigcbffpi/http://www-cs.ccn y.cuny.edu/～ wolberg/capstone/kinect/ToFBasicsTI14.pdf.

[2] Foix S, Alenya G, Torras C. Lock-in time-of-flight (ToF) cameras: A survey[J]., 2011, 11(9): 1917-1926.

[3] Whyte R, Streeter L, Cree M J, et al. Review of methods for resolving multi-path interference in time-of-flight range cameras[C]//,, 2014: 629-632.

[4] ZENG J, CHEUNG G, Ng M, et al. 3D point cloud denoising using graph Laplacian regularization of a low dimensional manifold model[J]., 2019, 29: 3474-3489.

[5] Fleishman S, Cohen-Or D, Silva C T. Robust moving least-squares fitting with sharp features[J].(TOG), 2005, 24(3): 544-552.

[6] Guennebaud G, Germann M, Gross M. Dynamic sampling and rendering of algebraic point set surfaces[C]//, 2008, 27(2): 653-662.

[7] ?ztireli A C, Guennebaud G, Gross M. Feature preserving point set surfaces based on non-linear kernel regression[C]//, 2009, 28(2): 493-501.

[8] SUN Y, Schaefer S, WANG W. Denoising point sets via L0 minimization[J]., 2015, 35: 2-15.

[9] Lipman Y, Cohen-Or D, Levin D, et al. Parameterization-free projection for geometry reconstruction[J].(TOG), 2007, 26(3): 22-es.

[10] HUANG H, LI D, ZHANG H, et al. Consolidation of unorganized point clouds for surface reconstruction[J].(TOG), 2009, 28(5): 1-7.

[11] HUANG H, WU S, GONG M, et al. Edge-aware point set resampling[J].(TOG), 2013, 32(1): 1-12.

[12] Avron H, Sharf A, Greif C, et al. ?1-sparse reconstruction of sharp point set surfaces[J].(TOG), 2010, 29(5): 1-12.

[13] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//(CVPR'05), 2005, 2: 60-65.

[14] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]., 2007, 16(8): 2080-2095.

[15] WANG R, CHEN W, ZHANG S, et al. Similarity-based denoising of point-sampled surfaces[J]., 2008, 9(6): 807-815.

[16] HE Y, CHEN S. Recent advances in 3D data acquisition and processing by time-of-flight camera[J]., 2019, 7: 12495-12510.

[17] Reynolds M, Dobo? J, Peel L, et al. Capturing time-of-flight data with confidence[C]//,, 2011: 945-952.

Time-of-Flight Point Cloud Denoising Method Based on Confidence Level

WANG Mingxing1,2，ZHENG Fu1，WANG Yanqiu1,2，SUN Zhibin1,2

(1.,,100190,;2.,100049,)

The time-of-flight (ToF) 3D imaging method suffers from reduced precision in the depth measurement of target objects because of multipath interference and mixed pixels. Traditional methods improve the accuracy of the measurement by optimizing and reconstructing abnormal point cloud data or filtering noisy point cloud data. However, these methods are complex and can easily lead to excessive smoothing. The relationship between a valid point cloud and noisy point cloud in a 3D point cloud image is difficult to express using a mathematical model. To address these problems, a point cloud denoising method based on the confidence level is proposed in this paper. First, the probability correlation of multi-frame point cloud data is analyzed, and the confidence level of the point cloud data is used as the basis to distinguish valid point clouds from noisy point clouds. Second, by utilizing the vector duality between multi-frame point clouds, a fast algorithm for extracting point clouds with different confidence levels is presented, and its time complexity is(). Finally, the algorithm is used to extract the point cloud data with a high confidence level in multi-frame 3D images to obtain the real measurement data of the target object. We focus on the comparative experiments of four groups of point cloud data in different scenes. The experimental results show that the algorithm can not only effectively filter the noise but also significantly improve the distance measurement accuracy of the target object and enhance the characteristics of the target object; therefore, it has extensive application value.

ToF, point cloud denoising, confidence level

TN391

A

1001-8891(2022)05-0513-08

2021-10-08；

2021-11-11.

王明星（1998-），男，江西人，碩士研究生，主要研究方向為點云數據處理與應用，E-mail: wangmingxing20@mails.ucas.ac.cn。

孫志斌（1978-），男，山西人，博士，研究員，博士生導師，主要研究方向為空間光子學、光子信息學、空間材料學和物理電子學。E-mail: zbsun@nssc.ac.cn。

國家重點研發(fā)計劃（2016YFE0131500）；中國科學院青年創(chuàng)新促進會優(yōu)秀會員項目（2013105，Y201728）；中國科學院科研儀器設備研制項目（YJKYYQ20190008）；發(fā)改委國家重大科技基礎設施（2018YFA0404201，2018YFA0404202）；空間科學戰(zhàn)略先導專項（XDA15016300）；國家重大科學儀器設備開發(fā)專項（2013YQ030595）；空間科學戰(zhàn)略先導專項（XDA15013600）；國家自然科學基金委面上項目（61474123，61274024）。