王連慶，錢 莉

（上海工程技術(shù)大學(xué)機(jī)械與汽車工程學(xué)院，上海 201620）

0 引言

3D 視覺(jué)［1］的表達(dá)形式更為直觀，相比傳統(tǒng)的2D 視覺(jué)，可獲得物體更加全面的信息。獲得的信息以三維形式儲(chǔ)存，同時(shí)具有顏色、強(qiáng)度等特征，因此在文物重建、人臉識(shí)別、3D 打印、手勢(shì)識(shí)別［2-3］等方面都有著廣泛應(yīng)用。

文獻(xiàn)［4］開發(fā)了一套樹木結(jié)構(gòu)提取與分割系統(tǒng)，其利用地面激光雷達(dá)快速獲取樹木點(diǎn)云數(shù)據(jù)，從中提取與分割樹木結(jié)構(gòu)（胸徑、樹高、材積等），并根據(jù)分割的數(shù)據(jù)判斷樹木生長(zhǎng)情況；文獻(xiàn)［5］基于三維激光掃描技術(shù)，針對(duì)軍事領(lǐng)域中的覆土油罐建設(shè)，設(shè)計(jì)了一套輔助建設(shè)系統(tǒng)，具有油罐選址、預(yù)算控制等功能。但文獻(xiàn)［4］、［5］基于具體應(yīng)用場(chǎng)景設(shè)計(jì)的點(diǎn)云處理系統(tǒng)應(yīng)用場(chǎng)景單一，不易于擴(kuò)展。文獻(xiàn)［6］利用OpenGL 開發(fā)的點(diǎn)云處理系統(tǒng)對(duì)拾取得到的型值點(diǎn)進(jìn)行NURBS 曲線擬合，實(shí)驗(yàn)證明處理10 萬(wàn)個(gè)點(diǎn)僅需0.8s，因此可快速處理點(diǎn)云數(shù)據(jù)；文獻(xiàn)［7］設(shè)計(jì)了一種針對(duì)3D 掃描儀的點(diǎn)云處理系統(tǒng)，該系統(tǒng)點(diǎn)云重建功能強(qiáng)大，可恢復(fù)真實(shí)物體的紋理信息。文獻(xiàn)［6］、［7］中的系統(tǒng)在某一模塊功能強(qiáng)大，但是整體功能較少，無(wú)法對(duì)復(fù)雜情況下的點(diǎn)云數(shù)據(jù)進(jìn)行處理。文獻(xiàn)［8］利用PCL 點(diǎn)云庫(kù)開發(fā)的點(diǎn)云處理系統(tǒng)集成了點(diǎn)云分割、濾波、重建等算法，系統(tǒng)功能較全，但軟件界面的交互性較差，當(dāng)點(diǎn)云數(shù)據(jù)量較大時(shí)，點(diǎn)云處理速度較慢、效率較低。此外市場(chǎng)上多家3D 相機(jī)廠家都擁有自己的點(diǎn)云處理系統(tǒng)，如LMI、康耐視等，但相關(guān)系統(tǒng)往往需要與自己品牌的3D 相機(jī)配套使用，這種捆綁銷售的策略剝奪了用戶自主選擇的權(quán)利。

通過(guò)以上分析可以發(fā)現(xiàn)，目前針對(duì)激光雷達(dá)、3D 掃描儀開發(fā)的點(diǎn)云系統(tǒng)較多，而針對(duì)3D 相機(jī)開發(fā)的系統(tǒng)很少。針對(duì)具體項(xiàng)目集成的點(diǎn)云處理系統(tǒng)較多，但大多功能單一、擴(kuò)展性較差，無(wú)法處理復(fù)雜狀態(tài)的點(diǎn)云數(shù)據(jù)。因此，針對(duì)該問(wèn)題，本文利用QT 平臺(tái)與點(diǎn)云庫(kù)（Point Cloud Li?brary，PCL）開發(fā)了一套獨(dú)立的點(diǎn)云處理系統(tǒng)，可對(duì)獲得的點(diǎn)云數(shù)據(jù)進(jìn)行去噪、優(yōu)化、分割、重建等操作。此外，本軟件已集成康耐視、LMI、盛相、photoneo 等品牌的3D 相機(jī)進(jìn)行實(shí)時(shí)圖像采集，并對(duì)采集的數(shù)據(jù)自動(dòng)進(jìn)行處理。

1 系統(tǒng)結(jié)構(gòu)與功能設(shè)計(jì)

軟件系統(tǒng)運(yùn)行的效率、速度和穩(wěn)定性由處理點(diǎn)云的算法決定。PCL 點(diǎn)云庫(kù)具有開源、函數(shù)接口豐富等特點(diǎn)，適合作為此款軟件的底層算法，而QT 提供了強(qiáng)大的界面開發(fā)功能，并且還具有與點(diǎn)云可視化庫(kù)（Visualization Tool Kit，VTK）相結(jié)合的函數(shù)接口和插件，可以實(shí)現(xiàn)共同開發(fā)，適合作為此款軟件的界面開發(fā)工具。

1.1 系統(tǒng)底層工具介紹

QT 是一款跨平臺(tái)的界面設(shè)計(jì)軟件，在市面上的主流操作系統(tǒng)中都可以運(yùn)行，目前通過(guò)QT 還衍生了Qt Designer/Creator 等優(yōu)秀產(chǎn)品。QT 為使用者提供了已完成的封裝庫(kù)，通過(guò)信號(hào)槽機(jī)制連接按鍵及需要調(diào)用的函數(shù)，使得代碼與界面完美結(jié)合，可以讓使用者進(jìn)行快速、高效的開發(fā)。

PCL 是一款用于處理三維點(diǎn)云數(shù)據(jù)的開源庫(kù)，起初是在一個(gè)機(jī)器人軟件平臺(tái)（Robot Operating System，ROS）環(huán)境下開發(fā)的，2011 年獨(dú)立成為一個(gè)完整的開源庫(kù)，如今已成為高校、研究所科研時(shí)必不可少的工具。它可以對(duì)3D相機(jī)、激光雷達(dá)等傳感器中的數(shù)據(jù)直接進(jìn)行處理，常用方法有濾波［9］、分割、配準(zhǔn)［10］、特征提取、曲面重建［11］、識(shí)別、追蹤等。

VS（Microsoft Visual Studio）是由微軟研發(fā)的一款程序編譯軟件，可支持C、C++、C#、Java 等主流語(yǔ)言，此外其還擁有程序生命周期中所需的絕大部分工具，如UML 工具、代碼管控工具、IDE 等，編寫的代碼在微軟所有平臺(tái)下均可運(yùn)行。對(duì)于開發(fā)團(tuán)隊(duì)而言，可實(shí)現(xiàn)同事間的相互協(xié)作，提高專注度與效率，讓整個(gè)開發(fā)過(guò)程變得更加簡(jiǎn)單。

1.2 系統(tǒng)功能設(shè)計(jì)

結(jié)合3D 相機(jī)的特性，對(duì)軟件功能進(jìn)行整體設(shè)計(jì)。軟件功能主要包括點(diǎn)云數(shù)據(jù)格式轉(zhuǎn)換、點(diǎn)云分割、點(diǎn)云濾波、網(wǎng)格化重建、點(diǎn)云變換、點(diǎn)云選取。具體系統(tǒng)功能如圖1所示。

Fig.1 Function of point cloud system圖1 點(diǎn)云系統(tǒng)功能

該軟件可以直接從3D 相機(jī)中獲取實(shí)時(shí)數(shù)據(jù)（本軟件已集成康耐視、LMI、盛相、Photoneo 等品牌3D 相機(jī)的取像SDK），或直接導(dǎo)入電腦中的三維點(diǎn)云數(shù)據(jù)，利用QT 中的可視化控件VTK Widget 對(duì)點(diǎn)云進(jìn)行顯示。導(dǎo)入后可通過(guò)鍵盤操作實(shí)現(xiàn)上下左右前后6 種視圖切換，還可通過(guò)拖按鼠標(biāo)左鍵對(duì)點(diǎn)云進(jìn)行縮放，拖按鼠標(biāo)右鍵對(duì)點(diǎn)云進(jìn)行旋轉(zhuǎn)，拖動(dòng)鼠標(biāo)中鍵對(duì)點(diǎn)云進(jìn)行平移。此外，可通過(guò)界面左側(cè)的菜單設(shè)置點(diǎn)云旋轉(zhuǎn)的軸和角度，以及平移的方向和距離。復(fù)位按鍵提供給用戶在丟失點(diǎn)云的情況下使用。在實(shí)際使用時(shí)，由于采集數(shù)據(jù)會(huì)存在大量噪點(diǎn)，因此需要先運(yùn)用濾波算法對(duì)點(diǎn)云進(jìn)行精簡(jiǎn)，之后對(duì)點(diǎn)云進(jìn)行分割、重建、匹配等操作，可大大提升算法的準(zhǔn)確性。

2 軟件關(guān)鍵功能介紹

2.1 點(diǎn)云濾波

該款軟件實(shí)現(xiàn)了3 種濾波算法，包括直通濾波、體素柵格濾波和統(tǒng)計(jì)濾波算法［12］。各種濾波算法各有優(yōu)缺點(diǎn)，需在處理點(diǎn)云數(shù)據(jù)之前選擇最優(yōu)的濾波算法使點(diǎn)云更加均勻，噪聲更小。

直通濾波可以去除指定方向上指定值域內(nèi)的點(diǎn)云數(shù)據(jù)，其原理是遍歷所有點(diǎn)云，并判斷其是否在輸入的值域內(nèi)，如果在，則保留該點(diǎn)云，相反則將其刪除。直通濾波器運(yùn)行速度快、原理簡(jiǎn)單，對(duì)于去除圖像背景有著很好的效果。

體素柵格濾波的原理是對(duì)采集的點(diǎn)云實(shí)現(xiàn)降采樣，在有效減少點(diǎn)云數(shù)量的同時(shí)，不改變點(diǎn)云原有幾何結(jié)構(gòu)。一般用于稠密點(diǎn)云的預(yù)處理，以加快后續(xù)粗配準(zhǔn)、精匹配、重建等算法速度。該濾波器的主要思想是建立一個(gè)體素立方體，將體素立方體內(nèi)所有點(diǎn)云的重心近似看作體素里的點(diǎn)云，將所有重心點(diǎn)當(dāng)作濾波完成后的點(diǎn)云，通過(guò)設(shè)置體素參數(shù)決定點(diǎn)云數(shù)量。該濾波器相比直通濾波器運(yùn)算速度較慢、效率較低。

統(tǒng)計(jì)濾波的主要作用是去除由觀測(cè)噪聲產(chǎn)生的離群噪點(diǎn)，這些離群噪點(diǎn)在點(diǎn)云空間中稀疏分布。在估算點(diǎn)云曲率變化率［13］或法向量時(shí)，該類噪點(diǎn)會(huì)導(dǎo)致估算錯(cuò)誤，使得后期操作產(chǎn)生較大誤差。該濾波器的思想是假設(shè)點(diǎn)云中所有點(diǎn)與其最近k 個(gè)鄰近點(diǎn)的平均距離滿足高斯分布，可根據(jù)方差和均值得出一個(gè)距離閾值，當(dāng)某個(gè)點(diǎn)與其最近k 個(gè)點(diǎn)的平均距離大于該閾值時(shí)，認(rèn)定該點(diǎn)為噪點(diǎn)并刪除。

2.2 點(diǎn)云分割

點(diǎn)云分割的常見(jiàn)算法有平面分割、歐式聚類分割［14］、區(qū)域生長(zhǎng)分割［15］與區(qū)域蔓延分割算法等。本軟件系統(tǒng)提供了3 種點(diǎn)云分割算法的接口，分別是區(qū)域生長(zhǎng)分割算法、歐式聚類分割算法，以及在平面分割基礎(chǔ)上開發(fā)的立方體分割算法。其中，區(qū)域生長(zhǎng)分割算法是通過(guò)比較點(diǎn)與點(diǎn)之間的法線，將符合平滑約束的點(diǎn)云合并在一起，最終以點(diǎn)集形式輸出，每個(gè)點(diǎn)集被當(dāng)作同一平面。立方體分割算法是基于VTK 顯示模塊實(shí)現(xiàn)的，通過(guò)鼠標(biāo)控制立方體的6 個(gè)面進(jìn)行拉伸、旋轉(zhuǎn)等操作，框選出需要的點(diǎn)云實(shí)現(xiàn)分割。如在利用3D 視覺(jué)技術(shù)引導(dǎo)機(jī)器人抓取過(guò)程中，該分割算法可分割出需要抓取物體的點(diǎn)云，引導(dǎo)機(jī)械手進(jìn)行抓取。

2.3 三維重建

三維重建的主要方法有貪婪投影三角重建、泊松重建［16］與最小二乘移動(dòng)重建，本軟件提供了上述3 種方法的接口，可根據(jù)不同情況加以使用。

貪婪投影法使用了生長(zhǎng)法中的曲面建模算法，將空間中的點(diǎn)及其鄰域內(nèi)的點(diǎn)投影到切平面上，從而得到三維空間內(nèi)點(diǎn)與點(diǎn)之間的連接關(guān)系。該算法首先通過(guò)kd-tree［17］建立空間內(nèi)點(diǎn)云與點(diǎn)云之間的索引關(guān)系，利用此關(guān)系可快速查找出目標(biāo)點(diǎn)四周點(diǎn)集的索引，之后隨機(jī)定義一個(gè)初始三角形，通過(guò)計(jì)算生長(zhǎng)邊中點(diǎn)的鄰域獲得該生長(zhǎng)邊的投影面，并確定閾值K，將生長(zhǎng)邊最鄰近的K 個(gè)點(diǎn)投影到該平面上。在平面上選擇投影點(diǎn)與生長(zhǎng)邊所構(gòu)成夾角余弦值最小的點(diǎn)作為最優(yōu)擴(kuò)展點(diǎn)，并將該點(diǎn)加入到三角網(wǎng)格中組成新的三角形。不斷重復(fù)上述步驟，直至形成網(wǎng)格曲面。

在曲面重建中會(huì)產(chǎn)生漏洞，表面較為粗糙，此時(shí)則需要采用最小二乘移動(dòng)法，先對(duì)點(diǎn)云進(jìn)行重采樣，設(shè)置多項(xiàng)式階數(shù)，然后用高階多項(xiàng)式插值法使重建表面更加平滑、完整。

2.4 其他功能

手動(dòng)選取單個(gè)點(diǎn)云功能是通過(guò)PCL 提供的選點(diǎn)回調(diào)函數(shù)，同時(shí)對(duì)鼠標(biāo)事件進(jìn)行響應(yīng)，對(duì)于選中點(diǎn)通過(guò)vector 容器傳回函數(shù)中實(shí)現(xiàn)標(biāo)記，并利用可視化工具VTK 界面進(jìn)行顯示。

特征點(diǎn)是點(diǎn)云數(shù)據(jù)集中與其它點(diǎn)云特征差異較大的點(diǎn)，只有尋找到具有最有效特征的點(diǎn)才能方便后續(xù)的跟蹤配準(zhǔn)，提高軟件處理速度。本軟件可提取點(diǎn)云的NARF（Normal Aligned Radial Feature）關(guān)鍵點(diǎn)、SIFT3D（Scale-in?variant feature transform）關(guān)鍵點(diǎn)［18］與Harris3D 關(guān)鍵點(diǎn)。NARF 關(guān)鍵點(diǎn)是為了從深度圖像中識(shí)別物體而提出的，SIFT3D、Harris3D 關(guān)鍵點(diǎn)是基于經(jīng)典匹配算法SIFT、Harris擴(kuò)展而來(lái)的。

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

本文利用康耐視EA-5000 相機(jī)對(duì)零件進(jìn)行數(shù)據(jù)采集，軟件運(yùn)行環(huán)境為：Window10 Visual Studio 2017 C++，CPU為Inteli5-4800，RAM 為4GB。

3D 相機(jī)點(diǎn)云處理軟件系統(tǒng)界面由菜單欄、功能區(qū)和顯示區(qū)組成，最上側(cè)是菜單欄，左側(cè)是功能選擇區(qū)，右側(cè)是顯示窗口。其中，左側(cè)功能選擇區(qū)有濾波工具、重建工具、分割工具、選點(diǎn)工具、格式轉(zhuǎn)換工具等，界面內(nèi)容如圖2 所示。

3.1 機(jī)械零件表面重建實(shí)驗(yàn)

將零件放在載物臺(tái)上，3D 相機(jī)固定在載物臺(tái)上方50cm 處，對(duì)機(jī)械零件進(jìn)行取像，得到的三維點(diǎn)云如圖2 所示。由于機(jī)械零件放在載物臺(tái)上，所以獲取的點(diǎn)云會(huì)受到載物臺(tái)底面干擾，同時(shí)也會(huì)受到采樣噪聲的影響。首先使用直通濾波去除零件背景，去除效果如圖3 所示，接著利用體素柵格濾波對(duì)點(diǎn)云進(jìn)行精簡(jiǎn)，最后利用貪婪投影三角網(wǎng)格算法對(duì)機(jī)械零件進(jìn)行重建，重建效果如圖4 所示。通過(guò)圖片可以看出，重建效果與原零件結(jié)構(gòu)基本符合，可以較好地還原出零件結(jié)構(gòu)。但在細(xì)節(jié)處理方面較差，需要進(jìn)一步對(duì)算法進(jìn)行優(yōu)化。

Fig.2 3D camera capturing point cloud圖2 3D 相機(jī)獲取點(diǎn)云

Fig.3 Point cloud of mechanical parts after filiter圖3 機(jī)械零件濾波后的點(diǎn)云

3.2 傳動(dòng)軸提取

將幾個(gè)軸零件無(wú)序地放在載物臺(tái)上，3D 相機(jī)固定在載物臺(tái)上方50cm 處，對(duì)軸進(jìn)行取像。需要獲取其中一個(gè)軸的點(diǎn)云，用來(lái)實(shí)現(xiàn)機(jī)械臂對(duì)軸的抓取，獲得的點(diǎn)云如圖5所示?？梢钥吹接捎诓蓸诱`差，獲取的點(diǎn)云有許多噪點(diǎn)，因此用統(tǒng)計(jì)濾波設(shè)置閾值，將大于閾值的點(diǎn)作為噪點(diǎn)去除。接著使用立方體分割算法，截取所需軸的點(diǎn)云數(shù)據(jù)，截取的點(diǎn)云如圖6 中的紅色部分所示，最后將截取的點(diǎn)云保存成pcd 格式導(dǎo)出。由圖7 可以看出，提取出的點(diǎn)云可以達(dá)到要求。

3.3 產(chǎn)品高度測(cè)量與點(diǎn)云配準(zhǔn)

使用3D 相機(jī)采集凸臺(tái)數(shù)據(jù)，對(duì)采集的數(shù)據(jù)進(jìn)行去噪處理后，擬合出凸臺(tái)上表面平面與桌面所在平面，可測(cè)量出凸臺(tái)高度如圖8 所示。此外，系統(tǒng)還可以進(jìn)行點(diǎn)云配準(zhǔn)，綠色點(diǎn)云是模板，灰色點(diǎn)云是采集到的點(diǎn)云，可看出經(jīng)過(guò)點(diǎn)云配準(zhǔn)后，兩塊點(diǎn)云完全重合，如圖9 所示。

Fig.4 Reconstruction drawing of mechanical parts圖4 機(jī)械零件重建效果

Fig.5 3D camera capturing point cloud圖5 3D 相機(jī)獲取點(diǎn)云

Fig.6 Divided axis圖6 立方體分割出的軸

Fig.7 final effect圖7 最終效果

Fig.8 Visual display of measuring product height圖8 測(cè)量產(chǎn)品高度可視化顯示

Fig.9 Visual display of point cloud registration圖9 點(diǎn)云配準(zhǔn)可視化顯示

4 結(jié)語(yǔ)

本文采用可視化界面開發(fā)工具QT 設(shè)計(jì)了一套點(diǎn)云數(shù)據(jù)處理系統(tǒng)。由于PCL 點(diǎn)云庫(kù)在點(diǎn)云處理方面的高效性，配合QT 的界面設(shè)計(jì)，可同時(shí)兼顧軟件的可靠性與界面的美觀性。相比其它軟件，本軟件可實(shí)現(xiàn)與相機(jī)獨(dú)立使用，同時(shí)兼容大多數(shù)品牌的3D 相機(jī)。在點(diǎn)云數(shù)據(jù)量達(dá)到百萬(wàn)數(shù)量級(jí)時(shí)，運(yùn)行速度可得到保證。在功能方面，系統(tǒng)提供的點(diǎn)云濾波、點(diǎn)云分割、點(diǎn)云重建等功能操作簡(jiǎn)單，便于使用。該軟件實(shí)用性較強(qiáng)，但在大規(guī)模點(diǎn)云數(shù)據(jù)處理過(guò)程中運(yùn)行速度較慢、效率較低，而且在重建模塊中，物體重建的細(xì)節(jié)特征不夠準(zhǔn)確，需要在未來(lái)研究中進(jìn)一步完善。