吳婷璇，謝　剛，趙　婕

(太原理工大學 智能控制與智能信息處理實驗室，山西 太原　030024)

?

基于三維彩色點云的物體識別算法

吳婷璇，謝剛，趙婕

(太原理工大學 智能控制與智能信息處理實驗室，山西 太原030024)

隨著新一代深度傳感器的出現(xiàn)，使用三維(3-D)數(shù)據(jù)成為物體識別研究的熱點，而且提出了很多點云特征描述子。針對傳統(tǒng)的采用點云形狀特征描述子在目標描述方面的不足，提出了一種基于三維彩色點云的物體識別算法。首先提取點云數(shù)據(jù)的視點特征直方圖(VFH)和顏色直方圖(CH)，然后對提取的形狀特征和顏色特征分別通過支持向量機(SVM)進行預(yù)分類，最后將上述2個識別結(jié)果進行決策級融合。提出的算法在Washington RGB-D數(shù)據(jù)集進行訓練和測試。結(jié)果表明，該方法與傳統(tǒng)的采用點云形狀特征描述子相比，其物體的正確識別率有了顯著的提高。

三維彩色點云；VFH；顏色直方圖；特征融合；SVM

移動機器人對其工作環(huán)境的有效感知、辨識與認知，是其進行自主行為優(yōu)化并可靠完成所承擔任務(wù)的前提和基礎(chǔ)。如何實現(xiàn)場景中物體的有效分類與識別是移動機器人場景認知的核心問題。目前物體識別的重點逐漸集中于物體特征提取的研究上。提取特征的好壞決定不同的目標對象在高維特征空間中分離程度，好的特征能夠有效地降低識別算法后續(xù)步驟的復(fù)雜度，達到良好的效果。

隨著近年來3D傳感器的發(fā)展，價格也不像以前的3D傳感器那么昂貴，使用三維(3-D)數(shù)據(jù)成為物體識別研究的熱點，并提出很多點云特征描述子。常用的點云特征描述子可以分為兩類：局部特征描述子和全局特征描述子[1]。局部特征描述子主要描述關(guān)鍵點的局部特征，主要應(yīng)用于曲面匹配。全局特征描述子主要描述點云的全局幾何信息。全局特征描述子較局部特征描述子更為復(fù)雜，主要用于目標識別和形狀檢索領(lǐng)域。常用的全局特征描述子有：PFH (Point Feature Histogram)[2]，VFH(Viewpoint Feature Histogram)[3]， CVFH(Clustered View-point Feature Histogram)[4]， ESF (Ensemble Shape Functions)[5]。由于Kinect等深度傳感器獲得的點云數(shù)據(jù)含有大量的噪聲，在全局特征描述子中，VFH對噪聲有很強的魯棒性[6]，在其準確率、穩(wěn)定性和計算復(fù)雜度能保持很好的折衷，在點云識別中得到了很好地應(yīng)用。但目前點云特征描述子主要針對物體的幾何形狀，忽視了顏色特征也是物體識別的關(guān)鍵因素之一。本文針對傳統(tǒng)的采用點云形狀特征描述子在目標描述方面的不足，提出了一種基于三維彩色點云的物體識別算法。首先分別提取點云數(shù)據(jù)的視點特征直方圖(VFH)和顏色直方圖(CH)，然后對提取的形狀特征和顏色特征分別通過支持向量機(SVM)進行預(yù)分類，最后將上述2個識別結(jié)果進行決策級融合。本文提出的算法在Washington RGB-D[7]數(shù)據(jù)集進行訓練和測試。試驗結(jié)果表明，本文提出的方法與傳統(tǒng)的采用點云形狀特征描述子相比，其物體的正確識別率有了顯著性的提高。

1　融合特征構(gòu)建

本文方法的流程如圖1所示。圖1中，融合特征由顏色直方圖(Color Histogram， CH)和視點特征直方圖(Viewpoint Feature Histogram， VFH)兩種特征構(gòu)成。

圖1　本文方法的流程圖

1.1視點特征直方圖

視點特征直方圖(View Feature Histogram，VFH)[8]是一種新型的特征表示方法，能夠很好地進行點云識別。視點特征直方圖在FPFH描述子的基礎(chǔ)上，加入視點變量，使其構(gòu)造的特征具有縮放不變性而且具有強大的識別力。它涉及3部分的特征分量：

1)對視點方向與每個法線之間角度進行統(tǒng)計，得到其直方圖，來計算視點相關(guān)的特征分量。由于法線的視角在尺度變換下具有可變性，并不是計算每條法線的視角，而是將視點平移到查詢點后計算其視點方向及其每條法線間的角度。并將其量化為128個區(qū)間。

2)第二組特征分量是PFH中有涉及的3個角度α，φ，θ。如圖2所示，pi和pj為點云上的兩點，ni和nj為pi，pj對應(yīng)的法向量，為了計算兩點及其對應(yīng)法線之間的相對偏差，在其中一個點上定義了一個固定的局部坐標系uvw(u=ni，v=(pj-pi)×u，w=u×v)。使用uvw坐標系，通過式(1)～(3)可以計算出α， φ， θ來表示兩點及其對應(yīng)法線之間的相對偏差。在VFH計算中，測量的是中心點的視點方向和每個點對應(yīng)法線之間的角度。并將每一個角度量化為45個區(qū)間。

圖2　定義一個固定的局部坐標系

α=v·nj

(1)

(2)

θ=arctan(w·nj,u·nj)

(3)

3)第三組特征分量是統(tǒng)計點云上所有點到其中心點的距離，并將其量化為45個區(qū)間。

最后形成的VFH是一個關(guān)于308維的特征向量。

計算VFH的步驟如下：

1)輸入點云數(shù)據(jù)，對其以0.2 cm×0.2 cm×0.2 cm的體積元進行采樣。

2)對采樣后的點，估計其法向量。圖3a為一個物體的點云及其法向量。

3)通過每個點的法向量，計算其VFH特征。如圖3b對應(yīng)的就是圖3a的VFH特征。

圖3　提取VFH特征

1.2顏色直方圖

作為一種關(guān)鍵的圖像特征，顏色特征值的大小取決于選取的顏色空間。目前常用的顏色空間有4種即RGB，HSV，Luv與YCrCb等。目前主要的提取方法有顏色直方圖、顏色集、顏色矩等方法，其具有全局性。本文采用顏色直方圖(ColorHistogtam，CH)來表征目標對象的特征。由于RGB顏色空間不能滿足人類視覺特性需求，本文中采用HSV顏色直方圖作為顏色特征。步驟如下：

1)將目標的每個點的顏色值由RGB顏色空間轉(zhuǎn)變?yōu)镠SV顏色空間。

2)將H、S與V的空間分別設(shè)置為8級、3級與3級。即

(4)

(5)

(6)

3)構(gòu)造出1維顏色特征向量

G=HQSQV+SQV+V

(7)

式中：QS是S的設(shè)置級數(shù)，QV是V的設(shè)置級數(shù)，QS=QV=3，即

G=9H+3S+V

(8)

由式(8)得到，G的取值范圍為 [0，1，2，…，71]，即整個點云的HSV空間被設(shè)置為72種顏色。通過計算得到72 bin的顏色直方圖。圖4為一個點云及其顏色直方圖。

圖4　提取顏色直方圖

1.3特征融合

為了更有效地進行目標識別，對于獲得的VFH特征和CH特征，采用決策級融合策略進行融合。其一般采用投票的方法，即當分類器輸出結(jié)果不一致時，采用投票的方式來決定類別確定問題。先對不同特征進行訓練，得到各特征所對應(yīng)的分類器，然后將測試樣本提取的特征用該特征所對應(yīng)的分類器進行分類，得到屬于每種類別的概率，由于各特征具有統(tǒng)計獨立性，所以加法規(guī)則對屬于每種類別的概率進行合并，從而得到識別結(jié)果。圖5為本文采用的決策級融合流程圖。

圖5　決策級融合流程圖

1.4模式分類

本文算法采用支持向量機(SVM)進行訓練和分類。支持向量機是一種基于結(jié)構(gòu)風險最小化原理、性能優(yōu)良的機器學習方法。SVM的二分類方法通過尋找一個最優(yōu)分類超平面，使得分類間隔(從這個超平面到兩類樣本中最近樣本的距離之和)最大。多分類問題可以看作是多個二分類的組合，分別對每一個類別構(gòu)建一個二分類器。

SVM的核類型及其相關(guān)參數(shù)的選擇直接影響SVM分類器的分類效果。本文采用高斯核(RBF)的分類器。研究中，使用三折交叉驗證，并使用GridSearch尋找最優(yōu)的懲罰因子C和核參數(shù)gamma，對訓練樣本集進行分組，分為訓練集和驗證集。利用訓練集對分類器進行訓練，然后利用驗證集來測試訓練集得到的模型，根據(jù)驗證集測試的結(jié)果來評價該分類器的性能指標，擇取最優(yōu)的懲罰因子和核參數(shù)。筆者設(shè)置C的取值集合為{1,2,…,210}，gammar的取值集合為{2-10,2-9,…,1}。研究中，采用VFH特征進行識別時確定最優(yōu)的懲罰因子和核參數(shù)分別為8和0.003 9，采用CH特征進行識別時確定的最優(yōu)的懲罰因子和核參數(shù)分別為1 024和1。

2　實驗結(jié)果與分析

2.1實驗數(shù)據(jù)集

在這里采用華盛頓大學RGB-D數(shù)據(jù)集進行測試，這個數(shù)據(jù)集根據(jù)WordNet上義詞/下義詞的關(guān)系，形成一個分層的結(jié)構(gòu)，包含50類300個不同的日常物品，一共有250 000個點云數(shù)據(jù)。將每個物體放在一個轉(zhuǎn)盤上，使用一個Kinect類的3D攝像機記錄該物體全角度的點云數(shù)據(jù)。這個數(shù)據(jù)集的每一個樣本都包含有30°,45°,60°不同視角下的點云數(shù)據(jù)。為了驗證本文算法的有效性，筆者在部分數(shù)據(jù)集上進行實驗，所用的數(shù)據(jù)集的結(jié)構(gòu)圖如圖6，圖中括號內(nèi)為每種類包含的例子的數(shù)目如圖7中梨的例子，所采用的數(shù)據(jù)集所對應(yīng)的部分樣本如圖8所示。算法測試在PC機上運行(配置：IntelCorei3CPU， 2.13GHz主頻，內(nèi)存2Gbyte)。

圖6　所用數(shù)據(jù)集的分層結(jié)構(gòu)

圖7　梨的例子

圖8　部分類別物體

2.2留一校驗評價

留一校驗(Leave-oneoutCrossValidation)，其過程是隨機從一組測定數(shù)據(jù)中抽取一部分數(shù)據(jù)來訓練并建立模型，用其余的數(shù)據(jù)進行測試此模型。在本次實驗中，從每一個類別中隨機抽取一個例子進行測試，對其他例子的所有視角的點云數(shù)據(jù)進行訓練。因為留一校驗評價的隨機性，筆者重復(fù)10次進行實驗。

表1為10次實驗的實驗結(jié)果，評價整體的識別效果。從表1的10組實驗結(jié)果來看，顏色特征在物體識別方面的效果比形狀特征識別效果好。將兩者特征進行決策級融合后，實現(xiàn)顏色信息和形狀信息的互補，識別效果比單一特征識別效果有所提高。

表1訓練識別結(jié)果

編號VFHCH決策級融合實驗159.5176.0585.93實驗263.4873.0483.24實驗356.3774.2279.87實驗453.7875.3384.13實驗551.6373.9082.41實驗654.2773.2983.19實驗757.2876.7183.23實驗861.2375.2185.15實驗960.3872.4578.92實驗1059.8075.3482.72平均值57.7774.5582.87

為了更好地分析實驗結(jié)果，采用查準率(Precision)和查全率(Recall)對實驗1中每一類別的實驗結(jié)果進行進一步的分析。定義為

(9)

(10)

式中：C為查全率；Q為查準率；R為正確的識別結(jié)果數(shù)；O為漏檢數(shù)；W為誤檢數(shù)。表2為采用VFH特征各類別的實驗結(jié)果；表3為采用CH特征各類別的實驗結(jié)果；表4為采用融合特征各類別的實驗結(jié)果。

表2采用VFH特征各類別的實驗結(jié)果

類別正確識別漏檢誤檢查全率/%查準率/%apple111123090.2478.72banana1401099.29100lemon953714571.9739.42lime65565553.7254.17orange117264381.8273.13peach113540.7425pear2511010018.5220

表3采用CH特征各類別的實驗結(jié)果

類別正確識別漏檢誤檢查全率/%查準率/%apple11857895.9360.20banana10338073.05100lemon13204310075.43lime1156995.0492.74orange25118017.48100peach13602710083.44pear79566658.5260.31

表4采用融合特征各類別的實驗結(jié)果

類別正確識別漏檢誤檢查全率/%查準率/%apple12305110070.69banana12714090.07100lemon13206010068.75lime1192498.3596.75orange9251064.34100peach13600100100pear71641652.5981.61

從表2和表3各個類別的識別的查全率和查準率可以得出，對于apple類而言，由于其顏色形狀在一定范圍內(nèi)的穩(wěn)定性以及獨特性，其在顏色和形狀方面的識別率都很高。由于banana類在形狀方面的特殊性，采用VFH形狀特征進行識別，達到很好的識別效果。對于lemon、lime類而言，雖然在形狀方面的識別效果不好，但是由于其顏色的獨特性，使用顏色特征的識別效果較優(yōu)于形狀特征的識別效果。對于orange類而言，形狀特征的識別結(jié)果較好于顏色特征的識別結(jié)果。由于peach類其形狀的多樣性，形狀特征的識別效果不好，但是其顏色特征識別效果很好。對于pear類而言，形狀和顏色的多樣性使其VFH和CH的識別率都很低。顏色特征和形狀特征在物體識別方面各有優(yōu)勢，對兩種特征進行決策級的融合后，從整體上提高了各個類別的查全率和查準率，綜合效果較好。

3　小結(jié)

本文針對傳統(tǒng)的采用點云形狀特征描述子在目標描述方面的不足，提出了一種基于三維彩色點云的物體識別算法，實現(xiàn)形狀和顏色特征在決策級的互補。在WashingtonRGB-D數(shù)據(jù)庫中進行的實驗結(jié)果表明，本文方法取得了較高的查全率和查準率，綜合效果較好，而且證明了簡單特征的決策級融合能更好地進行物體識別。下一步工作可針對復(fù)雜場景中物體進行識別，并考慮其他方面的特征，進一步優(yōu)化物體識別精度，取得更好的識別效果。

[1]ALDOMAA，MARTONZC，TOMBARIF，etal.Pointcloudlibrary[J].IEEErobotics&automationmagazine，2012，1070：9932.

[2]RUSURB，BLODOWN，MARTONZC，etal.Aligningpointcloudviewsusingpersistentfeaturehistograms[C]//Proc.IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems. [S.l.]：IEEE， 2008：3384-3391.

[3]RUSURB，BRADSKIG，THIBAUXR，etal.Fast3Drecognitionandposeusingtheviewpointfeaturehistogram[C]//Proc. 2010IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS). [S.l.]：IEEE，2010：2155-2162.

[4]ALDOMAA，TOMBARIF，RUSURB，etal.OUR-CVFH-oriented，uniqueandrepeatableclusteredviewpointfeaturehistogramforobjectrecognitionand6DOFposeestimation[M]//PatternRecognition.Berlin：Springer， 2012:113-122.

[5]WOHLKINGERW，VINCZEM.Ensembleofshapefunctionsfor3Dobjectclassification[C]//Proc.IEEEInternationalConferenceonRoboticsandBiomimetic. [S.l.]：IEEE，2011：2987-2992.

[6]SALIHY，MALIKAS，WALTERN，etal.Noiserobustnessanalysisofpointclouddescriptors[C]//Proc.AdvancedConceptsforIntelligentVisionSystems. [S.l.]：SpringerInternationalPublishing，2013：68-79.

[7]LaiK，BoL，RenX，etal.Alarge-scalehierarchicalmulti-viewRGB-Dobjectdataset[C]//Proc.IEEEInternationalConferenceonRoboticandAutomation.Shanhai：IEEE，2011：1-8.

[8]RUSURB，BLODOWN，BEETZM.Fastpointfeaturehistograms(FPFH)for3Dregistration[C]//Proc.IEEEInternationalConferenceonRoboticsandAutomation. [S.l.]：IEEE，2009：3212-3217.

吳婷璇(1991— )，女，碩士生，主研圖像處理、人工智能；

謝剛(1972— )，博士生導師，主要研究方向為圖像處理、模式識別、計算機視覺等；

趙婕(1978— )，女，博士生，主研圖像處理、計算機視覺。

責任編輯：閆雯雯

Object recognition algorithm based on 3D color point-cloud

WU Tingxuan，XIE Gang，ZHAO Jie

(LaboratoryonIntelligentControlandIntelligentInformationProcessing，TaiyuanUniversityofTechnology，Taiyuan030024，China)

With the advent of new-generation depth sensors， the three-dimensional (3-D) data is used frequently on the object recognition， then a lot of point cloud feature descriptors are put forward. Based on the traditional using point cloud shape feature descriptors are insufficient， an object recognition algorithm based on the 3D color point cloud is proposed. First， the viewpoints histogram (VFH) and color histogram (CH) of a certain point cloud data is extracted. Then， the support vector machine is used to presort the extracted features respectively. Finally，the above two recognition results is fused using the decision level fusion. The proposed algorithm is tested on the Washington RGB-D dataset. Experiment results show that the algorithm can effectively improve the correct rate of object recognition.

3D point cloud；VFH；color histogram；feature fusion；SVM

TP391

A

10.16280/j.videoe.2016.09.025

太原市科技項目人才專項基金項目(120247-28)；山西省研究生教育創(chuàng)新項目(2015BY23)

2015-11-17

文獻引用格式：吳婷璇，謝剛，趙婕. 基于三維彩色點云的物體識別算法[J].電視技術(shù)，2016，40(9)：122-126.

WU T X， XIE G， ZHAO J. Object recognition algorithm based on 3D color point-cloud[J]. Video engineering，2016，40(9)：122-126.