薛翠紅，齊立萍，楊鵬，賈超

（1.河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津 300130；2．河北工業(yè)大學(xué)研究生院，天津 300401；3.天津理工大學(xué)聾人工學(xué)院，天津 300384）

一種服務(wù)機器人的實時物體識別與跟蹤系統(tǒng)

薛翠紅1,3，齊立萍1，楊鵬1，賈超2

（1.河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津 300130；2．河北工業(yè)大學(xué)研究生院，天津 300401；3.天津理工大學(xué)聾人工學(xué)院，天津 300384）

針對室內(nèi)復(fù)雜環(huán)境下對家居服務(wù)機器人識別與跟蹤物體的可靠性與實時性要求，提出了把Adaboost算法和Camshift算法相結(jié)合的新思路，并引入一種基于視頻幀間相關(guān)性分析的新的檢測策略，通過設(shè)定相鄰視頻幀中檢測到的物體區(qū)域的重合率來剔除誤檢窗口．將其應(yīng)用于家居服務(wù)機器人的實時物體識別與跟蹤領(lǐng)域，既充分利用了Haar特征檢測實時性好的特點，又解決了傳統(tǒng)Camshift方法需要手工選取跟蹤物體的缺點．在分辨率為1024×768，幀速率為30幀/s的視頻上進行測試，每幀圖像的檢測率由原來的77.2%提高到92.4%，平均用時由原來的70.546 3 ms減少為23.9851ms．

家居服務(wù)機器人；物體識別與跟蹤；Adaboost算法；Camshift算法；幀間相關(guān)性

0 引言

中國正逐步進入老齡化社會，老齡化問題已經(jīng)成為中國面臨的巨大挑戰(zhàn)，因此，家居服務(wù)機器人[1]的應(yīng)用前景極為廣闊．在物體操作前機器人首先要從復(fù)雜的家庭背景中迅速準確地找到目標物體，完成物體識別與跟蹤[2]．假如物體識別錯誤，則會產(chǎn)生很嚴重的影響．實現(xiàn)準確、快速的物體識別與跟蹤是一項重要而艱巨的任務(wù)．

在國內(nèi)外，許多科研工作者在物體識別與跟蹤方面做了大量研究．文獻[3]采用的是基于模型的方法，首先利用CAD對物體建模，然后在圖像中對物體進行描述并匹配，達到了一定的識別效果，但是建模的過程工作復(fù)雜度很高．美國卡耐基梅隆大學(xué)的MOPED系統(tǒng)[4]是基于局部特征的物體識別系統(tǒng)的典型代表，該方法被廣泛應(yīng)用．主要應(yīng)用局部特征點及其空間位置關(guān)系進行匹配從而達到識別物體的目的．但是該方法的實現(xiàn)需要在輸入的整幅高分辨率圖像上提取SIFT特征，特征提取過程中，計算復(fù)雜度很高，所以導(dǎo)致系統(tǒng)速度過慢，不能滿足服務(wù)機器人的實時性要求．文獻[5]提出來一種基于壓縮感知的跟蹤算法，需要利用隨機矩陣去降維高維信號，然后在降維后的特征上選擇樸素貝葉斯分類器進行分類，通過在線學(xué)習(xí)不斷更新分類器，效果好，但是跟蹤窗口不能自適應(yīng)調(diào)節(jié)大小，容易產(chǎn)生目標丟失現(xiàn)象，并且需要人工指定被跟蹤物體．

目前，雖然在物體識別與跟蹤領(lǐng)域已經(jīng)取得了很大進展．但是由于室內(nèi)環(huán)境的復(fù)雜性，服務(wù)機器人因為運動帶來的圖像模糊性，以及對識別跟蹤實時性的要求，給服務(wù)機器人的物體識別帶來了很大的困難．Viola將Adaboost[6]算法用于人臉識別，從而使人臉檢測技術(shù)可以真正意義上從測試階段轉(zhuǎn)換到應(yīng)用階段．本文提出了一種基于Adaboost和Camshift[7]的物體識別與跟蹤方法，采用Adaboost和Cascade[8]的方法可以在家居環(huán)境背景下完成物體定位，為了在視頻中可以準確地跟蹤物體，引入基于顏色特征的目標跟蹤方法Camshift，當(dāng)物體與機器人的相對位移發(fā)生變化時，該算法可以自動調(diào)節(jié)跟蹤窗口大小．因為已經(jīng)由基于Haar特征的Adaboost算法檢測到物體，所以不需要人為手動選取待識別物體．該系統(tǒng)保證了識別性能的同時具有了良好的實時性，在室內(nèi)復(fù)雜環(huán)境下，甚至是機器人快速移動情況下，都達到了很好的識別跟蹤效果．

1 系統(tǒng)總體框圖

本系統(tǒng)分為離線訓(xùn)練分類器和在線進行物體的識別與跟蹤2個方面．離線時，提取數(shù)據(jù)庫中物體的Haarlike特征，訓(xùn)練Adaboost強分類器．在線時，系統(tǒng)攝像頭實時采集室內(nèi)視頻圖像，調(diào)用已經(jīng)訓(xùn)練好的Adaboost強分類器，采用基于視頻幀間信息分析的檢測策略來完成物體檢測，之后觸發(fā)Camshift物體跟蹤算法，完成物體的跟蹤，如圖1所示．

圖1 物體識別與跟蹤系統(tǒng)Fig.1 Objectrecognitionandtrackingsystem

2 基于Adaboost的物體檢測

采用基于Haar特征的Adaboost級聯(lián)算法來完成室內(nèi)物體的粗略檢測．不同大小、不同位置產(chǎn)出的Haar特征庫數(shù)量龐大，利用Adaboost算法可以選擇出最能表征物體特征的Haar特征．

2.1 Adaboost學(xué)習(xí)算法

采用投票加權(quán)的方式對每一輪迭代產(chǎn)生的最優(yōu)弱分類器進行線性組合，形成性能良好的強分類器．每個弱分類器的權(quán)重由其本身的分類性能來決定．最終生成的強分類器的表達式如下：

弱分類器的分類性能一般，只要其準確率大于50%即可．傳統(tǒng)的弱分類器的數(shù)學(xué)形式如下：

其中：x代表輸入圖片；代表閾值；p用來控制不等號的方向．

通過改變樣本權(quán)重來產(chǎn)生不同的弱分類器，樣本權(quán)重受分類結(jié)果的影響．

其中：Dti代表樣本權(quán)重；t為加權(quán)錯誤率．若樣本分類正確，則i= 0；若分類錯誤，則i=1．可知，樣本權(quán)重受分類結(jié)果的影響．如果樣本分類正確，則樣本權(quán)重減少；如果分類錯誤，那么相應(yīng)的樣本權(quán)重會增加，這樣就可以使分類器更加側(cè)重對難分樣本的訓(xùn)練，從而可以不斷提高分類器的可靠性．

圖2 Haar-like特征Fig.2 Haar-likefeatures

圖3 積分圖的構(gòu)造Fig.3 Integralimage

2.2 Haar-like特征

Haar-like[9]具有廣泛的適用性，可以表征局部的灰度變化情況．特征由

2個或者多個相同大小的矩形組成，如圖2所示．Haar特征定義為

其中：RsctSum ri是矩形ri處內(nèi)所有灰度像素值之和；Wi是矩形ri的權(quán)值；N是矩形個數(shù)．通過改變Haar特征的大小以及位置，可以獲得龐大的矩形特征庫．本文采取基于掃描窗口的像素級移動方法進行Haar特征的提?。钚〉腍aar特征大小為2×2，所以最小的掃描窗口也是2×2大小，然后逐漸增大掃描窗口得到不同大小的Haar特征．在邊緣檢測方面該特征具有明顯優(yōu)勢．

2.3 加速策略

為了提高Haar特征的計算速度，采用積分圖的方法．對于圖像內(nèi)任何一點A(x，y)，定義其積分圖為

其中，i x',y'代表(x',y')處的像素值．

引入積分圖之后，要想計算某個矩形區(qū)域內(nèi)的像素和，只要求得4個點處的積分圖即可，這樣可以使計算變得非常簡便．如圖3所示，只要求得1、2、3、4四點處的積分圖，就可以迅速計算區(qū)域D中的像素值．

由上圖可知，D中的像素值=ii 4+ii 1 ii 2 ii 3，引入積分圖之后，只要對圖像進行1次遍歷，就可以快速計算不同大小、不同類型的Haar特征值．由此可知，在不提高Haar特征的計算復(fù)雜度的情況下，可以在不同尺度上快速計算Haar特征值，得到不同尺度的弱分類器，進而可以在不同分辨率大小的圖像上進行檢測．可以滿足家居服務(wù)機器人在移動過程中進行識別的實時性要求．

在移動機器人的實時檢測過程中，目標物體只是占據(jù)了圖像中的一小部分，背景占據(jù)了圖像的絕大部分區(qū)域．因此，在級聯(lián)分類器的前幾層，可以設(shè)置結(jié)構(gòu)相對簡單一點、檢測率相對較高的強分類器．對于和目標物體區(qū)分度很大的背景區(qū)域，可以通過比較簡單的強分類器進行排除．在級聯(lián)分類器的后面幾層，特征數(shù)量會增加，結(jié)構(gòu)也會更加復(fù)雜，從而可以辨別與目標極為相似的負樣本．通過級聯(lián)策略，進行了由粗到精的檢測，只有正樣本和與正樣本極其相似的負樣本才會進入層數(shù)較高的分類器，大量的負樣本在級聯(lián)分類器的前幾層就被排除掉，這樣可以有效地減少計算復(fù)雜度．

對于一個K級的分類器，定義其檢測率和誤檢率如下：

其中：D代表級聯(lián)分類器的檢測率；F代表級聯(lián)分類器的誤檢率；di，fi分別代表某一層的檢測率和誤檢率．

3 改進的檢測算法

盡管Adaboost分類器識別效果很好，由于集成算法本身的局限性影響，在復(fù)雜背景下，數(shù)據(jù)分布極其復(fù)雜，對錯分樣本的權(quán)重的過分增大會造成分類性能下降．為了提高Adaboost算法的檢測率，可以加入一些預(yù)處理環(huán)節(jié)，比如顏色檢測方法[10]、運動檢測方法[11]，但是都有一定的局限性，顏色檢測方法對光照的變化比較明顯，運動檢測方法只能用來檢測動態(tài)的物體．所以，本文提出來一種基于幀間相關(guān)性的方法來提高檢測率．

由于相鄰幀之間存在很強的相關(guān)性，本文通過設(shè)定相鄰視頻幀中檢測到的物體區(qū)域的重合率來剔除誤檢窗口．對于動態(tài)視頻序列，幀與幀之間具有很強的聯(lián)系．在實際視頻信號中，相鄰2幀之間的差距非常?。挥挟?dāng)相鄰幀中檢測到的物體的重合率達到一定要求，才認為成功檢測物體．否則，則認為該區(qū)域為非物體區(qū)域．對于讀入的視頻，只有在連續(xù)的3幀圖像中，都可以保證在一定范圍內(nèi)可以檢測到物體，才認為真正檢測到物體，當(dāng)檢測到物體之后，即可開啟camshift[8]跟蹤算法，從而解決了Haar特征檢測的誤檢測和漏檢測問題．

考慮到在連續(xù)的3幀圖像中，物體在圖像中的位置變化很?。扇∫韵路绞絹矶x窗口的重合率．假設(shè)在第i幀圖像中存在檢測窗口ri=xi,yi,oi,wi,hi，其中，xi，yi分別代表矩形檢測框左下角坐標，oi代表矩形檢測框的中心坐標，wi，hi分別代表矩形檢測框的寬度和長度．在3幀圖像中，如果每相鄰2幀中的檢測窗口滿足如下條件

則認為檢測到了物體，這樣可以大大降低誤檢率．

4 基于改進的全自動Camshift的物體跟蹤

Camshift算法是一種有效的顏色跟蹤方法．但是，傳統(tǒng)的Camshift算法是一種半自動跟蹤算法，必須在第1幀手動標記待跟蹤物體，這無法滿足人們對于家居服務(wù)機器人的要求．本文中，采用基于Haar特征的Adaboost算法來實現(xiàn)物體的自動檢測．解決了傳統(tǒng)Camshift跟蹤方法的缺陷．

4.1 顏色直方圖

顏色特征是物體的一個顯著性特征．最常見的2個色彩模型是RGB色彩模型和HSV色彩模型．人眼對RGB彩色空間的感知程度很容易受到光照變化的影響．HSV色彩模型中的Hue分量濾掉光照產(chǎn)生的明暗信息，可以更好的體現(xiàn)物體本身的顏色屬性，因此選擇Hue分量作為特征的1個典型優(yōu)勢是可以在很大程度上減少光照變化對識別與跟蹤的影響．

4.2 改進的Camshift算法

本文提出了一種基于檢測的跟蹤方法．基于Adaboost實現(xiàn)目標物體的最初定位，只有檢測到物體信息并且達到一定的閾值之后才開啟Camshift跟蹤．計算檢測到物體信息的顏色直方圖，將其作為目標模板．

Camshift算法是Meanshift[12]算法的擴展．Meanshift算法的本質(zhì)是自適應(yīng)梯度上升搜索峰值．Meanshift會逐漸收斂于樣本的概率密度函數(shù)的局部最大值，從而使檢測中心越來越逼近圖像質(zhì)心．傳統(tǒng)的Camshift跟蹤算法實時性好，但是需要人工選擇待跟蹤物體，這個Camshift算法的應(yīng)用帶來了很大的局限性，因此本文根據(jù)利用Adaboost分類器的檢測結(jié)果來確定目標模板并初始化跟蹤窗口．

其算法步驟如下：

1）利用Adaboost分類器的檢測結(jié)果來確定目標模板并初始化跟蹤窗口．

2）計算初始窗口關(guān)于H分量的顏色直方圖，通過對顏色直方圖進行反向投影得到顏色概率分布圖．

3）計算搜索窗口質(zhì)心位置．在反向投影圖中計算搜索窗口的各階矩

其中：x,y為搜索窗口內(nèi)位置坐標；I x,y為顏色概率分布圖中對應(yīng)點的像素值．

根據(jù)0階矩和1階矩可以求得搜索窗口的質(zhì)心坐標

4）調(diào)整搜索窗口大小，計算如下

5）在顏色概率分布圖中利用Meanshift迭代算法將搜索窗口的幾何中心通過均值平移到質(zhì)心位置．如果窗口中心與質(zhì)心距離小于預(yù)先設(shè)定值或者迭代次數(shù)滿足預(yù)先設(shè)定值則進入下一幀．否則返回步驟3）繼續(xù)執(zhí)行．

6）利用步驟5）中的值獲得新的搜索窗口的大小和位置信息，再跳轉(zhuǎn)到2）繼續(xù)進行．將Meanshift算法引入到視頻序列中，得到Camshift算法，該方法可以實現(xiàn)搜索窗口的自適應(yīng)調(diào)節(jié)，不斷更新跟蹤模板．當(dāng)機器人與物體的距離發(fā)生變化或者是視角發(fā)生變化時都可以實現(xiàn)可靠的跟蹤．甚至在機器人運動速度很快的情況下，也可以達到很好的識別跟蹤效果．可以滿足移動機器人跟蹤的魯棒性要求．除此之外，在每幀圖像上搜索物體時，只在目標可能出現(xiàn)的區(qū)域內(nèi)進行搜索，大大減小了搜索時間，從而可以達到很高的跟蹤速度，可以滿足移動機器人跟蹤的實時性要求．

5 實驗及結(jié)果分析

5.1 實驗平臺

本文的機器人平臺如圖4所示，主要硬件結(jié)構(gòu)如下：底盤左右兩端各設(shè)有1個驅(qū)動輪，前端設(shè)有1個萬向輪；計算部件為ARK-3500無風(fēng)扇嵌入式工控機，處理器為Intel Core i7-3610QE，主頻2.3 GHz，帶6 MB三級緩存，內(nèi)存最高可達16GB，運行WIN7系統(tǒng)．?dāng)z像機為UI-6230-C．

5.2 樣本準備

為了降低光照的影響，需要具備不同光照條件下的正樣本圖像，所以選擇從早晨7:00至夜晚10:00每隔1個小時進行1次拍攝，從而可以涵蓋各種光照下的正樣本圖片．在不同光照強度下，對于每種物體，各自獲得順光和逆光條件下的正樣本圖片共計2 999張，如圖5所示．將正樣本圖片進行歸一化，圖像存儲格式為jpg格式．

負樣本圖片中不可以包含任何正樣本特征，即不可以包含待識別的物體，在物體經(jīng)常出現(xiàn)的場景中拍攝視頻，截取視頻中的幀獲得負樣本，這樣可以降低物體的誤檢率．負樣本的數(shù)量對系統(tǒng)精度有重要的影響，只有足夠多的負樣本才能較準確地反映出自然界的隨機事物在圖片中的灰度分布情況．在大尺寸圖中，通過Bootstrap的方式可以獲得許多負樣本，從而適應(yīng)系統(tǒng)的需求．

5.3 實驗結(jié)果分析

為測試本文改進算法在家居服務(wù)機器人物體識別與跟蹤的有效性，在VisualStudio2010基于C++編程語言進行軟件開發(fā)．

實驗1：對比實驗．將傳統(tǒng)的基于Haar特征的adaboost算法和本文改進算法相比較，由表1可知，檢測正確率大幅度上升．測試視頻大小為1024×768，幀速率為30幀/s．

由表1可知，本文的改進算法可以大大提高檢測率，有效地降低了誤檢率和漏檢率．

圖4 機器人平臺Fig.4 Robotplatform

圖5 正樣本圖Fig.5 Positivesamples

由表2可知，本文的改進算法可以大大提高實時性．在本文的改進算法中，最大用時出現(xiàn)在Haar檢測過程中，由于Camshift算法只是在上一幀檢測到物體的區(qū)域附件進行搜索，所以檢測速度可以大幅度提高．

實驗2：在復(fù)雜背景下進行物體識別與跟蹤實驗．視頻大小為1024×768，幀速率為30幀/s．檢測效果如圖6所示．

為了測試本文改進算法的可靠性，選取室內(nèi)雜亂環(huán)境為實驗條件，圖a）為利用Haar特征檢測效果圖，圖b）、圖c）依次為第45幀、90幀的檢測效果圖．在視頻分辨率大小為1 024×768，幀速率為30幀/s的情況下，可以達到實時可靠的檢測效果，可以達到家居服務(wù)機器人物體識別與跟蹤的實時性與可靠性要求．當(dāng)機器人快速移動時，當(dāng)攝像頭與物體的距離發(fā)生變化時，跟蹤窗口可以自適應(yīng)調(diào)節(jié)大小，滿足實際需求．

表1 不同算法檢測結(jié)果比較Tab.1 Comparison of the detection results of different algorithms

表2 同算法方法用時對比m sTab.2 Comparison of the detection speed of different algorithms

圖6 視頻中物體識別與跟蹤結(jié)果Fig.6 Theresultsofobjectrecognitionandtrackinginthevideo

實驗3：進行干擾目標下目標檢測實驗．選取桌面上常見物體（茶葉罐）為干擾對象，視頻大小為1024×768，幀速率為30幀/s，檢測結(jié)果如圖7所示．

由圖7可知：在相似物體茶葉罐的干擾下，達到了比較好的檢測效果．可以看出，本文的改進算法具有很好的抗干擾能力，具有很好的魯棒性．

實驗4：進行其他物體檢測試驗．為了驗證該算法的通用性，選取室內(nèi)其他物體進行檢測，檢測結(jié)果如圖8所示．本文的方法具有廣泛的適用性．

圖7 干擾下檢測結(jié)果Fig.7 Thedetectionresultsininterference

圖8 檢測結(jié)果Fig.8 Thedetectionresults

6 結(jié)論

選取Haar特征，訓(xùn)練Adaboost級聯(lián)分類器，采用基于視頻幀間關(guān)聯(lián)性的檢測策略實現(xiàn)物體的檢測，從而在很大程度上降低了物體的誤檢率和漏檢率，引入基于顏色特征的Camshift跟蹤算法，解決了傳統(tǒng)Camshift算法需要人工指定跟蹤窗口的缺陷，該方法可以自適應(yīng)調(diào)節(jié)跟蹤窗口大小，實時性好，實驗證明，該方案可以很好的應(yīng)用于家居服務(wù)機器人物體識別與跟蹤系統(tǒng)，在檢測速度與精度方面都有了很好的提升．

[1]XuQ，Ng JSL，TanOY，etal．Needsand attitudesof Singaporeanstowardshomeservice robots：amulti-generationalperspective[C]//Universal Access in the Information Society，2014．

[2]Kehoe B，Matsukawa A，Candido S，et al．Cloud-based robot grasping w ith the google object recognition engine[C]//Proceedings of IEEE International Conference on Robotics&Automation．IEEE，2013：4263-4270．

[3]Chen Y，Ji Z C，Hua C J．3-D model matching based on distributed estimation algorithm[C]//Proceedings of 2009 Chinese Control and Decision Conference．IEEE Computer Society，2009：5036-5067．

[4]Collet A，MartinezM，Srinivasa S S．TheMOPED framework：Object recognitionand poseestimation for manipulation[J]．International Journal of Robotics Research，2011，30（10）：1284-1306．

[5]Zhang K，Zhang L，Yang M．Real-time com pressive tracking[J]．Lecture Notes in Computer Science，2012，7574（1）：864-877．

[6]Viola P，Jones M J．Robust real-time face detection[J]．International journal of computer vision，2004，57（2）：137-154．

[7]M ahalakshmi M．Real time vision based object tracking using CAMSHIFT algorithm w ith enhanced color im age segmentation[C]//Proceedings of Computing Communication and Networking Technologies，2010 International Conference on．IEEE，2010：1-8．

[8]蔡燦輝，朱建青．采用Gentle AdaBoost和嵌套級聯(lián)結(jié)構(gòu)的實時人臉檢測[J]．信號處理，2013，29（8）：956-963．

[9]Landesa-Vzquez I，A lba-Castro J L．The Role of Polarity in Haar-like Features for Face Detection[C]//Proceedings of International Conference on Pattern Recognition，2010：412-415．

[10]Ge K，Wen J，F(xiàn)ang B．Adaboost Algorithm Based On MB-LBP Features With Skin Color Segmentation For Face Detection[C]//Proceedings of Wavelet Analysis&Pattern Recognition International Conference，2011：40-43．

[11]Du S，Shehata M，Badaw y W．Hard hat detection in video sequences based on face features，motion and color information[C]//Proceedings of International Conference on Computer Research&Development．IEEE，2011：25-29．

[12]Comaniciu D，M eer P．M ean Shift：A Robust Approach Toward Feature Space Analysis[J]．IEEE Transactions on Pattern Analysis&M achine Intelligence，2002，24（5）：603-619．

[責(zé)任編輯 代俊秋]

Areal-timeobjectrecognitionandtrackingsystemfor homeservicerobots

XUECuihong1,3，QILiping1，YANGPeng1，JIAChao2

(1.SchoolofControlScienceandEngineering,HebeiUniversityofTechnology,Tianjin300130,China;2.GraduateSchool,HebeiUniversityofTechnology,Tianjin300401,China;3.Technical CollegefortheDeaf,TianjinUniversityofTechnology,Tianjin300384,China)

Tomeettherequirementsofreal-timeandreliabilityintheobjectrecognitionandtrackingsystem forthehomeservicerobotsincomplexindoorenvironments，anew ideaofcombiningtheAdaboostandCamshiftalgorithmwasproposedandanewdetectionmethodbasedon frame-to-framecorrelationwasused.Bysettingthe regionoverlaydetected inadjacentframes，wrongdetectionwindowswereeliminated.ThismethodnotonlymadefulluseoftheHaarfeatures,butalsosolvedthe problemofCamshift,inwhich the trackingwindowmustbeselectedmanually.Theexperimentresultsinthevideoat30fpswitharesolutionof1024×768showthatthedetectionrateincreasesfrom77.2%to92.4%, whiletheaveragetimereducesfrom70.5463msto23.9851ms.

homeservicerobots;objectrecognitionandtracking;Adoboostalgorithm;Camshiftalgorithm;frame-to-framecorrelation

TP242.6+2

A

1007-2373(2015)06-0001-07

10.14081/j.cnki.hgdxb.2015.06.001

2015-05-25

國家自然科學(xué)基金（61305101）；天津市科技計劃項目（14RCGFGX00846）；河北省自然科學(xué)基金（F2015202239，F(xiàn)2014202121，F(xiàn)2010000137）

薛翠紅（1980-），女（漢族），講師，博士．

數(shù)字出版日期：2015-11-24數(shù)字出版網(wǎng)址：http://www.cnki.net/kcms/detail/13.1208.T.20151124.0901.002.html