孟 燦，鄒細(xì)勇，王國(guó)建

(中國(guó)計(jì)量學(xué)院 光學(xué)與電子科技學(xué)院，浙江 杭州 310018)

基于全方位視覺(jué)的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)

孟 燦，鄒細(xì)勇，王國(guó)建

(中國(guó)計(jì)量學(xué)院 光學(xué)與電子科技學(xué)院，浙江 杭州 310018)

針對(duì)移動(dòng)機(jī)器人動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)的檢測(cè)，提出一種基于全方位視覺(jué)的檢測(cè)算法。首先，改進(jìn)了SIFT算法中的特征點(diǎn)提取方法，在將圖像劃分為若干網(wǎng)格后，再根據(jù)特征點(diǎn)所在位置的局部區(qū)域熵對(duì)每個(gè)網(wǎng)格中的候選特征點(diǎn)進(jìn)行篩選；其次，在SIFT點(diǎn)匹配后采用RANSAC算法去除誤匹配點(diǎn)，以提高背景補(bǔ)償?shù)木?；最后用幀差法檢測(cè)出運(yùn)動(dòng)目標(biāo)。實(shí)驗(yàn)表明，該算法減少了SIFT點(diǎn)的獲取時(shí)間，并具有良好的魯棒性，能準(zhǔn)確地在機(jī)器人運(yùn)動(dòng)過(guò)程中檢測(cè)出運(yùn)動(dòng)目標(biāo)。

動(dòng)態(tài)背景；全方位視覺(jué)；SIFT；局部區(qū)域熵；背景補(bǔ)償

全方位攝像機(jī)可以獲取水平360°的場(chǎng)景圖像，因此，全方位攝像機(jī)應(yīng)用在移動(dòng)機(jī)器人平臺(tái)上有著重要意義。但是，由于攝像機(jī)的運(yùn)動(dòng)會(huì)使背景發(fā)生相應(yīng)的運(yùn)動(dòng)，導(dǎo)致從動(dòng)態(tài)背景中分割出運(yùn)動(dòng)目標(biāo)變得很困難。在這種情況下，幀差法[1]得到的運(yùn)動(dòng)不僅包括運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)，還包括了背景的運(yùn)動(dòng)。因此，需要對(duì)圖像的背景進(jìn)行補(bǔ)償，以消除背景運(yùn)動(dòng)，這樣就能檢測(cè)出運(yùn)動(dòng)目標(biāo)[2]。

針對(duì)全方位視覺(jué)動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)的研究，文獻(xiàn)[3]提出了一種基于全方位視覺(jué)的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)算法，該算法首先把全方位圖像還原為符合人類視覺(jué)習(xí)慣的全景圖像，然后獲得全景圖像的角點(diǎn)，再運(yùn)用Kanade-Lucas-Tomasi(KLT)光流法跟蹤角點(diǎn)，根據(jù)仿射變換模型完成背景補(bǔ)償，最后再通過(guò)幀差法得到運(yùn)動(dòng)目標(biāo)。但是，全方位圖像和全景圖像都存在幾何畸變[4]，雖然角點(diǎn)具有旋轉(zhuǎn)不變和縮放不變等優(yōu)良性質(zhì)，但還是不能很好地描述全方位圖像和全景圖像的圖像特征。同時(shí)，KLT光流法對(duì)光照十分敏感，會(huì)影響背景補(bǔ)償?shù)木?。為解決全景圖像幾何畸變?cè)斐傻谋尘把a(bǔ)償不準(zhǔn)確的問(wèn)題，文獻(xiàn)[5]提出一種改進(jìn)的算法，該算法把全景圖像均勻劃分為若干方格，每個(gè)方格代表一個(gè)像素塊，然后用稠密光流跟蹤每個(gè)像素塊，每個(gè)像素塊都應(yīng)用一個(gè)仿射變換模型來(lái)補(bǔ)償該像素塊的運(yùn)動(dòng)，最后再進(jìn)行差分。該算法在目標(biāo)檢測(cè)的精度上得到了提高，但是，運(yùn)用稠密光流進(jìn)行跟蹤，同時(shí)在一幅全景圖像上運(yùn)用多個(gè)仿射變換模型，使該算法的實(shí)時(shí)性降低。

為解決以上問(wèn)題，本文提出了一種新的基于全方位視覺(jué)的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)算法，該算法采用魯棒的SIFT特征點(diǎn)匹配算法求解全局運(yùn)動(dòng)參數(shù)，完成背景補(bǔ)償。SIFT算法能較好地解決由旋轉(zhuǎn)縮放、視點(diǎn)變化、光照變化引起的圖像變形等問(wèn)題[6]，因此，SIFT算法可以更好地提取存在畸變的全方位圖像的局部不變特征。但由于經(jīng)典的SIFT算法會(huì)產(chǎn)生大量的冗余特征點(diǎn)，且特征點(diǎn)分布不均勻，算法實(shí)時(shí)性低[7]，因此，本文提出了一種改進(jìn)的SIFT算法，該算法把圖像劃分為若干網(wǎng)格，對(duì)每一網(wǎng)格中的所有候選特征點(diǎn)，計(jì)算其所在位置的局部區(qū)域熵，根據(jù)熵值的大小，將候選特征點(diǎn)進(jìn)行由大到小的排序，選取前n個(gè)作為該網(wǎng)格的最終特征點(diǎn)，然后確定網(wǎng)格內(nèi)最終特征點(diǎn)的主方向，并生成特征描述符。

1 算法流程

本文算法流程如圖1所示。

圖1 算法流程圖

1)全局運(yùn)動(dòng)估計(jì)：首先，運(yùn)用改進(jìn)的SIFT算法提取全方位圖像的特征點(diǎn)，通過(guò)特征匹配算法獲得匹配的特征點(diǎn)對(duì)；然后，引入RANSAC算法來(lái)去除誤匹配點(diǎn)；最后，對(duì)剩余的匹配特征點(diǎn)利用最小二乘法求解仿射變換參數(shù)。

2)背景補(bǔ)償：根據(jù)求解的仿射變換模型參數(shù)，運(yùn)用雙線性插值算法，完成背景補(bǔ)償。

3)運(yùn)動(dòng)目標(biāo)檢測(cè)：在背景補(bǔ)償后，運(yùn)用幀差法，并結(jié)合二值化和形態(tài)學(xué)處理得到運(yùn)動(dòng)目標(biāo)。

2 基于全方位視覺(jué)的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)算法

2.1 全局運(yùn)動(dòng)估計(jì)

2.1.1 SIFT算法

SIFT算法[8]是由David G. Lowe提出的尺度不變特征變換算法。SIFT算法步驟如下：

1) DOG尺度空間極值檢測(cè)

一幅圖像的尺度空間L(x,y,σ)，定義為原圖像I(x,y)與高斯函數(shù)G(x,y,σ)的卷積運(yùn)算，公式為

(1)

DOG(DifferenceofGaussian)圖像是由不同尺度高斯差分核與圖像卷積得到的，公式為

D(x,y,σ)= [G(x,y,kσ)-G(x,y,σ)]*I(x,y)=

L(x,y, kσ)-L(x,y,σ)

(2)

將DOG尺度空間的每個(gè)點(diǎn)與上下相鄰尺度圖像的26個(gè)近鄰像素進(jìn)行比較，確定局部極值作為候選特征點(diǎn)。

2)精確定位特征點(diǎn)

首先，通過(guò)擬合三維二次函數(shù)來(lái)精確定位特征點(diǎn)的位置和尺度，即對(duì)泰勒二次展開(kāi)式(3)求極值，同時(shí)在計(jì)算過(guò)程中進(jìn)行修正，去除對(duì)比度較低的不穩(wěn)定極值點(diǎn)。

(3)

然后，利用Hessian矩陣的跡與行列式的比值去除不穩(wěn)定的邊緣響應(yīng)點(diǎn)。

3) 計(jì)算特征點(diǎn)鄰域梯度的大小和主方向

在以特征點(diǎn)為中心的鄰域窗口中，對(duì)每個(gè)像素點(diǎn)進(jìn)行梯度模值和方向計(jì)算，公式為

(4)

同時(shí)，用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，直方圖的峰值就代表了特征點(diǎn)的主方向。

4)生成特征描述子

將特征點(diǎn)的鄰域按其主方向進(jìn)行旋轉(zhuǎn)，以保證描述子的旋轉(zhuǎn)不變性。然后以特征點(diǎn)為中心，取16×16的窗口，將其劃分為4×4個(gè)子區(qū)域，對(duì)每個(gè)子區(qū)域按8個(gè)角度方向，計(jì)算該子區(qū)域的梯度方向直方圖，得到4×4×8=128維SIFT特征向量。

2.1.2 改進(jìn)SIFT算法

本文改進(jìn)的SIFT算法根據(jù)全方位圖像的成像特點(diǎn)對(duì)SIFT點(diǎn)的分布區(qū)域進(jìn)行了限制。同時(shí)，針對(duì)經(jīng)典SIFT算法存在的特征點(diǎn)數(shù)量多、分布不均勻、實(shí)時(shí)性低等問(wèn)題進(jìn)行了改進(jìn)，改進(jìn)SIFT算法將圖像劃分為若干網(wǎng)格，并根據(jù)網(wǎng)格中所有候選特征點(diǎn)所在位置的局部區(qū)域熵，對(duì)特征點(diǎn)進(jìn)行篩選，以限制特征點(diǎn)的數(shù)量，并使特征點(diǎn)均勻分布。

由于全方位攝像機(jī)采集到的圖像中并不是所有的像素都代表外界環(huán)境，全方位攝像機(jī)的一部分結(jié)構(gòu)和移動(dòng)機(jī)器人也會(huì)出現(xiàn)在圖像中，但是它們的運(yùn)動(dòng)與全方位攝像機(jī)的運(yùn)動(dòng)一致，因此，它們?cè)趫D像中的位置一直是固定不變的。在這些區(qū)域提取的SIFT點(diǎn)并不能代表外界環(huán)境的運(yùn)動(dòng)，會(huì)造成背景補(bǔ)償精度的下降，因此，需要對(duì)特征點(diǎn)的分布區(qū)域進(jìn)行限制。如圖2所示，全方位圖像中區(qū)域1和區(qū)域3在圖像中是固定不變的，只有區(qū)域2才代表外界環(huán)境的運(yùn)動(dòng)。因此，需要剔除在區(qū)域1和區(qū)域3提取到的SIFT點(diǎn)。這樣不僅可以減少特征點(diǎn)的數(shù)量，而且可以提高背景補(bǔ)償?shù)木取?/p>

圖2 全方位圖像

經(jīng)典SIFT算法把整個(gè)尺度空間搜索到的極值點(diǎn)都作為關(guān)鍵點(diǎn)，故產(chǎn)生大量的冗余特征點(diǎn)。由于信息量能很好地評(píng)價(jià)特征點(diǎn)的特殊性[9-10]，故本文采用特征點(diǎn)所在位置的局部區(qū)域熵對(duì)特征點(diǎn)進(jìn)行進(jìn)一步篩選，降低經(jīng)典SIFT算法的冗余性，提高運(yùn)算速度。同時(shí)，經(jīng)典SIFT算法可能會(huì)在局部區(qū)域產(chǎn)生特征點(diǎn)聚簇現(xiàn)象，使特征點(diǎn)分布不均勻，這可能會(huì)造成特征點(diǎn)的誤匹配?；诖耍疚膶D像劃分為若干網(wǎng)格，并根據(jù)每個(gè)網(wǎng)格內(nèi)所有候選特征點(diǎn)所在位置的局部區(qū)域熵值的大小，選取前n個(gè)特征點(diǎn)作為該網(wǎng)格的最終特征點(diǎn)。

特征點(diǎn)所在位置的局部區(qū)域熵的公式定義如下

在某些發(fā)達(dá)國(guó)家，水果大約有90%以上、蔬菜約有70%是經(jīng)運(yùn)輸后進(jìn)入銷售環(huán)節(jié)。近年來(lái)，隨著我國(guó)商品經(jīng)濟(jì)的飛速發(fā)展，果蔬運(yùn)輸也受到了前所未有的重視。

(5)

式中：k=255；pm表示局部區(qū)域中灰度為m的像素出現(xiàn)的概率。

改進(jìn)SIFT算法流程如下：

1)DOG尺度空間極值檢測(cè)。

2)精確定位特征點(diǎn)。

3)剔除全方位圖像中位于區(qū)域1和區(qū)域3中的候選特征點(diǎn)。

4)將圖像劃分為若干網(wǎng)格，根據(jù)式(5)，計(jì)算每個(gè)網(wǎng)格內(nèi)所有候選特征點(diǎn)所在位置的局部區(qū)域熵，并根據(jù)熵值的大小，對(duì)候選特征點(diǎn)進(jìn)行由大到小的排序，選取前n個(gè)作為該網(wǎng)格的最終特征點(diǎn)。

5)計(jì)算特征點(diǎn)鄰域梯度大小和主方向。

6)生成特征描述子。

2.1.3 SIFT特征匹配

SIFT特征匹配算法采用SIFT特征向量的歐氏距離作為2幅圖像中SIFT特征點(diǎn)的相似性判定度量，將具有最小歐氏距離的2個(gè)特征點(diǎn)匹配起來(lái)。算法采用優(yōu)先k-d樹(shù)近似的BBF(Best Bin First)搜索算法，快速搜索每個(gè)特征點(diǎn)在另一幅圖像中對(duì)應(yīng)的最近鄰特征點(diǎn)和次近鄰特征點(diǎn)，計(jì)算該特征點(diǎn)與最近鄰點(diǎn)和次近鄰點(diǎn)的歐氏距離，當(dāng)二者的比值小于閾值Td，則接受該匹配點(diǎn)對(duì)，否則，丟棄。

2.1.4 RANSAC參數(shù)估計(jì)

(6)

根據(jù)式(6)可知，要得到仿射變換參數(shù)，理論上只需要3對(duì)匹配特征點(diǎn)就可以。但是，由于錯(cuò)誤匹配點(diǎn)的存在，因此在求解過(guò)程中需要的特征點(diǎn)的對(duì)數(shù)要多于3個(gè)，本文利用RANSAC算法進(jìn)一步去除誤匹配特征點(diǎn)對(duì)，然后，根據(jù)剩余的匹配特征點(diǎn)對(duì)，利用最小二乘法求解仿射變換參數(shù)。

2.2 背景補(bǔ)償和幀間差分

根據(jù)求得的仿射變換參數(shù)對(duì)前一幀圖像進(jìn)行背景補(bǔ)償，但根據(jù)式(6)得到的坐標(biāo)不一定是整數(shù)，因此采用雙線性插值算法完成背景補(bǔ)償。假設(shè)f1(x,y)為參考幀圖像，f2(x,y)為當(dāng)前幀圖像，對(duì)f1(x,y)進(jìn)行背景補(bǔ)償?shù)玫綀D像f1′(x,y)，將f1′(x,y)與f2(x,y)相減，通過(guò)設(shè)置閾值T，得到運(yùn)動(dòng)目標(biāo)的二值圖像D(x,y)，即

(7)

然后，對(duì)二值圖像D(x,y)進(jìn)行形態(tài)學(xué)處理，經(jīng)過(guò)腐蝕和膨脹操作后，可以填補(bǔ)輪廓斷裂，消除小的空洞，并可以消除噪聲點(diǎn)，最終得到運(yùn)動(dòng)目標(biāo)。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文改進(jìn)算法的有效性，利用安裝有全方位攝像機(jī)的旅行家II號(hào)機(jī)器人采集到的視頻序列進(jìn)行仿真。實(shí)驗(yàn)視頻分辨率為640×480，實(shí)驗(yàn)環(huán)境為在PC(IntelCorei3CPU2.53GHz，1.8Gbyte內(nèi)存)機(jī)上利用OpenCV和VisualC++6.0進(jìn)行實(shí)驗(yàn)。

針對(duì)采集到的圖像，進(jìn)行經(jīng)典SIFT算法與改進(jìn)SIFT算法的比較實(shí)驗(yàn)，本文中改進(jìn)SIFT算法把圖像分為20×20個(gè)網(wǎng)格，取n=1，實(shí)驗(yàn)結(jié)果如圖3和圖4所示。

圖3中特征點(diǎn)的數(shù)目為1 149，圖4中特征點(diǎn)的數(shù)目為188。從圖中可以得知，改進(jìn)的SIFT算法不僅減少了SIFT特征點(diǎn)的數(shù)量，而且使特征點(diǎn)的分布趨于均勻，避免了SIFT點(diǎn)過(guò)度集中，去除了冗余的SIFT點(diǎn)，同時(shí)大大縮短了程序運(yùn)行的時(shí)間。表1中列出了經(jīng)典SIFT算法和改進(jìn)SIFT算法在特征點(diǎn)數(shù)量和程序運(yùn)行時(shí)間方面的比較。

圖3 經(jīng)典SIFT算法特征點(diǎn)檢測(cè)結(jié)果

圖4 改進(jìn)SIFT算法特征點(diǎn)檢測(cè)結(jié)果

表1 經(jīng)典SIFT算法與改進(jìn)SIFT算法運(yùn)行時(shí)間與特征點(diǎn)數(shù)量比較

圖5為SIFT點(diǎn)匹配初始結(jié)果，可以看出里面存在一些錯(cuò)誤的匹配點(diǎn)。圖6為RANSAC算法篩選過(guò)的SIFT點(diǎn)匹配結(jié)果，可以看出消除了錯(cuò)誤匹配點(diǎn)。

圖5 SIFT點(diǎn)匹配初始結(jié)果

為驗(yàn)證本文提出的基于全方位視覺(jué)的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)算法的有效性，拍攝了檢測(cè)行人的視頻序列。實(shí)驗(yàn)結(jié)

圖6 RANSAC處理后的SIFT點(diǎn)匹配

果如圖7所示，幀間差分閾值T=12。

圖7 運(yùn)動(dòng)檢測(cè)結(jié)果

圖7a和圖7b是采集到的視頻序列的第221幀和222幀，圖7c是直接采用幀差法并經(jīng)二值化后得到的檢測(cè)結(jié)果，可以看出大量背景被泄漏。圖7d是第221幀圖像經(jīng)背景補(bǔ)償后得到的圖像，圖7e是經(jīng)背景補(bǔ)償后的幀差結(jié)果，可以看到大部分的背景已經(jīng)被消除。圖7f是圖7e經(jīng)過(guò)二值化和形態(tài)學(xué)處理后得到的結(jié)果，與圖7c相比較，可以看出圖7c中殘留的背景和噪聲已經(jīng)完全消除，檢測(cè)出了輪廓清晰、完整的運(yùn)動(dòng)目標(biāo)。

4 小結(jié)

本文提出了一種基于全方位視覺(jué)的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)算法。采用了改進(jìn)的SIFT算法提取特征點(diǎn)，該算法約束了特征點(diǎn)的數(shù)量，剔除了冗余的特征點(diǎn)，且使特征點(diǎn)均勻分布。同時(shí)，使該算法的實(shí)時(shí)性得到了明顯提高。然后利用RANSAC算法去除誤匹配特征點(diǎn)，提高背景補(bǔ)償精度。實(shí)驗(yàn)結(jié)果表明，該算法應(yīng)用在全方位視覺(jué)系統(tǒng)中，可以在動(dòng)態(tài)背景中準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)目標(biāo)，證明了算法的有效性。

[1]欒慶磊，趙為松. 動(dòng)背景下幀差分法與邊緣信息融合的目標(biāo)檢測(cè)算法[J].光電工程，2011，38(10)：77-83.

[2]武艷美，肖陽(yáng)輝. 基于特征點(diǎn)匹配的全局運(yùn)動(dòng)估計(jì)[J].計(jì)算機(jī)工程，2011，37(22)：148-150.

[3]LIUH，DONGN，ZHAH.Omni-directionalvisionbasedhumanmotiondetectionforautonomousmobilerobots[J].SystemsMan.andCybernetics，2005(3)：2236-2241.

[4]張帆，朱齊丹，徐光. 基于前向映射的全景視覺(jué)圖像解算方法[J].光電工程，2009(1)：19-25.

[5]OH C M，LEE Y C，KIM D Y，et al. Moving object detection in omnidirectional vision based mobile robot[J].IEEE Industrial Electronics Society，2012(12)：4232-4235.

[6]馮政壽，王美清. 基于Harris與改進(jìn)SIFT算法的圖像匹配算法[J].福州大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，40(2)：176-180．

[7]付永慶，宋寶森，吳建芳．邊緣分類SIFT算法[J].哈爾濱工程大學(xué)學(xué)報(bào)，2010，32(5)：632-636.

[8]LOWE D. Distinctive image features from scale-invariant interest points[J].International Journal of Computer Vision，2004，60(2)：91-100.

[9]SCHMID C，MOHR R，BAUCKHAGE C. Evaluation of interest point detectors[J]. Int. J. Comput. Vis.，2000，37(2)：151-172.

[10]SEDAGHAT A，MOKHTARZADE M，EBADI H. Uniform robust scale-invariant feature matching for optical remote sensing images[J].IEEE Trans. Geoscience and Remote Sensing，2011，49(11)：4516-4527.

孟 燦(1989— )，碩士生，主研圖像處理、機(jī)器視覺(jué)、模式識(shí)別；

鄒細(xì)勇(1979— )，博士，副教授，碩士生導(dǎo)師，主要研究方向?yàn)闄C(jī)器人導(dǎo)航、計(jì)算機(jī)控制、智能照明系統(tǒng)；

王國(guó)建(1990— )，碩士生，主研ZigBee無(wú)線通信。

責(zé)任編輯：任健男

Moving Object Detection in Omnidirectional Vision Based Mobile Robot

MENG Can, ZOU Xiyong, WANG Guojian

(CollegeofOpticalandElectronicTechnology,ChinaJiliangUniversity,Hangzhou310018,China)

According to the detection of moving object based on mobile robot under dynamic background, an algorithm of detection based on omnidirectional vision is proposed. The method of extracting feature points is improved in the SIFT algorithm. After dividing the image as grid cells, the feature points of each grid cell are selected according to the entropy of local region around the feature point. Then after matching SIFT points, it employs RANSAC algorithm eliminate the mismatching points to improve the accuracy of the background compensation. Finally, frame difference method is used to detect the moving object. Experimental results show that with a better robustness, the proposed algorithm decreases the time of extracting feature points and it can detect the moving object while robot is moving.

dynamic background; omnidirectional vision; SIFT; entropy of local region; background compensation

浙江省重點(diǎn)科技創(chuàng)新團(tuán)隊(duì)項(xiàng)目(2010R50020)；國(guó)家自然科學(xué)基金項(xiàng)目(50905170；61007012)

TN911.73

A

10.16280/j.videoe.2015.01.030

2014-08-02

【本文獻(xiàn)信息】孟燦，鄒細(xì)勇，王國(guó)建.基于全方位視覺(jué)的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)[J].電視技術(shù),2015，39(1).