張建勛，汪 波，侯之旭，靳 沖

(重慶理工大學 計算機科學與工程學院，重慶 400054)

?

圖像多特征融合的障礙物檢測

張建勛，汪 波，侯之旭，靳 沖

(重慶理工大學 計算機科學與工程學院，重慶 400054)

針對室外環(huán)境中障礙物和地面圖形區(qū)分不明顯時，利用易受光照及噪聲影響的顏色或亮度信息檢測障礙物會出現(xiàn)誤判和漏檢的現(xiàn)象，采用多特征融合的方法對障礙物進行檢測。首先使用LBP算法提取圖像紋理特征，使用自適應Canny算法提取障礙物邊緣信息，將紋理特征和邊緣信息進行線性加權，再利用高斯建模方法更新背景信息，最后通過比較前后幀總體差異判定障礙物。與傳統(tǒng)三幀法、平均背景建模法、高斯混合建模法的實驗對比結果表明：該方法相比利用單一特征進行障礙物檢測的方法具有更好的魯棒性。

障礙物檢測；LBP算法；Canny算法；線性加權；高斯混合模型

近年來，智能車行進前方的障礙物檢測算法一直是自主導航領域的研究重點。障礙物通常具有顏色、紋理、梯度、角點等豐富信息，針對這些局部特征的提取算法不僅精確、快速，還能有效避免光照變化和噪聲的干擾，并滿足障礙物檢測的實時性和精確性要求。

李穎宏等[1]利用自適應高斯混合模型擬合canny算子提取出運動目標的邊緣序列，并分割出前景，解決了光照變化條件下的目標檢測問題。該方法應用在高出路面的目標時效果較好，但不能有效檢測出無高度的地面圖形。黃存東等[2]利用時空LBP特征建立高斯模型的方法，能解決前景和背景紋理相差較大情形下的目標提取問題，但不能應用在其他條件下。姚拓中等[3]通過融合圖像的亮度和紋理特征信息，有效地檢測出水體障礙物的區(qū)域。鮮曉東等[4]通過將顏色信息和紋理信息進行線性融合，解決了礦井環(huán)境下的目標與環(huán)境顏色相似條件下的檢測問題。陳世文等[5]使用Canny微分算子提取圖像邊緣信息，將顏色信息和紋理信息進行線性融合，能有效檢測出邊緣明顯的目標。唐峰等[6]將多特征融合的方法應用在運動對象的識別過程中，分別提取、計算出能表征目標的顏色、紋理、邊緣特征向量，再將向量進行拼接，利用支持向量機的方法完成實驗，更為準確地識別了運動對象，但存在弱小目標檢測準確率不高的問題。許多學者同樣致力于高斯混合模型的改進[7-11]，總結上述研究成果發(fā)現(xiàn)利用單一的特征，在特定的場景下，檢測效果十分明顯。但室外環(huán)境具有很大的隨機性和不確定性，對于障礙物的誤判和漏檢現(xiàn)象會給智能車行駛帶來一定的危險。梯度和紋理表示的是圖像像素的空間結構信息，對光照變化和噪聲沒有顏色信息敏感。因此，本文通過融合邊緣和紋理特征信息，使用高斯混合模型建模進行室外障礙物的檢測，并將該方法應用在室內環(huán)境中。

1 特征提取算法

1.1 LBP算法

LBP算子是一種灰度尺度不變的紋理算子，可用來描述圖像局部空間結構，通過選取中心像素的灰度值作為閾值與它的鄰域像素值進行比較可得到一組二進制碼。利用該二進制碼可表述圖像局部紋理特征。

在實驗中將圖像上某一像素點與其鄰域8個像素值進行比較，大于該點像素賦值為1，否則賦值為0，建立一個3×3的鄰域模板。

76387210981241288643216(a)像素模板 (b)賦值模板

100101111001280643216(c)紋理值 (d)賦值結果

圖1 LBP算法計算過程示意圖

通過該模板計算得出該點LBP= 128+64+32+16+1=241。為了表示不同尺度下的紋理結構，通常使用圓形鄰域對算子進行擴充。圖像上p個像素點的灰度聯(lián)合分布記為T=t(gc,g0,…,gi,…,gp-1) 。其中gc是局部鄰域的中心值，使用相鄰像素與中心像素的差值代替相鄰像素的灰度值可保持旋轉不變性，于是可以得到T=t(gc,g0-gc,…,gi-gc,…,gp-1-gc)。

在gc、gi-gc相互獨立的條件下，圖像紋理的屬性可以近似用差值的聯(lián)合分布表示，那么T～t(g0-gc,…,gi-gc,…,gp-1-gc)。當灰度值發(fā)生變化時，差值gi-gc會受灰度尺度的影響，極易造成整體分布的不穩(wěn)定性。因此只考慮差值的符號，通過采用0、1空間變換的數(shù)目來消除尺度變化的影響，即T≈t(s(g0-gc),s(g1-gc),…,s(gp-1-gc))。若

(1)

那么將得到一個全是0和1的分布，這個局部結構可看做是一個紋理單元。從而可將LBP的測度公式定義為

(2)

1.2 canny邊緣檢測算法實現(xiàn)過程

1) 用高斯濾波器平滑濾波，選取的高斯函數(shù)為

(3)

將式(3)表征的高斯濾波函數(shù)與提取的一幀圖像進行卷積計算得到新的圖像。

2) 利用x和y方向上的一階偏導數(shù)Gx(i,j)和Gy(i,j) 的有限差分法求出點(i,j)處的梯度幅值和梯度方向。

3) 在梯度方向上，比較該點及其鄰域梯度幅值的大小，尋找梯度圖像中的局部極大值并刪除非邊緣點，確定候選邊緣點，進而細化出單像素寬度邊緣。

4) 確定高、低閾值，合適的閾值決定著canny算法提取邊緣的精確度。傳統(tǒng)的canny算法[12]是將獨立邊的候選邊緣點連接成輪廓，輪廓的形成依賴于上、下限兩個閾值。人為預先設置閾值的大小往往達不到預期效果，閾值過高會丟失邊緣信息，閾值過低則會出現(xiàn)偽邊緣。因此，考慮光照變化等因素的影響，選用Otsu算法[13]適應的計算雙閾值。掃描圖像，取梯度值大于高閾值的候選邊緣點作為邊緣像素，舍棄小于低閾值的點，介于高、低閾值間的點要借助于邊緣的連通性進行判定，只有在與大于高閾值的像素連通時才被認定為邊緣點。

應用傳統(tǒng)canny算子和自適應閾值canny算法提取的邊緣效果如圖2所示。

2 混合高斯模型和多特征線性融合

在靜止環(huán)境中圖像像素點基本靜止，利用單高斯概率密度函數(shù)可以準確地描述圖像的灰度值分布。視頻序列中，背景不斷更替，光照變化和噪聲因素的干擾都會使背景發(fā)生重大變化，降低了單高斯模型的魯棒性，會產生較大偏差。像素點的變化可用K個高斯模型混合以加權的方式組合來擬合，采用自適應或其他方法以一定頻率更新每個高斯分布的參數(shù)，可以有效模擬動態(tài)變化的背景，還能適用于場景突變的背景建模。模型的個數(shù)越多越可以增強處理突變的能力，但同時也延長了處理時間。提取視頻序列中的某一幀，在t時刻幀上一點的灰度值為Xt，用高斯概率密度函數(shù)表示為：

(4)

(5)

圖2 傳統(tǒng)canny算法和自適應canny算法結果

混合高斯模型、LBP紋理特征都具有旋轉不變性，將邊緣-紋理特征結合可使像素具有時間和空間信息，對復雜場景中的障礙物檢測具有較高的魯棒性。由于視頻序列中的背景是不斷變化的，因此利用混合高斯模型進行背景建模時，需要不斷更新模型的參數(shù)來適應像素值的變化。通過引入學習因子實時更新高斯分布的均值和方差，使當前幀中的像素能快速地融入模型中。

(6)

(7)

通過式(6)、(7)，可以實時更新高斯模型并不斷獲取新的背景圖像。在建立邊緣-紋理的組合模型之前，先將障礙物的圖像表示為邊緣和紋理特征信息，將信息進行線性加權融合。

(8)

(9)

(10)

其中，式(9)為Bhattacharyya距離的計算方式，通過計算直方圖的相似度，可衡量前后幀之間的差異值。

首先根據(jù)圖像灰度變化情況求取高斯分布的最優(yōu)均值u；T為根據(jù)圖像灰度估計的最佳閾值。dj和dt分別表示前后幀紋理特征和邊緣特征的差異值，通過賦予二者一定大小的權重wj(p)和wt(p)，線性組合求出當前像素所在的幀與所建立的背景之間的總體差異值。

將提取的紋理特征用直方圖的形式進行表示，利用Bhattacharyya距離計算出前后幀之間的紋理差異。相似性度量使用Bhattacharyya系數(shù)，系數(shù)越小表示好匹配，越大表示壞匹配，完全匹配是0，完全不匹配則是1。歸一化紋理特征的差異值。htp(n)表示p像素局部區(qū)域的LBP紋理直方圖，hjp(n)表示p像素局部區(qū)域的背景LBP紋理直方圖，n值代表編碼時設置的矩形直方圖的個數(shù)。

室外和室內環(huán)境下仿真所得目標紋理直方圖和背景局部區(qū)域的LBP直方圖見圖3和4。

圖3 室外目標仿真直方圖

圖4 室內目標仿真直方圖

通過對比上述兩個直方圖，利用Bhattacharyya匹配(式(9))求取匹配系數(shù)。

經過自適應的canny算法進行邊緣提取后，可得到圖像灰度的空間信息。根據(jù)當前像素p的空間結構信息以及前一幀該處的空間結構信息，使用不同的矩陣Gt，Gj進行表示，將兩個矩陣相乘得到新的矩陣Ctj=Gt·Gj。根據(jù)前后兩幀的信息可以求取p像素的空間結構信息差異值為

(11)

式(11)中：Np取3x3鄰域。分別求取Ctt=Gt·Gt，Cjj=Gj·Gj；根據(jù)這些信息利用式(11)求得dt之后，結合式 (8)、(10) ，得到前后兩幀圖像的差異值Djt。

通過前后幀計算出的總體差異值Djt對提取出的視頻幀進行障礙物檢測，分割出行進前方的障礙物。

前景提取過程如下：

1) 小車開始拍攝時要進行角度的調整，這會產生抖動現(xiàn)象，取中間連續(xù)幾幀，依據(jù)式(4)、(5)計算紋理圖像的均值，憑經驗取大小合適的方差，高斯模型個數(shù)，初始化高斯模型；

2) 用自適應canny算子取背景圖像的邊緣特征；讀入下一幀，利用式(8)、(9)、(11)及直方圖計算差異系數(shù)并加權，更新高斯混合模型；

3) 選取閾值提取障礙物信息，根據(jù)計算結果繼續(xù)更新背景模型，轉至步驟(1),重復計算直至第300幀結束。

3 實驗結果及分析

實驗所用視頻由智能小車的單目攝像頭拍攝。假設小車的行駛速度是勻速，在拍攝過程中有一定的抖動。實驗硬件實現(xiàn)基于酷睿2.0GHz CPU,2Gbit內存的筆記本，軟件實驗通過VS2010編程完成。在室內、室外拍攝兩段視頻，將兩段視頻分解成為300幀圖像，分解后每幀大小是400×240，其中的連續(xù)原始三幀見圖5，分別使用傳統(tǒng)三幀差法[14]、平均背景建模法[15]、混合高斯模型法和本文的方法進行對比實驗，并將本方法應用到室內環(huán)境中。

圖5 連續(xù)原始三幀

圖6(a)使用傳統(tǒng)的三幀差法。將采集的視頻進行分解得到連續(xù)三幀，利用該方法，在背景與前景相差較大的情況下只能得到3個不完整的輪廓，大致估計出前方可能有障礙物，但不能作為判斷是否存在障礙物的依據(jù)；圖6(b)使用平均背景建模方法與圖6(a)相比，能近似判斷出小車行進前方有障礙物，但輪廓不夠完整，目標不清晰，實驗結果不能作為判斷障礙物的依據(jù)，還需要其他的輔助條件加以判斷；圖6(c)使用高斯混合模型提取前景，雖然能完整提取出物體的整個輪廓，但無法檢測出原始幀中地面的黃線，出現(xiàn)了部分漏檢現(xiàn)象，會導致誤判。小車在行進的過程中，路面的任何能阻擋小車前進的物體都可以視作是障礙物，相對(a)、(b)雖有很大改善，但仍不能作為判別障礙物的充分依據(jù)；圖6(d)采用本文方法，不僅能完整提取出前方的障礙物，而且能有效地檢測出地面的無高度黃線，可以作為檢測障礙物的根據(jù)，完整性較好。圖7將該方法應用在室內環(huán)境中，取由遠及近的三幀，對比后發(fā)現(xiàn)本文方法能完整地提取出障礙物的信息。

圖6 4種算法分割結果

圖7 不同距離下本文算法的檢測結果

4 結束語

本文針對利用單一特征建模方法進行障礙物檢測存在的不完整性和漏檢問題，提出一種利用多特征融合的方法。計算前后幀紋理特征和邊緣特征的差異值，采用線性組合求出當前像素所在的幀與所建立的背景之間的總體差異值，利用混合高斯模型不斷更新背景模型，有效克服了光照、噪聲因素的干擾。實驗結果表明：該算法能有效地應用于室外環(huán)境中，相對于傳統(tǒng)的混合高斯模型和幀差法，能更加完整地檢測出障礙物目標。

本文采用自適應canny算法提取邊緣特征，增加了算法的復雜度。另外，線性融合權值的選取對實驗效果也有一定影響，這些問題在未來的工作中需要進一步研究。為了取得更好的實時性，還需對算法進行優(yōu)化并將其移植到DSP系統(tǒng)中進行研究。

[1] 李穎宏,熊昌鎮(zhèn),尹怡欣.一種基于邊緣高斯混合模型的運動目標檢測方法[J].系統(tǒng)仿真學報,2009,21(1):72-74.

[2] 黃存東,楊思春,劉仁金.基于時空LBP特征的自適應運動目標提取算法[J].四川兵工學報,2013,34(5):130-134.

[3] 姚拓中,項志宇,劉濟林.基于圖像多特征融合的野外水體障礙物檢測[J].浙江大學學報：工學版,2009,43 (4):605-609.

[4] 鮮曉東,李克文.基于顏色和紋理特征的偽裝色礦工目標檢測[J].計算機應用,2013,33(2):539-542.

[5] 陳世文,蔡念,肖明明.基于高斯混合模型和canny算法的運動目標檢測[J].廣東工業(yè)大學學報,2011,28(3):87-90.

[6] 唐峰,蔣興浩,陸歡.基于多特征融合的運動對象識別算法[J].通信技術,2012,57(2):57-58.

[7] Greggio N,Bernardino A,Laschi C.Fast estimation of Gaussian mixture models for image segmentation[J].Machine Vision and Applications,2012 (23):773-789.

[8] Kemouche M S,Aout N ,Richardson M.Object detection using Gaussian mixture-based optical flow modeling[J].The Image Science Journal ,2013,61:22-34.

[9] Zhou D X,Zhang H.Modified GMM background modeling and optical flow for detection of moving objects[J].2005 IEEE International Conference on Systems,Man and Cybernetics,2005,3(10/11/12):2224-2229.

[10]Marakakis A,Siolas G,Galatsanos N,et al.Relevance feedback approach for image retrieval combining support vector machines and adapted Gaussian mixture models[J].IET Image Process,2011,5(6):531-540.

[11]Monteiro,Riberio G,Marcos M,et al.,Wrong way drivers detection based on optical flow[C]// IEEE International Conference on Image Processing.[S.l.]:[s.n.],2007.

[12]Zhao X M,Wang W X,Wang L P.Parameter optimal determination for canny edge detection[J].The Imaging Science Journal,2011,59:332-341.

[13]Chen Q,Zhao J L,Lu G,et al.Modified two-demensional Otsu image segmentation algorithm and fast realization[J].IET Image Processing,2012,6(4):426-433.

[14]甘明剛,陳杰,劉勁,等.一種基于三幀差分和邊緣信息的運動目標檢測方法[J].電子與信息學報,2010,32(4):894-897.

[15]袁寶紅,張德祥,張玲君.基于OpenCV的視頻運動目標檢測與跟蹤[J].計算機系統(tǒng)應用,2013,22(5):90-93.

(責任編輯 楊黎麗)

Obstacle Detection Based on Multi-Feature Fusion

ZHANG Jian-xun, WANG Bo, HOU Zhi-xu, JIN Chong

(College of Computer Science and Engineering, Chongqing University of Technology,Chongqing 400054, China)

Aiming to solving the problem that when the obstacles and ground graphic in outdoor environment can not be distinguished very obviously, there will be a misjudgment and missing detection phenomenon for the outdoor environment when detecting obstacle based on color or luminance information, we adopt the method of multiple feature fusion to detect obstacles. LBP algorithm was used in extracting image texture feature. Meanwhile, adaptive canny algorithm was used in extracting obstacle edge information. Texture feature and edge information were merged with linear weighted method, and then updated the background information with Gaussian model method, and at last judged the obstacle by comparing overall differences between two adjacent frames. Compared with traditional three frame method, average background modeling method, the experimental results of Gaussian mixture model method show that Gaussian mixture model achieves a better effect in obstacle detecting when being contrasted to using a single feature.

obstacle detection; LBP algorithm; Canny algorithm; linear weight; Gaussian mixture model

2014-12-06 基金項目：國家自然科學基金資助項目(61173184)；重慶理工大學研究生創(chuàng)新基金資助課題(YCX2013220)

張建勛(1971—)，男，教授，博士，主要從事圖像處理與分析、實時計算機圖形學等方面研究；汪波(1988—)，男，碩士研究生，主要從事計算機圖像圖形學研究。

張建勛，汪波，侯之旭，等.圖像多特征融合的障礙物檢測[J].重慶理工大學學報：自然科學版，2015(3):65-70.

format：ZHANG Jian-xun, WANG Bo, HOU Zhi-xu, et al.Obstacle Detection Based on Multi-Feature Fusion[J].Journal of Chongqing University of Technology:Natural Science,2015(3):65-70.

10.3969/j.issn.1674-8425(z).2015.03.013

TP391

A

1674-8425(2015)03-0065-06