文凌艷，尹 東

?

基于HLBP特征的運(yùn)動(dòng)陰影檢測(cè)方法

文凌艷1,2，尹 東1,2

( 1. 中國(guó)科學(xué)技術(shù)大學(xué)信息科學(xué)技術(shù)學(xué)院，合肥 230027；2. 中國(guó)科學(xué)院電磁空間信息重點(diǎn)實(shí)驗(yàn)室，合肥 230027 )

視頻運(yùn)動(dòng)檢測(cè)中，運(yùn)動(dòng)陰影常被誤檢為運(yùn)動(dòng)目標(biāo)。針對(duì)這一問(wèn)題，提出了一種利用哈爾型特性局部二元模式(HLBP)檢測(cè)運(yùn)動(dòng)陰影的方法。首先，提取每個(gè)檢測(cè)到的運(yùn)動(dòng)像素及其對(duì)應(yīng)背景像素的HLBP特征向量。其次，使用曼哈頓距離度量HLBP紋理差異，獲得紋理差異圖。最后，利用最大類間方差算法(Ostu算法)對(duì)紋理差異圖進(jìn)行二值化處理，得到消除運(yùn)動(dòng)陰影后的目標(biāo)結(jié)果。實(shí)驗(yàn)表明，該方法在多種室內(nèi)外場(chǎng)景中能實(shí)時(shí)且有效地檢測(cè)出運(yùn)動(dòng)陰影，具有較強(qiáng)的實(shí)用性。

運(yùn)動(dòng)陰影檢測(cè)；哈爾型特性局部二元模式；紋理差異；圖像分割

0 引 言

運(yùn)動(dòng)陰影檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域非常重要的研究方向，它在運(yùn)動(dòng)目標(biāo)跟蹤、識(shí)別等應(yīng)用中起著至關(guān)重要的作用。運(yùn)動(dòng)的目標(biāo)遮擋光線后產(chǎn)生運(yùn)動(dòng)陰影，它與運(yùn)動(dòng)目標(biāo)具有相同的運(yùn)動(dòng)屬性，使得檢測(cè)到的運(yùn)動(dòng)目標(biāo)中往往伴隨著運(yùn)動(dòng)陰影，這會(huì)帶來(lái)目標(biāo)連合、目標(biāo)形狀改變等問(wèn)題。因此，為了更好地提取出運(yùn)動(dòng)目標(biāo)，需要對(duì)運(yùn)動(dòng)陰影進(jìn)行檢測(cè)并消除。

國(guó)內(nèi)外的專家和學(xué)者在運(yùn)動(dòng)陰影檢測(cè)領(lǐng)域進(jìn)行了大量的研究。Sanin A[1]等人將陰影檢測(cè)的方法按照使用特征分為：基于色度的方法、基于物理特性的方法、基于幾何特性的方法以及基于紋理特征的方法。基于色度的方法假設(shè)陰影與其對(duì)應(yīng)的背景色度一致，但亮度變小，選擇合適的顏色空間將色度和亮度分離是這類方法的關(guān)鍵。Cucchiara R[2]等人利用HSV顏色空間，使色度和亮度相互獨(dú)立。此外，使用YUV[3]、c1c2c3[4]等顏色空間的方法也被提出。這類方法計(jì)算簡(jiǎn)單，易于實(shí)現(xiàn)，但易受噪聲影響，對(duì)參數(shù)的選擇比較敏感，并在低飽和度下效果不理想?；谖锢硖匦缘姆椒ㄒ砸恍┪锢砟Ｐ蜑榛A(chǔ)，Shafer S A[5]提出的模型以及文獻(xiàn)[6]提出的BIDR模型使用較多。文獻(xiàn)[7]基于BIDR模型提出一種顏色特征，建立混合高斯模型(Gaussian Mixture Model，GMM)計(jì)算后驗(yàn)概率進(jìn)行判斷。此類方法相比于基于色度的方法檢測(cè)結(jié)果更加準(zhǔn)確，但當(dāng)運(yùn)動(dòng)目標(biāo)和背景色度相似時(shí)效果不好?；趲缀翁匦缘姆椒ú捎眉僭O(shè)：在有光源、物體形狀等信息的情況下，陰影的方向、尺寸甚至形狀都可預(yù)測(cè)。這類方法由于假設(shè)較多，使其應(yīng)用場(chǎng)景受限，但優(yōu)點(diǎn)是不需要準(zhǔn)確估計(jì)參考背景。基于紋理特征的方法假設(shè)陰影和相應(yīng)背景區(qū)域的紋理相似，通過(guò)度量區(qū)域紋理的相關(guān)性可檢測(cè)出運(yùn)動(dòng)陰影。相關(guān)學(xué)者提出了基于歸一化交叉相關(guān)系數(shù)[8]、梯度相關(guān)性[9]、正交變換[10]等的方法。該類方法對(duì)光照變化魯棒，并且不依賴于色度信息，但是由于涉及到鄰域計(jì)算，耗時(shí)較長(zhǎng)。

基于上述問(wèn)題，本文提出了一種基于HLBP紋理特征的運(yùn)動(dòng)陰影檢測(cè)方法，即利用陰影及其背景紋理相似的特點(diǎn)，在灰度圖像上提取HLBP特征，分割紋理差異圖像，檢測(cè)出運(yùn)動(dòng)陰影后提取運(yùn)動(dòng)目標(biāo)。

1 HLBP特征

1.1 基本原理

周書(shū)仁等人在文獻(xiàn)[11]中提出了一種基于Haar特性的局部二元模式(Local Binary Patterns，LBP)紋理特征，它同時(shí)具有LBP計(jì)算快速、簡(jiǎn)單以及Haar特征對(duì)紋理描述全面的優(yōu)點(diǎn)。圖1顯示了以像素為中心的5×5窗口的8組HLBP編碼模型，模型中標(biāo)記的數(shù)字1、0、-1表示權(quán)重。

圖1 HLBP的8組編碼模型

，

值的選取會(huì)影響紋理圖像的精細(xì)程度，若值過(guò)大，將會(huì)丟失許多紋理細(xì)節(jié)，需要根據(jù)不同的處理對(duì)象進(jìn)行實(shí)驗(yàn)選擇合適的閾值。

1.2 特征描述

在實(shí)際操作中通常先對(duì)圖像進(jìn)行分塊，計(jì)算各區(qū)塊像素的HLBP特征并統(tǒng)計(jì)直方圖，再串聯(lián)各區(qū)塊的直方圖向量，獲得圖像的HLBP特征向量。具體形式如下所示：

在生成特征向量的過(guò)程中，涉及到圖像分塊的尺度、計(jì)算單個(gè)像素HLBP特征值的窗口以及Haar窗口的設(shè)置，文獻(xiàn)[11]中對(duì)這三部分進(jìn)行了具體說(shuō)明，并給出了特征計(jì)算的示例，本文在此不再累述。

2 本文方法

本文算法建立在已完成運(yùn)動(dòng)檢測(cè)的基礎(chǔ)上，公開(kāi)測(cè)試數(shù)據(jù)集提供了運(yùn)動(dòng)區(qū)域圖像及相應(yīng)的參考背景圖像。據(jù)此，設(shè)計(jì)了對(duì)運(yùn)動(dòng)區(qū)域檢測(cè)陰影并提取運(yùn)動(dòng)目標(biāo)的方法，處理流程如圖2所示。

圖2 算法流程圖

2.1 HLBP特征提取

在1.2中HLBP特征是通過(guò)對(duì)圖像分塊，將各個(gè)區(qū)塊的直方圖向量串聯(lián)得到。顯然，這樣計(jì)算比較復(fù)雜，且涉及到閾值的選取問(wèn)題，而往往檢測(cè)到的運(yùn)動(dòng)區(qū)域并不是規(guī)則的形狀，會(huì)給圖像分塊帶來(lái)不便。針對(duì)這些問(wèn)題，本文對(duì)HLBP特征的提取進(jìn)行了改進(jìn)。

首先將檢測(cè)的運(yùn)動(dòng)區(qū)域圖像轉(zhuǎn)化為灰度圖，對(duì)于已經(jīng)檢測(cè)到的位置為的運(yùn)動(dòng)像素及其對(duì)應(yīng)的背景像素，分別提取8維特征向量和，具體形式如下所示：

(4)

改進(jìn)的HLBP特征提取不需要對(duì)圖像進(jìn)行分塊，直接計(jì)算各運(yùn)動(dòng)區(qū)域像素的特征向量，簡(jiǎn)化了操作，并將各模板與圖像窗口進(jìn)行點(diǎn)積的結(jié)果作為各個(gè)維度的特征值，避免了對(duì)閾值的選取。同時(shí)還具有LBP特征的亮度不變性，消除了光照變化對(duì)紋理特征提取的影響。

2.2 HLBP差異計(jì)算

根據(jù)大量實(shí)驗(yàn)，本文采用曼哈頓距離度量特征向量間差異：

得到的數(shù)值越大，表示紋理差異越大；反之，紋理相似程度越高。

由于得到的結(jié)果取值會(huì)超過(guò)255，因此需要對(duì)結(jié)果進(jìn)行歸一化，以便顯示紋理差異圖像。以公開(kāi)測(cè)試數(shù)據(jù)集Room第295幀為例，得到紋理差異圖像如圖3(d)所示。由圖3可知，HLBP紋理差異圖中灰度值較大的像素主要集中在運(yùn)動(dòng)目標(biāo)上，充分體現(xiàn)了運(yùn)動(dòng)陰影與其背景紋理相似這一特點(diǎn)。

2.3 運(yùn)動(dòng)區(qū)域圖像分割

由2.2，采用Ostu算法[12]對(duì)紋理差異圖像進(jìn)行二值化處理。由于紋理差異圖經(jīng)過(guò)歸一化后取值范圍為[0，1]，因此需要對(duì)區(qū)間進(jìn)行劃分，令=1/256，將[0，1]劃分為256個(gè)小區(qū)間作為直方圖各個(gè)區(qū)間的取值范圍，即[0，/2)、[/2，3/2)、…、[511/2，1]，每個(gè)區(qū)間的代表值為0、、2、…、1，用于均值的計(jì)算，再根據(jù)最大化類間方差原則選擇閾值進(jìn)行二值化。接著對(duì)二值圖像使用膨脹、腐蝕等形態(tài)學(xué)操作獲得最終的結(jié)果。圖3(e)顯示了分割結(jié)果。

1.認(rèn)知是涉及身體的，也即不能脫離具體的身體。正因?yàn)槿祟愑刑囟ǖ纳眢w機(jī)構(gòu)，才決定了人類特有的認(rèn)知和思維方式［3］。另外，Gallagher（2005）認(rèn)為，身體在認(rèn)知活動(dòng)中發(fā)揮作用與身體圖式（body schema）和身體意象（bodyimage）有關(guān)［4］，身體圖式是身體的感覺(jué)——運(yùn)動(dòng)能力系統(tǒng)，而身體意象是身體知覺(jué)的偽像，不管是低水平的認(rèn)知還是包括判斷、隱喻等在內(nèi)的高水平認(rèn)知都通過(guò)身體圖式和身體意象系統(tǒng)的功能來(lái)實(shí)現(xiàn)［5］。顯然，在認(rèn)知過(guò)程中，身體是不可或缺的。

圖3 運(yùn)動(dòng)區(qū)域及其背景的HLBP紋理差異

3 實(shí)驗(yàn)結(jié)果與分析

選擇公開(kāi)測(cè)試數(shù)據(jù)集Hallway、Room、Campus以及校園內(nèi)某段監(jiān)控視頻(Surveillance Video)對(duì)本文方法進(jìn)行測(cè)試與驗(yàn)證，如表1所示。其中公開(kāi)測(cè)試數(shù)據(jù)集包括了運(yùn)動(dòng)區(qū)域圖像、背景圖像以及標(biāo)記圖像，校園監(jiān)控視頻采用CodeBook[13]算法，使用前30幀圖像構(gòu)建背景模型，再進(jìn)行運(yùn)動(dòng)檢測(cè)。

表1 測(cè)試視頻介紹

文獻(xiàn)[1]實(shí)現(xiàn)了基于色度[2]、幾何特性[14]、物理特性[7]、小區(qū)域紋理[15]以及大區(qū)域紋理[9]的陰影檢測(cè)方法。本文采用公開(kāi)網(wǎng)站(http://arma.sourceforge.net/shadows/)上這五種算法的源代碼進(jìn)行測(cè)試，再與本文方法進(jìn)行比較。

3.1 定量分析

表2 不同方法η、ξ、θ值和運(yùn)行時(shí)間

由評(píng)價(jià)指標(biāo)結(jié)果可以看出，基于色度的方法對(duì)Campus這種飽和度較低的場(chǎng)景效果較差，陰影區(qū)分率很低，因?yàn)楫?dāng)飽和度偏低時(shí)，紅綠藍(lán)三個(gè)分量幾乎相等，難以確定精確的顏色，導(dǎo)致色調(diào)信息不穩(wěn)定且不可靠，并且飽和度值偏低更易滿足該方法對(duì)陰影在飽和度方面的約束條件，使部分目標(biāo)像素被誤檢為陰影；基于幾何特性的方法假設(shè)陰影與目標(biāo)的方向不同，對(duì)于Hallway、Room這種陰影與目標(biāo)方向相近的場(chǎng)景大量陰影被誤檢為目標(biāo)，陰影檢測(cè)率低；基于物理特性的方法由于還是局限于光譜信息，所以當(dāng)目標(biāo)與背景光譜性質(zhì)接近時(shí)檢測(cè)效果較差，例如Campus中部分目標(biāo)區(qū)域被誤檢為陰影，導(dǎo)致其陰影區(qū)分率很低；基于小區(qū)域紋理的方法對(duì)于鄰域紋理較平坦的像素檢測(cè)結(jié)果不理想，例如Campus和Room中一些圖像的部分區(qū)域紋理不明顯，導(dǎo)致誤檢；基于大區(qū)域紋理的方法較前四種方法效果最好，該方法使用了色度和梯度特征，由于Campus中部分圖像的目標(biāo)及背景區(qū)域的梯度較平坦，使得Campus的評(píng)價(jià)指標(biāo)相對(duì)較低；本文方法在這3個(gè)數(shù)據(jù)集上取得較好的效果，評(píng)價(jià)指標(biāo)的平均值優(yōu)于基于大區(qū)域紋理的方法。對(duì)于Campus的陰影檢測(cè)率相對(duì)較低，主要原因是其部分圖像中運(yùn)動(dòng)目標(biāo)與背景的紋理都比較簡(jiǎn)單，例如圖5中Campus的原始圖像，行人的衣服及相應(yīng)的地面區(qū)域紋理都較平坦，使得二者在HLBP紋理差異圖中灰度值較低，自動(dòng)選擇的分割閾值會(huì)較小，二值化后將一些陰影誤檢為目標(biāo)，并且由于目標(biāo)較小，經(jīng)過(guò)形態(tài)學(xué)膨脹處理后也會(huì)造成一些誤差。在運(yùn)算速度上，本文方法快于基于物理特性和小區(qū)域紋理的方法，接近于基于大區(qū)域紋理的方法，慢于基于色度和幾何特性的方法，但是基本上能達(dá)到實(shí)時(shí)處理的要求。

3.2 定性分析

定量、定性分析分別是對(duì)檢測(cè)結(jié)果的客觀和主觀評(píng)價(jià)。圖4、圖5分別顯示了前5種方法和本文方法在公開(kāi)測(cè)試數(shù)據(jù)集以及校園監(jiān)控上的部分實(shí)驗(yàn)結(jié)果：灰色代表陰影，白色代表目標(biāo)。圖5中原始圖像分別來(lái)自Campus、Hallway和Room數(shù)據(jù)集。

圖4 本文方法與其他方法比較(Ⅰ)

圖5 本文方法與其他方法比較(Ⅱ)

4 結(jié) 論

本文將基于Haar特性的LBP紋理特征用于運(yùn)動(dòng)陰影的檢測(cè)，避免了對(duì)閾值參數(shù)的設(shè)置，增強(qiáng)了實(shí)用性。通過(guò)實(shí)驗(yàn)表明，本文算法對(duì)運(yùn)動(dòng)陰影的檢測(cè)效果較好，能較完整地提取運(yùn)動(dòng)目標(biāo)，并達(dá)到了實(shí)時(shí)性要求。未來(lái)可進(jìn)一步研究目標(biāo)與背景紋理都較簡(jiǎn)單或相似的場(chǎng)景，使得算法具有更廣泛的適用性。同時(shí)，可將運(yùn)動(dòng)檢測(cè)與陰影去除結(jié)合起來(lái)，便于進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤及異常行為分析等。

參考文獻(xiàn)：

[1] Sanin A，Sanderson C，Lovell B C. Shadow detection：a survey and comparative evaluation of recent methods [J]. Pattern Recognition(S0031-3203)，2012，45(4)：1684-1695.

[2] Cucchiara R，Grana C，Piccardi M，. Detecting moving objects，ghosts，and shadows in video streams [J].IEEE Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2003，25(10)：1337-1342.

[3] CHEN Chunting，SU Chungyen，KAO Wenchung. An enhanced segmentation on vision-based shadow removal for vehicle detection [C]// Proceedings of International Conference on Green Circuits and Systems，Shanghai，China，June 21-23，2010：679-682.

[4] Salvador E，Cavallaro A，Ebrahimi T. Cast shadow segmentation using invariant color features [J]. Computer Vision and Image Understanding(S1077-3142)，2004，95(2)：238–259.

[5] Shafer S A. Using color to separate reflection components [J]. Color Research & Applications(S1520-6378)，1985，10(4)：210–218.

[6] Maxwell B，F(xiàn)riedhoff R，Smith C. A bi-illuminant dichromatic reflection model for understanding images [C]// Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition，Anchorage，AK，June 23-28，2008：1-8.

[7] HUANG Jiabin，CHEN Chusong. Moving cast shadow detection using physics-based features [C]// Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition，Miami F L，USA，June 20-25，2009：2310–2317.

[8] TIAN Yingli，LU Max，Hampapur A. Robust and efficient foreground analysis for real-time video surveillance [C]// IEEE Computer Science Conference on Computer Vision and Pattern Recognition，Los Alamitos，USA，June 20-25，2005： 1182–1187.

[9] Sanin A，Sanderson C，Lovell B C. Improves shadow removal for robust person tracking in surveillance scenarios [C]// Proceedings of International Conference on Pattern Recognition，Istanbul，Turkey，Aug 23-26，2010：23-26.

[10] ZHANG Wei，F(xiàn)ANG Xiangzhou，XU Yi. Detection of moving cast shadows using image orthogonal transform [C]// Proceedings of International Conference on Pattern Recognition，Hong Kong，China，Aug 20-24，2006：626–629.

[11] 周書(shū)仁，殷建平. 基于Haar特性的LBP紋理特征[J]. 軟件學(xué)報(bào)，2013，24(8)：1909-1926.

ZHOU Shuren，YIN Jianping. LBP Texture Feature Based on Haar Characteristics [J]. Journal of Software，2013，24(8)：1909-1926.

[12] Ostu N. A Threshold Selection Method from Gray-Level Histograms [J]. IEEE Transactions on Systems，Man，and Cybernetics(S0018-9472)，1979，9(1)：62-66.

[13] Kim K，Chalidabhongse T H，Harwood D，. Back ground modeling and subtraction by codebook construction [C]// Proceedings of IEEE International Conference on Image Processing，Singapore，Oct 24-27，2004：3061-3064.

[14] Hsieh Jun-Wei，HU Wenfong，CHANG Chia-jung，. Shadow elimination for effective moving object detection by Gaussian shadow modeling [J]. Image and Vision Computing(S0262-8856)，2003，21(6)：505-516.

[15] Leone A，Distante C. Shadow detection for moving objects based on texture analysis [J]. Pattern Recognition(S0031-3203)，2007，40(4)：1222-1233.

[16] Prati A，Mikic I，Trivedi M，. Detecting moving shadows：algorithms and evaluation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2003，25(7)：918-923.

Moving Shadow Detection Approach Based on HLBP Feature

WEN Lingyan1,2，YIN Dong1,2

( 1. School of Information Science Technology, USTC, Hefei 230027, China; 2. Key Laboratory of Electromagnetic Space Information of CAS, Hefei 230027, China )

In video motion detection, moving shadow is often mistakenly detected as moving objects. In order to solve this problem, a moving shadow detection method is presented, which uses Haar Local Binary Pattern (HLBP) to detect shadow. Firstly, HLBP feature of detected moving regions and corresponding regions in the background is extracted. Secondly, it uses Manhattan Distance to measure the difference of HLBP feature between the two regions to get a map about texture difference. Finally, Ostu algorithm is employed to segment texture difference map to get a mask of moving objects, and then moving objects are extracted. The experimental results show that the proposed method can effectively detect moving shadow in some outdoor and indoor scenes in real time.

moving shadow detection; Haar local binary pattern; texture difference; image segmentation

1003-501X(2016)10-0084-06

TP391

A

10.3969/j.issn.1003-501X.2016.10.014

2015-11-13；

2016-03-07

安徽省科技廳項(xiàng)目“海量人臉圖像快速檢索云服務(wù)平臺(tái)及應(yīng)用示范”。

文凌艷(1992-)，女(漢族)，湖南常德人。碩士研究生，主要研究工作是圖像處理。E-mail: windyhn@mail.ustc.edu.cn。

尹東(1965-)，男(漢族)，江西蓮花人。碩士，副教授，主要研究工作是智能信息處理、圖像處理。