徐 杰,項(xiàng)文波,茅耀斌,孫金生

(南京理工大學(xué) 自動(dòng)化系，江蘇 南京 210094)

基于區(qū)域顏色聚類的運(yùn)動(dòng)目標(biāo)陰影檢測(cè)

徐 杰,項(xiàng)文波,茅耀斌,孫金生

(南京理工大學(xué) 自動(dòng)化系，江蘇 南京 210094)

文中提出一種基于區(qū)域顏色特征的陰影檢測(cè)方法。首先，通過(guò)均衡化灰度直方圖來(lái)增強(qiáng)圖像中各個(gè)區(qū)域之間的對(duì)比度；使用K-means算法對(duì)前景區(qū)域進(jìn)行聚類。對(duì)于聚類后的每個(gè)區(qū)域，統(tǒng)計(jì)每部分的色彩特征不變量直方圖，利用一種直方圖相似性度量方法來(lái)比較當(dāng)前區(qū)域和對(duì)應(yīng)背景區(qū)域的相似性，根據(jù)相似性結(jié)果對(duì)每個(gè)區(qū)域進(jìn)行陰影屬性的判斷。通過(guò)與基于彩色特征不變量、基于HSV顏色空間等方法進(jìn)行比較，結(jié)果表明文中算法的陰影檢測(cè)率和前景檢測(cè)率有一定的提升，且用時(shí)較少。實(shí)驗(yàn)結(jié)果表明，文中算法充分利用了陰影的區(qū)域顏色特征，在多類場(chǎng)景中能夠有效檢測(cè)出陰影，且具有較好的實(shí)時(shí)性。

視頻監(jiān)控；運(yùn)動(dòng)目標(biāo)陰影檢測(cè)；增強(qiáng)對(duì)比度；彩色特征不變量；K-means；直方圖相似性

0 引 言

陰影是因光源被物體遮擋而產(chǎn)生的物理現(xiàn)象，在自然界中十分普遍。在視頻監(jiān)控中，陰影與運(yùn)動(dòng)目標(biāo)混雜在一起，會(huì)導(dǎo)致計(jì)算機(jī)對(duì)目標(biāo)物體的提取和跟蹤出現(xiàn)錯(cuò)誤。因此，有效的運(yùn)動(dòng)目標(biāo)陰影檢測(cè)方法對(duì)于正確的目標(biāo)提取至關(guān)重要。

目前大量涌現(xiàn)出的陰影檢測(cè)算法[1-4]，首先根據(jù)決策過(guò)程是否引入不確定性，可以分為決策類方法和統(tǒng)計(jì)類方法[5]。其中，決策類方法又有基于陰影模型方法[6]和基于陰影特征方法之分[7]?；陉幱澳Ｐ偷姆椒ㄊ抢脠?chǎng)景、運(yùn)動(dòng)目標(biāo)、光照條件等先驗(yàn)知識(shí)來(lái)建立陰影模型，對(duì)三維物體模型的棱、線、角進(jìn)行匹配。這類方法通常只在特定場(chǎng)景條件下使用，并不具有通用性。基于陰影特征的方法則是利用陰影的幾何特點(diǎn)、亮度、色彩、紋理等信息來(lái)標(biāo)識(shí)陰影區(qū)域。

由于一般前景區(qū)域中運(yùn)動(dòng)目標(biāo)和陰影區(qū)域首先在顏色上會(huì)有區(qū)別，且運(yùn)動(dòng)目標(biāo)(包括行人和車)本身也可以從顏色角度劃分為不同的區(qū)域；因此，文中提出一種充分利用區(qū)域顏色特征的運(yùn)動(dòng)目標(biāo)陰影檢測(cè)方法，通過(guò)顏色聚類將前景聚成不同的區(qū)域。同時(shí)，由于色彩特征不變量[8]具有不受視角、陰影、表面方向及光照條件等因素影響的特點(diǎn)，故文中選用該特征，統(tǒng)計(jì)聚類后各區(qū)域與對(duì)應(yīng)背景區(qū)域的色彩特征不變量直方圖，并采用一種直方圖相似性度量方法對(duì)當(dāng)前區(qū)域和背景區(qū)域之間的相似性進(jìn)行比較，從而實(shí)現(xiàn)陰影屬性的最終判定。

文中陰影檢測(cè)方法的流程如圖1所示。

圖1 基于區(qū)域顏色聚類的運(yùn)動(dòng)目標(biāo)陰影檢測(cè)

1 運(yùn)動(dòng)目標(biāo)陰影檢測(cè)

對(duì)于讀入的圖像序列，文中預(yù)先采用ViBe(Vis-ualBackgroundextractor)方法[9]來(lái)提取出前景區(qū)域。由于提取出的目標(biāo)區(qū)域會(huì)受到噪聲干擾，因此需要進(jìn)行形態(tài)學(xué)濾波和膨脹腐蝕處理，處理后的結(jié)果如圖2所示。

獲得前景區(qū)域后，文中首先通過(guò)均衡化灰度直方圖來(lái)增強(qiáng)當(dāng)前圖像中各區(qū)域之間的對(duì)比度，然后分別采用K-means聚類[10]以及衡量直方圖相似度這兩種方法來(lái)實(shí)現(xiàn)陰影區(qū)域的檢測(cè)。

1.1 增強(qiáng)對(duì)比度

對(duì)于不同場(chǎng)景下的運(yùn)動(dòng)目標(biāo)，由于光照強(qiáng)度不同，其產(chǎn)生的陰影強(qiáng)弱也有所不同。為了在不同光照?qǐng)鼍跋露寄軌蜉^好的辨識(shí)出陰影區(qū)域，本文采用均衡化灰度直方圖[11]的方法來(lái)增強(qiáng)圖像中不同區(qū)域之間的對(duì)比度，結(jié)果如圖2(c)、(d)所示?？梢钥闯觯鎸?shí)前景區(qū)域比原灰度圖像對(duì)應(yīng)區(qū)域要暗，而實(shí)際陰影區(qū)域灰度則沒(méi)有明顯的變化。

1.2 前景區(qū)域劃分

對(duì)于初步檢測(cè)出的前景區(qū)域，增強(qiáng)對(duì)比度后的目標(biāo)區(qū)域和陰影區(qū)域在灰度上存在較大差異。根據(jù)這一特點(diǎn)，文中利用K-means聚類方法對(duì)增強(qiáng)對(duì)比度后的前景進(jìn)行聚類。其中，根據(jù)一般行人衣著的特點(diǎn)，將聚類中心個(gè)數(shù)取為5。同時(shí)，為了進(jìn)一步提高后續(xù)陰影檢測(cè)步驟的準(zhǔn)確性，對(duì)需要聚類的所有前景點(diǎn)進(jìn)行初步篩選。篩選準(zhǔn)則基于陰影最基本特點(diǎn)，即陰影點(diǎn)RGB三個(gè)通道的像素值均要低于構(gòu)建背景中對(duì)應(yīng)的像素值。使用K-means方法聚類前景區(qū)域，結(jié)果如圖3所示。

圖2 預(yù)處理圖像

圖3 K-means聚類前景區(qū)域

1.3 基于直方圖的相似性度量

聚類后的前景區(qū)域需要判斷每個(gè)區(qū)域的陰影屬性。對(duì)陰影區(qū)域而言，其與構(gòu)建背景區(qū)域相比，在理論上只有光照強(qiáng)度的變化，因此，需要選擇一個(gè)不受光照條件影響的特征量來(lái)用于后續(xù)的相似性比較。在彩色圖像中，雙色性反射模型[12]是機(jī)器視覺(jué)系統(tǒng)常用的彩色模型。根據(jù)該模型性質(zhì)，文中選擇圖像的彩色特征不變量c1,c2,c3為基本特征，轉(zhuǎn)換公式如下：

(1)

(2)

(3)

其中，R,G,B分別表示在RGB顏色空間中的通道值。

結(jié)合文獻(xiàn)[12]并推理可知，該特征不受視角、表面方向及光照條件等因素的影響，其取值僅與物體表面反射率有關(guān)。

文中選定彩色特征不變量c1,c2,c3中的c1作為特征值，針對(duì)聚類后的每個(gè)區(qū)域，統(tǒng)計(jì)當(dāng)前圖像和對(duì)應(yīng)背景圖像中各區(qū)域的c1值，并將其線性轉(zhuǎn)化至[0,255]之間。在獲得當(dāng)前圖像區(qū)域和對(duì)應(yīng)背景區(qū)域c1直方圖后，采用一種直方圖相似性度量方法[13]來(lái)判斷區(qū)域的陰影屬性，具體步驟如下：

(1)對(duì)當(dāng)前區(qū)域直方圖和背景區(qū)域直方圖進(jìn)行歸一化處理，設(shè)歸一化后的當(dāng)前區(qū)域直方圖為F={f(i)|i=0,1,…,255}，對(duì)應(yīng)背景區(qū)域直方圖則為B={b(i)|i=0,1,…,255}；

(2)以2為指數(shù)對(duì)兩個(gè)歸一化直方圖進(jìn)行分級(jí)，每一級(jí)通過(guò)錯(cuò)位起點(diǎn)方式得到兩個(gè)直方圖，分別為正位直方圖fNi,bNi和錯(cuò)位直方圖fDi,bDi；

(3)分別計(jì)算fNi和fDi以及bNi和bDi之間的余弦相關(guān)系數(shù)值，得到同級(jí)同類型直方圖相似值sNi和sDi。其中：sNi表示第i級(jí)正位直方圖fNi和bNi的相似度；sDi表示第i級(jí)錯(cuò)位直方圖fDi和bDi的相似度；

(4)按照各級(jí)權(quán)重計(jì)算得兩個(gè)直方圖之間的相似度s，并設(shè)定閾值Ts來(lái)判斷區(qū)域?qū)傩?，如果s>Ts，則該區(qū)域?qū)儆谶\(yùn)動(dòng)目標(biāo)區(qū)域，否則就屬于陰影區(qū)域。其中，Ts的取值范圍為[0,1]，具體取值與圖像內(nèi)容有關(guān)。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集和度量標(biāo)準(zhǔn)

在實(shí)驗(yàn)數(shù)據(jù)集選取方面，文中從廣為使用的陰影檢測(cè)基準(zhǔn)運(yùn)動(dòng)序列(http://arma.sourceforge.net/shadows/)中選取6組具有代表性的圖像序列及其真實(shí)圖進(jìn)行測(cè)試，分別為：Hallway，Lab，HighwayI，HighwayIII，Room和Campus。這些圖像序列在具體環(huán)境、序列長(zhǎng)度、陰影強(qiáng)弱等方面都存在一定差異。

在度量標(biāo)準(zhǔn)方面，文中選取由Prati等提出的兩個(gè)評(píng)估標(biāo)準(zhǔn)[14]，分別為陰影檢測(cè)率η和前景檢測(cè)率ξ，公式如下：

(4)

其中：TPS表示實(shí)際陰影像素點(diǎn)中檢測(cè)正確的陰影點(diǎn)數(shù)目；TPF表示實(shí)際前景像素點(diǎn)中檢測(cè)正確的前景點(diǎn)數(shù)目；FNS表示實(shí)際陰影像素點(diǎn)未被檢測(cè)出來(lái)的數(shù)目；FNF表示實(shí)際前景像素點(diǎn)被錯(cuò)分成為陰影像素點(diǎn)的數(shù)目。

2.2 實(shí)驗(yàn)結(jié)果

針對(duì)選取的6組圖像序列，使用文中方法進(jìn)行陰影檢測(cè)，并取出其中一幀，結(jié)果如圖4所示(黑色對(duì)應(yīng)前景目標(biāo)區(qū)域，灰色對(duì)應(yīng)陰影區(qū)域)。

從圖中可以看出，在行人陰影檢測(cè)方面，文中方法可以檢測(cè)出前景區(qū)域中的大部分陰影區(qū)域；然而，當(dāng)行人穿著的顏色和陰影顏色接近時(shí)，就會(huì)出現(xiàn)誤判斷，如圖4(a)中頸部區(qū)域、圖4(c)中腰部區(qū)域以及圖4(d)中行人的部分上半身區(qū)域。而在車輛陰影檢測(cè)方面，文中方法在檢測(cè)出投影區(qū)域的同時(shí)，也容易將車身中與陰影顏色相近的區(qū)域誤檢成陰影，如圖4(e)和圖4(f)所示。

圖4 文中方法陰影檢測(cè)結(jié)果

2.3 定量評(píng)估結(jié)果

文中針對(duì)不同的圖像序列，首先采用ViBe背景建模提取前景，然后針對(duì)基于c1,c2,c3顏色空間方法[15]、基于HSV顏色空間方法[16]、基于HSI顏色空間方法[17]以及文中提出的陰影檢測(cè)方法進(jìn)行定量比較，結(jié)果如表1和表2所示。

在實(shí)時(shí)性方面，從表1中可以看出，針對(duì)前四組圖像序列，除了基于HSV顏色空間方法外，文中方法處理所用時(shí)間比其余方法的用時(shí)都要少；對(duì)于HighwayI，文中方法用時(shí)最短；而最后一組圖像序列HighwayIII，文中方法用時(shí)要高于基于c1,c2,c3顏色空間方法和基于HSV顏色空間方法，但仍比基于HSI顏色空間方法用時(shí)要短。由此可得，文中的陰影檢測(cè)算法具有較好的實(shí)時(shí)性。

在陰影檢測(cè)率方面，從表2中可以看出，針對(duì)Campus、Lab和Room三組圖像序列，文中方法能夠達(dá)到90%以上，且比其他幾種方法的檢測(cè)率都要高；而對(duì)于剩下的三組圖像序列，文中方法并未獲得最高的陰影檢測(cè)率，且在Hallway圖像序列中，與最優(yōu)結(jié)果有近20%的差距。

在前景檢測(cè)率方面，從表2可以看出，針對(duì)Hallway圖像序列，文中方法得到了最高的前景檢測(cè)率；而對(duì)于其他圖像序列，文中方法并未獲得較好的結(jié)果?？紤]這種現(xiàn)象的原因，是由于在聚類的過(guò)程中，與背景顏色相近的區(qū)域容易被誤判斷成陰影，這樣會(huì)使真實(shí)目標(biāo)內(nèi)部出現(xiàn)區(qū)域性誤判，導(dǎo)致前景檢測(cè)率受到較大影響。

表1 不同方法的陰影檢測(cè)用時(shí) ms

表2 不同方法的陰影檢測(cè)率η和前景檢測(cè)率ξ %

3 結(jié)束語(yǔ)

對(duì)于含有運(yùn)動(dòng)目標(biāo)的視頻，文中首先采用ViBe背景建模來(lái)提取前景目標(biāo)，然后利用K-means聚類將前景區(qū)域劃分成不同的區(qū)域，接著統(tǒng)計(jì)每個(gè)區(qū)域的c1直方圖，并使用一種直方圖相似性度量方法來(lái)度量聚類后每個(gè)區(qū)域與對(duì)應(yīng)背景區(qū)域之間的相似性，最終實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)陰影檢測(cè)。

實(shí)驗(yàn)結(jié)果表明，文中方法在陰影檢測(cè)率方面能夠獲得不錯(cuò)的結(jié)果，但是在陰影檢測(cè)率和前景檢測(cè)率方面會(huì)存在一定的不穩(wěn)定性。考慮這種現(xiàn)象的原因是在聚類過(guò)程中會(huì)把陰影區(qū)域和顏色接近陰影的前景區(qū)域聚類到一起，從而影響了陰影檢測(cè)率。這在一定程度上會(huì)對(duì)算法的通用性產(chǎn)生一定影響，在以后的研究中需要解決這個(gè)問(wèn)題。

[1] 奚 穩(wěn),羅立民.基于RGB信息的運(yùn)動(dòng)陰影檢測(cè)[J].中國(guó)電子商情:通信市場(chǎng),2011(6):374-379.

[2] 蔡海鵬,潘志庚,孫 超.面向視頻場(chǎng)景的虛實(shí)交互中的運(yùn)動(dòng)陰影檢測(cè)算法[C]//和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議.出版地不詳:出版者不詳,2008：260-264.

[3] 袁國(guó)武,丁海燕,周 浩,等.結(jié)合局部紋理和色度的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].電子測(cè)量技術(shù),2012,35(12):55-59.

[4] 王 典.基于混合高斯的背景建模與陰影抑制算法研究[D].西安:西北工業(yè)大學(xué),2006.

[5]PratiA,MikicI,TrivediM,etal.Detectingmovingshadows:algorithmsandevaluation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(7):918-923.

[6]KollerD,DaniilidisK,NagelHH.Model-basedobjecttrackinginmonoculerimagesequencesofroadtrafficscenes[J].InternationalJournalofComputerVision,1993,10(3):257-281.

[7]SalvadorE,CavallaroA,EbrahimiT.Shadowidentificationandclassificationusinginvariantcolormodels[C]//ProcofICASSP01.[s.l.]:[s.n.],2001:1545-1548.

[8] 尚晉霞,尚振宏,楊 檉.基于色彩特征不變量與局部紋理結(jié)合的運(yùn)動(dòng)陰影去除[C]//2009年研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)論文集.出版地不詳:出版者不詳,2009.

[9]BarnichO,DroogenbroeckMV.ViBe:auniversalbackgroundsubtractionalgorithmforvideosequences[J].IEEETransactionsonImageProcessing,2011,20(6):1709-1724.

[10] 馮 超.K-means聚類算法的研究[D].大連:大連理工大學(xué),2007.

[11]GonzalezRC,WoodsRE.Digitalimageprocessing[M].2nded.Beijing:PublishingHouseofElectronicsIndustry,2007:72-74.

[12]StauderJ,MechR,OstermannJ.Detectionofmovingcastshadowsforobjectsegmentation[J].IEEETransactionsonMultimedia,1999,1(1):65-76.

[13] 李 峰,陸宇芹,金 紅,等.一種直方圖相似性度量方法:CN,201410519175.3[P].2014-09-30.

[14]SaninA,SandersonC,LovellBC.Shadowdetection:asurveyandcomparativeevaluationofrecentmethod[J].PatternRecognition,2012,45(4):1684-1695.

[15]SalvadorE,CavallaroA,EbrahimiT.Castshadowsegmentationusinginvariantcolorfeatures[J].ComputerVisionandImageUnderstanding,2004,95(2):238-259.

[16]CucchiaraR,GrnnaC,PiceardiM.Detectingmovingobjects,ghostsandshadowsinvideostreams[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(10):1337-1342.

[17]TsaiVJD.Acomparativestudyonshadowcompensationofcoloraerialimagesininvariantcolormodels[J].IEEETransactionsonGeoscienceandRemoteSensing,2006,44(6):1661-1671.

Moving Object Shadow Detection Based on Regional Color Clustering

XU Jie,XIANG Wen-bo,MAO Yao-bin,SUN Jin-sheng

(Department of Automation,Nanjing University of Science and Technology,Nanjing 210094,China)

A novel algorithm based on regional color feature is proposed to detect moving shadow.First,an image equivalence method is built to enhance the contrast between regions in the frame,andK-meansisalsousedfortheforegroundcluster.Then,thestatisticalhistogramofcolorinvariantfeatureiscalculatedineachcluster,comparingthesimilarityofhistogrambetweenforegroundandbackgroundbyhistogramsimilaritymeasuringmethod.Last,theshadowpropertiesofregionsarejudgedaccordingtothesimilarityresult.Bycomparisonwithcertainclassicalmethodssuchasinvariantcolorfeaturesbasedmethod,HSVcolorspacebasedmethodandsoon,theproposedmethodperformsbetterthansomeofthemintermsofshadowdetectionrateandrunningtime.Theexperimentalresultsshowthatthealgorithminthispapermakefulluseofthecolorfeatureofregiontodetecttheshadoweffectivelyinmulti-classviewandhasbetterreal-time.

video surveillance;moving target shadow detection;contrast enhancement;color invariant feature;K-means;similarityofhistogram

2015-06-09

2015-09-15

時(shí)間：2016-02-18

國(guó)家科技重大專項(xiàng)基金(2011ZX04002-051)

徐 杰(1991-)，女，碩士，研究方向?yàn)橐曨l圖像處理；項(xiàng)文波，講師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、視頻與圖像處理、視頻跟蹤；茅耀斌，副教授，研究方向?yàn)閳D像處理與模式識(shí)別、多媒體信息安全；孫金生，教授，研究方向?yàn)榫W(wǎng)絡(luò)擁塞控制、質(zhì)量控制。

http://www.cnki.net/kcms/detail/61.1450.TP.20160218.1630.034.html

TP

A

1673-629X(2016)03-0193-04

10.3969/j.issn.1673-629X.2016.03.045