屠禮芬，彭 祺，張凱兵

?

下雪天氣條件下的運動目標(biāo)檢測

屠禮芬a，彭 祺a，張凱兵b

( 湖北工程學(xué)院a. 物理與電子信息工程學(xué)院；b. 計算機(jī)與信息科學(xué)學(xué)院，湖北孝感 432000 )

針對下雪天氣條件下高精度的運動目標(biāo)檢測，本文在GMM算法基礎(chǔ)上進(jìn)行改進(jìn)，首先采用多分辨率、高低閾值的思想對其進(jìn)行優(yōu)化，克服下雪天動態(tài)背景噪聲的影響；然后運用計算顏色模型，抑制運動目標(biāo)產(chǎn)生的弱陰影和光照變化；最后在各目標(biāo)最小約束矩形內(nèi)進(jìn)行空洞修補(bǔ)，填充由于陰影過度抑制和被雪覆蓋目標(biāo)表面丟失的運動掩模。實驗結(jié)果表明：改進(jìn)算法7項指標(biāo)都優(yōu)于GMM算法，與當(dāng)前較優(yōu)秀的FTSG算法相比，7項指標(biāo)中有4項超越，2項接近。

運動目標(biāo)檢測；下雪天氣；GMM；動態(tài)噪聲；空洞修補(bǔ)

0 引 言

運動目標(biāo)檢測是通過分析視頻序列，去除靜止背景，保留運動前景，準(zhǔn)確、快速地獲取運動目標(biāo)[1]，是實現(xiàn)目標(biāo)跟蹤、異常檢測、行為分析等智能視頻監(jiān)控[2]領(lǐng)域關(guān)鍵技術(shù)的基礎(chǔ)。靜止背景下的運動目標(biāo)檢測已經(jīng)有較成熟的方法和具體的應(yīng)用，該領(lǐng)域較為權(quán)威的小組IEEE Change Detection Workshop(CDW)[3-4]的研究表明：當(dāng)前關(guān)于運動目標(biāo)檢測中的常見問題，如動態(tài)背景[5]、像機(jī)抖動[6]、間歇運動[7]、運動陰影[8]等都有比較好的解決方法，但在惡劣天氣下的運動目標(biāo)檢測仍然是一個難題。尤其是下雪天氣條件下，設(shè)計有效的運動目標(biāo)檢測算法依然面臨著挑戰(zhàn)：第一，空中飄舞的雪花體積較大，使整個視場中都有不規(guī)律的運動背景噪聲；第二，雪天背景亮度較大，運動目標(biāo)在背景表面投射弱陰影；第三，長時間在戶外運動的目標(biāo)，表面被雪花覆蓋，與背景顏色一致，難以區(qū)分，獲取的目標(biāo)產(chǎn)生大量空洞。這些問題給高精度的運動目標(biāo)檢測帶來了挑戰(zhàn)，也給智能視頻監(jiān)控引入了障礙。因此，研究下雪天氣中運動前景與背景的圖像特征，并設(shè)計適應(yīng)惡劣天氣的影響，實現(xiàn)下雪場景中實時、高精度的運動目標(biāo)檢測是十分必要的。

針對以上問題，本文提出一種適應(yīng)于下雪天氣的運動目標(biāo)檢測算法(Snowy Weather Moving Object，SWMO)，采用多分辨率、互補(bǔ)閾值思想對傳統(tǒng)GMM算法[9]進(jìn)行優(yōu)化，抑制動態(tài)背景噪聲；通過分析大量下雪天氣中的視頻圖像樣本，獲取弱陰影的顏色差異和亮度差異特征，剔除運動陰影；根據(jù)所獲取運動掩模形態(tài)特點，在各目標(biāo)最小包圍矩形中進(jìn)行修補(bǔ)，填充空洞。

1 算法實現(xiàn)

文獻(xiàn)[5]針對環(huán)境中的動態(tài)噪聲問題，提出了一種基于多分辨率模型的運動目標(biāo)檢測方法，采用基于像素的背景差分法，在低分辨率下獲取目標(biāo)的區(qū)域，在高分辨率下獲取目標(biāo)的細(xì)節(jié)。本文提出的SWMO算法，繼續(xù)采用多分辨率、高低閾值的思想，對傳統(tǒng)GMM算法進(jìn)行改進(jìn)，獲取初始運動掩模，再進(jìn)行弱陰影抑制和空洞修補(bǔ)，在下雪天氣條件下進(jìn)行有效的運動目標(biāo)檢測。算法流程圖如圖1所示。

圖1 流程圖

1.1 抑制動態(tài)噪聲

傳統(tǒng)的GMM是將每個像素點用不同狀態(tài)表示的一種數(shù)學(xué)模型，源自于高斯函數(shù)。假設(shè)圖像中的每個點都用個高斯模型來表示，那么在時刻，當(dāng)前像素值為的概率表示式：

(2)

其中2為向下采樣2次后的低閾值檢測結(jié)果，將該結(jié)果向上采樣后與向下采樣1次后的高低閾值檢測結(jié)果M1、1相融合，生成中間掩模1，向上采樣后，與原始分辨率下的高低閾值檢測結(jié)果M0、0相融合，獲得最終的運動目標(biāo)檢測結(jié)果，融合方法參考文獻(xiàn)[5]。

由圖2可以看出：雖然該視頻序列中，有大量飄舞雪花產(chǎn)生的背景噪聲，但檢測結(jié)果卻未發(fā)生誤檢測。但該結(jié)果也有顯著缺陷，受雪景高亮的影響，運動掩模中誤檢測出大量運動陰影區(qū)域。另外，被雪覆蓋的目標(biāo)表面，顏色與背景一致，出現(xiàn)了空洞。

圖2 背景噪聲抑制結(jié)果

1.2 克服弱陰影

計算顏色模型[10]是自然場景下用來剔除陰影和抑制光照變化的經(jīng)典方法，彩色圖像由R、G、B三分量組成，當(dāng)前幀和背景幀在圖像坐標(biāo)處的點可用三維空間矢量表示：和。那么投射到的矢量與的長度比值為亮度差異，用表示，投射到的距離為色度差異，用表示，其計算式：

(4)

文獻(xiàn)[10]的研究表明，陰影和光照變化引起的亮度差異和色度差異應(yīng)滿足以下條件：對于室外場景，且；對于室內(nèi)場景，該條件則為且。該組參數(shù)是根據(jù)文獻(xiàn)[10]給出的經(jīng)驗值，對于大部分場景，可以較好地克服光照變化的影響。但顯然，該組值對于不同的場景，最佳閾值是不一樣的，并且對于本文所研究的下雪場景，陰影的特征有所不同。本步驟的主要目的，就是盡可能地去除弱陰影的影響，允許有少量目標(biāo)區(qū)域的丟失，經(jīng)過大量的實驗，認(rèn)為由高亮背景引起的弱陰影區(qū)域亮度差異和色度差異應(yīng)滿足條件：且。該條件可以顯著抑制弱陰影區(qū)域，采用該方法對圖2的結(jié)果進(jìn)一步處理，效果如圖3所示。

圖3 弱陰影抑制

由圖3可以看出：地面的弱陰影區(qū)域抑制效果較好，但也由于陰影限制條件的弱化，丟失了許多與陰影有類似屬性的真實目標(biāo)區(qū)域，使目標(biāo)出現(xiàn)較多空洞。

通過梳理可以發(fā)現(xiàn)，改革開放以來，全國抗戰(zhàn)勝利紀(jì)念活動除逐步多樣化之外，還實現(xiàn)了常態(tài)化、規(guī)范化。具體體現(xiàn)在：召開中央一級紀(jì)念大會、座談會常態(tài)化，黨和國家領(lǐng)導(dǎo)人出席常態(tài)化，最高領(lǐng)導(dǎo)人發(fā)表重要講話常態(tài)化，抗戰(zhàn)紀(jì)念設(shè)施、遺址名錄制度建立，不同類型紀(jì)念日及紀(jì)念活動的法制化，等等。

1.3 目標(biāo)空洞修補(bǔ)

被雪覆蓋的目標(biāo)表面，陰影過度抑制，表現(xiàn)為真實運動目標(biāo)區(qū)域的部分丟失，要保證運動目標(biāo)檢測精度，必須要對上述結(jié)果進(jìn)一步優(yōu)化。文獻(xiàn)[11]提出一種基于線掃描方式的斷橋修補(bǔ)法，以圖像的行為單位，分析黑白像素的分布規(guī)律，對兩個相連白像素段之間的短黑像素段進(jìn)行修補(bǔ)，達(dá)到填充空洞的目的。該方法對于小的目標(biāo)空洞效果較好，但有兩個缺陷：一是當(dāng)有多個目標(biāo)出現(xiàn)在場景中時，整幅圖像的行掃描方式會使多個相連目標(biāo)錯誤連接；二是對于大的空洞無法有效填充。而下雪天氣下的運動目標(biāo)掩模，不可避免地會出現(xiàn)這樣的困難。針對這些問題，本文提出的目標(biāo)空洞修補(bǔ)方法，以個體目標(biāo)區(qū)域為單位進(jìn)行獨立修補(bǔ)，并且考慮到目標(biāo)區(qū)域的方向特征，構(gòu)建傾斜的最小包圍矩形為掃描區(qū)域，算法步驟如下：

1)對上一步獲取的運動掩模進(jìn)行一次中值濾波處理，去除少量的顆粒噪聲，再對結(jié)果用3×3長方形結(jié)構(gòu)元素進(jìn)行3次膨脹處理，把原目標(biāo)區(qū)域向外進(jìn)行擴(kuò)展，得到1，如圖4(a)中的白色區(qū)域所示；

2)用OpenCV的函數(shù)cvFindContours獲取1中掩模區(qū)域的輪廓，并擬合最小包圍矩形限定各子區(qū)域的修補(bǔ)范圍，通常情況下，該矩形是傾斜的，如圖4(a)中的紅色矩形，該圖被分為3個獨立區(qū)域；

3)在每個矩形內(nèi)，以矩形的左下角為原點，矩形的長邊和短邊為坐標(biāo)軸，構(gòu)建坐標(biāo)系。在該坐標(biāo)系內(nèi)，分別進(jìn)行水平方向和垂直方向線掃描，若兩白點之間的線距離小于與該方向平行的矩形邊長的一半，則填充這兩點之間的空洞。

運用該方法對圖3的掩模進(jìn)行修補(bǔ)，結(jié)果如圖4(b)所示。由圖4(b)可以看出：該修補(bǔ)方法可以較好地恢復(fù)被雪覆蓋而丟失的目標(biāo)表面，以及由于陰影過度抑制產(chǎn)生的目標(biāo)空洞。

圖4 空洞修補(bǔ)

2 實驗結(jié)果與分析

將本文提出的SWMO算法進(jìn)行測試，數(shù)據(jù)源來自于公共網(wǎng)站CDW提供的標(biāo)準(zhǔn)測試序列，該數(shù)據(jù)源中，不僅有大量不同特征的典型下雪天圖像序列，而且提供了這些序列的真實檢測結(jié)果，便于對所提出的算法進(jìn)行評價。本文研究對象是下雪天的運動目標(biāo)檢測，故選取“badWeather”序列進(jìn)行測試，將檢測結(jié)果與傳統(tǒng)GMM算法和當(dāng)前CDW網(wǎng)站公布的優(yōu)秀算法FTSG[12]進(jìn)行定性和定量的對比。圖5所示為三種不同場景的定性對比結(jié)果，按列排布，其中：第1列，即圖5(a)，為3種不同場景中的當(dāng)前幀圖像，場景1為典型的小目標(biāo)，且各目標(biāo)緊密相連，場景2中的目標(biāo)有陰影和被雪覆蓋表面，且場景中有光照變化，場景3為典型的背景噪聲豐富場景；第2列，即圖5(b)，用來作為參考的真實目標(biāo)檢測結(jié)果；第3列，即圖5(c)，為GMM檢測結(jié)果；第4列，即圖5(d)，為FTSG檢測結(jié)果；第1列到第4列圖像均來源于CDW網(wǎng)站；第5列，即圖5(e)，為本文提出的SWMO檢測結(jié)果。檢測結(jié)果中：白色為目標(biāo)區(qū)域，黑色為背景區(qū)域，灰色為不感興趣區(qū)域。

由圖5可以看出：對于小目標(biāo)和被雪覆蓋的目標(biāo)表面，只有本文提出的SWMO算法有較好的檢測效果，GMM和FTSG都有不同程度的丟失；對于陰影的處理和光照變化的適應(yīng)，SWMO和FTSG算法有較好的效果，未發(fā)生誤檢測，而GMM有少量的誤檢測區(qū)域；對于動態(tài)噪聲的抑制，SWMO和FTSG算法都有一定的效果，場景中未出現(xiàn)大量的背景噪聲，但GMM算法背景噪聲較嚴(yán)重；對于目標(biāo)的形態(tài)，F(xiàn)TSG算法與真實值最為接近，本文提出的SWMO算法，由于進(jìn)行了形態(tài)學(xué)處理，目標(biāo)形狀發(fā)生了變化，邊緣不精確，但目標(biāo)的完整性較好。

圖5 不同序列定性對比結(jié)果(從(a)~(e)依次為：當(dāng)前幀，真實值，GMM結(jié)果，F(xiàn)TSG結(jié)果和本文SWMO結(jié)果)

定量實驗依然運用CDW提出的7項評價指標(biāo)，令T表示檢測到的正確前景點數(shù)，T表示正確的背景點數(shù)，F(xiàn)表示錯誤的背景點數(shù)，即漏檢測的前景點，F(xiàn)表示錯誤的前景點，即誤檢測的前景點，那么7項評價指標(biāo)可以表示為

1) 召回率：e=T/(T+F)；2) 特異度：p=T/(T+F)；3) 前景點錯誤率：FP=F/(F+T)；4) 背景點錯誤率：FN=F/(T+F)；5) 分類錯誤率：PW=100(F+F)/(T+F+F+T)；6) F測度：F=2P×e/(P+e)；7) 精度：P=T/(T+F)。

定量對比結(jié)果見表1，其中GMM和FTSG的數(shù)據(jù)來源于CDW網(wǎng)站。參數(shù)FP，F(xiàn)N和PW代表錯誤率，值越小越好，其他代表正確率，值越大越好，表中最好的指標(biāo)已加粗。由表1可以看出：本文提出的SWMO算法各項指標(biāo)都優(yōu)于GMM算法，表明本文的優(yōu)化取得了良好的效果；與當(dāng)前綜合指標(biāo)較好的FTSG算法相比，SWMO算法有4項指標(biāo)優(yōu)于FTSG算法，除了精度P，另外2項指標(biāo)也與之接近。

表1 定量對比結(jié)果

本實驗的軟件平臺是Microsoft Visual C++ 6.0和OpenCV1.0，硬件平臺為：Intel i3處理器，3.4 GHz，內(nèi)存4 G，測試圖像序列分辨率為720×480和720×540，系統(tǒng)運行穩(wěn)定后，平均處理速度分別為16 f/s和13 f/s左右。

3 結(jié) 論

本文研究下雪天氣條件下的運動目標(biāo)檢測問題，為了克服動態(tài)背景噪聲和保留小目標(biāo)、適應(yīng)弱陰影和光照變化影響、以及填充被雪覆蓋目標(biāo)表面丟失區(qū)域，對傳統(tǒng)GMM算法進(jìn)行了一系列優(yōu)化，提出一種SWMO算法。用公共測試網(wǎng)站提供的視頻序列對算法的效果進(jìn)行了測試，結(jié)果表明：SWMO算法能夠克服以上三個難點，適應(yīng)下雪天氣條件下運動目標(biāo)檢測；且各項定量指標(biāo)都優(yōu)于GMM算法，7項指標(biāo)中，有4項超越了FTSG算法，有2項與之接近。SWMO算法的缺陷是所提取的目標(biāo)邊緣精度不高，在后續(xù)研究中將對其進(jìn)行進(jìn)一步優(yōu)化。

參考文獻(xiàn)：

[1] Goyette N，Jodoin P M，Porikli F，. Changedetection.net：a new change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Providence，RI，USA，Jun 12-21，2012：1-8.

[2] Sanjay G，Amudha J，Jose J T. Moving human detection in video using dynamic visual attention model [J]. Advances in Intelligent Systems and Computing(S2194-5357)，2015，320：117-124.

[3] WANG Yi，Jodoin P M，Porikli F，. CDnet 2014：An expanded change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：393-400.

[4] 2014 IEEE Change Detection Workshop. Change detection.net video database [EB/OL]// [2015-05]. http：//wordpress-jodoin.dmi.usherb.ca/cdw2014/.

[5] 屠禮芬，仲思東，彭祺. 基于序列圖像的運動目標(biāo)檢測 [J]. 應(yīng)用光學(xué)，2012，33(5)：899-903.

TU Lifen，ZHONG Sidong，PENG Qi. Moving object detection based on image sequences [J]. Journal of Applied Optics，2012，33(5)：899-903.

[6] 屠禮芬，彭祺，仲思東. 一種適應(yīng)相機(jī)抖動的運動目標(biāo)檢測方法 [J]. 電子與信息學(xué)報，2013，35(8)：1914-1920.

TU Lifen，PENG Qi，ZHONG Sidong. A moving object detection method adapted to camera jittering [J]. Journal of Electronics & Information Technology，2013，35(8)：1914-1920.

[7] Evangelio R H，Sikora T. Complementary background models for the detection of static and moving objects in crowded environments [C]// Advanced Video and Signal-Based Surveillance，Klagenfurt，Austria，Aug 30-Sep 2，2011：71-76.

[8] Khare M，Srivastava R K，Khare A. Moving shadow detection and removal - a wavelet transform based approach [J]. IET Computer Vision(S1751-9632)，2014，8(6)：701-717.

[9] Stauffer C，Grimson W E L. Adaptive background mixture models for real-time tracking [C]// Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition，F(xiàn)ort Collins，CO，USA，Jun 23-25，1999：246-252.

[10] Horprasert T，Harwood D，Davis L S. A statistical approach for real-time robust background subtraction and shadow detection [C]// IEEE ICCV’99 Frame-Rate Workshop，Corfu，Greece，Sep 21，1999：1-19.

[11] 陳炳文，王文偉，楊文英. 基于圖像塊和邊緣增強(qiáng)的運動目標(biāo)檢測 [J]. 計算機(jī)工程，2010，36(17)：192-194.

CHEN Bingwen，WANG Wenwei，YANG Wenying. Moving object detection based on image block and edge enhancement [J]. Computer Engineering，2010，36(17)：192-194.

[12] WANG Rui，Bunyak F，Seetharaman G，. Static and moving object detection using flux tensor with split gaussian models [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：420-424.

Moving Object Detection in Snowy Weather Condition

TU Lifena，PENG Qia，ZHANG Kaibingb

( a. School of Physics and Electronic Information Engineering; b. School of Computer and Information Science, Hubei Engineering University, Xiaogan 432000, Hubei, China )

In order to realize the high precision moving object detection in snowy weather condition, this paper improves the GMM algorithm. Firstly, the multi-resolution, high and low threshold concepts are used to optimize the detection results, which can overcome the influence of the dynamic background noise. Then, the color model is used to suppress the weak shadows and illumination changes by moving objects. Finally, the hole is filled in the rectangle with the minimum constraint of each object, and the motion mask is filled due to the excessive suppression of the shadow and the loss of the surface covered by snow. Experimental results show that the improved algorithm is better than the GMM algorithm for all of the seven indicators. Compared with the current outstanding algorithm FTSG, there are four of the seven transcend, the two close.

moving object detection; snowy weather; GMM; dynamic noise; hole patching

1003-501X(2016)10-0025-05

TP391.41

A

10.3969/j.issn.1003-501X.2016.10.005

2015-10-26；

2015-12-28

國家自然科學(xué)基金(61471161)；湖北省自然科學(xué)基金(2015CFC770)；湖北省教育廳科學(xué)技術(shù)研究項目(Q20152701,Q20162701)；湖北工程學(xué)院科學(xué)研究項目資助(201607,201512)

屠禮芬(1986-)，女(漢族)，湖北孝感人。講師，博士，主要研究工作是圖像處理與機(jī)器視覺。

彭祺(1983-)，男(回族)，天津人。講師，博士，主要研究工作是圖像處理與機(jī)器視覺。E-mail: petersky0316@163.com。