屠禮芬，彭 祺，張凱兵

?

下雪天氣條件下的運動目標檢測

屠禮芬a，彭 祺a，張凱兵b

( 湖北工程學院a. 物理與電子信息工程學院；b. 計算機與信息科學學院，湖北孝感 432000 )

針對下雪天氣條件下高精度的運動目標檢測，本文在GMM算法基礎上進行改進，首先采用多分辨率、高低閾值的思想對其進行優(yōu)化，克服下雪天動態(tài)背景噪聲的影響；然后運用計算顏色模型，抑制運動目標產(chǎn)生的弱陰影和光照變化；最后在各目標最小約束矩形內(nèi)進行空洞修補，填充由于陰影過度抑制和被雪覆蓋目標表面丟失的運動掩模。實驗結(jié)果表明：改進算法7項指標都優(yōu)于GMM算法，與當前較優(yōu)秀的FTSG算法相比，7項指標中有4項超越，2項接近。

運動目標檢測；下雪天氣；GMM；動態(tài)噪聲；空洞修補

0 引 言

運動目標檢測是通過分析視頻序列，去除靜止背景，保留運動前景，準確、快速地獲取運動目標[1]，是實現(xiàn)目標跟蹤、異常檢測、行為分析等智能視頻監(jiān)控[2]領域關鍵技術的基礎。靜止背景下的運動目標檢測已經(jīng)有較成熟的方法和具體的應用，該領域較為權(quán)威的小組IEEE Change Detection Workshop(CDW)[3-4]的研究表明：當前關于運動目標檢測中的常見問題，如動態(tài)背景[5]、像機抖動[6]、間歇運動[7]、運動陰影[8]等都有比較好的解決方法，但在惡劣天氣下的運動目標檢測仍然是一個難題。尤其是下雪天氣條件下，設計有效的運動目標檢測算法依然面臨著挑戰(zhàn)：第一，空中飄舞的雪花體積較大，使整個視場中都有不規(guī)律的運動背景噪聲；第二，雪天背景亮度較大，運動目標在背景表面投射弱陰影；第三，長時間在戶外運動的目標，表面被雪花覆蓋，與背景顏色一致，難以區(qū)分，獲取的目標產(chǎn)生大量空洞。這些問題給高精度的運動目標檢測帶來了挑戰(zhàn)，也給智能視頻監(jiān)控引入了障礙。因此，研究下雪天氣中運動前景與背景的圖像特征，并設計適應惡劣天氣的影響，實現(xiàn)下雪場景中實時、高精度的運動目標檢測是十分必要的。

針對以上問題，本文提出一種適應于下雪天氣的運動目標檢測算法(Snowy Weather Moving Object，SWMO)，采用多分辨率、互補閾值思想對傳統(tǒng)GMM算法[9]進行優(yōu)化，抑制動態(tài)背景噪聲；通過分析大量下雪天氣中的視頻圖像樣本，獲取弱陰影的顏色差異和亮度差異特征，剔除運動陰影；根據(jù)所獲取運動掩模形態(tài)特點，在各目標最小包圍矩形中進行修補，填充空洞。

1 算法實現(xiàn)

文獻[5]針對環(huán)境中的動態(tài)噪聲問題，提出了一種基于多分辨率模型的運動目標檢測方法，采用基于像素的背景差分法，在低分辨率下獲取目標的區(qū)域，在高分辨率下獲取目標的細節(jié)。本文提出的SWMO算法，繼續(xù)采用多分辨率、高低閾值的思想，對傳統(tǒng)GMM算法進行改進，獲取初始運動掩模，再進行弱陰影抑制和空洞修補，在下雪天氣條件下進行有效的運動目標檢測。算法流程圖如圖1所示。

圖1 流程圖

1.1 抑制動態(tài)噪聲

傳統(tǒng)的GMM是將每個像素點用不同狀態(tài)表示的一種數(shù)學模型，源自于高斯函數(shù)。假設圖像中的每個點都用個高斯模型來表示，那么在時刻，當前像素值為的概率表示式：

(2)

其中2為向下采樣2次后的低閾值檢測結(jié)果，將該結(jié)果向上采樣后與向下采樣1次后的高低閾值檢測結(jié)果M1、1相融合，生成中間掩模1，向上采樣后，與原始分辨率下的高低閾值檢測結(jié)果M0、0相融合，獲得最終的運動目標檢測結(jié)果，融合方法參考文獻[5]。

由圖2可以看出：雖然該視頻序列中，有大量飄舞雪花產(chǎn)生的背景噪聲，但檢測結(jié)果卻未發(fā)生誤檢測。但該結(jié)果也有顯著缺陷，受雪景高亮的影響，運動掩模中誤檢測出大量運動陰影區(qū)域。另外，被雪覆蓋的目標表面，顏色與背景一致，出現(xiàn)了空洞。

圖2 背景噪聲抑制結(jié)果

1.2 克服弱陰影

計算顏色模型[10]是自然場景下用來剔除陰影和抑制光照變化的經(jīng)典方法，彩色圖像由R、G、B三分量組成，當前幀和背景幀在圖像坐標處的點可用三維空間矢量表示：和。那么投射到的矢量與的長度比值為亮度差異，用表示，投射到的距離為色度差異，用表示，其計算式：

(4)

文獻[10]的研究表明，陰影和光照變化引起的亮度差異和色度差異應滿足以下條件：對于室外場景，且；對于室內(nèi)場景，該條件則為且。該組參數(shù)是根據(jù)文獻[10]給出的經(jīng)驗值，對于大部分場景，可以較好地克服光照變化的影響。但顯然，該組值對于不同的場景，最佳閾值是不一樣的，并且對于本文所研究的下雪場景，陰影的特征有所不同。本步驟的主要目的，就是盡可能地去除弱陰影的影響，允許有少量目標區(qū)域的丟失，經(jīng)過大量的實驗，認為由高亮背景引起的弱陰影區(qū)域亮度差異和色度差異應滿足條件：且。該條件可以顯著抑制弱陰影區(qū)域，采用該方法對圖2的結(jié)果進一步處理，效果如圖3所示。

圖3 弱陰影抑制

由圖3可以看出：地面的弱陰影區(qū)域抑制效果較好，但也由于陰影限制條件的弱化，丟失了許多與陰影有類似屬性的真實目標區(qū)域，使目標出現(xiàn)較多空洞。

通過梳理可以發(fā)現(xiàn)，改革開放以來，全國抗戰(zhàn)勝利紀念活動除逐步多樣化之外，還實現(xiàn)了常態(tài)化、規(guī)范化。具體體現(xiàn)在：召開中央一級紀念大會、座談會常態(tài)化，黨和國家領導人出席常態(tài)化，最高領導人發(fā)表重要講話常態(tài)化，抗戰(zhàn)紀念設施、遺址名錄制度建立，不同類型紀念日及紀念活動的法制化，等等。

1.3 目標空洞修補

被雪覆蓋的目標表面，陰影過度抑制，表現(xiàn)為真實運動目標區(qū)域的部分丟失，要保證運動目標檢測精度，必須要對上述結(jié)果進一步優(yōu)化。文獻[11]提出一種基于線掃描方式的斷橋修補法，以圖像的行為單位，分析黑白像素的分布規(guī)律，對兩個相連白像素段之間的短黑像素段進行修補，達到填充空洞的目的。該方法對于小的目標空洞效果較好，但有兩個缺陷：一是當有多個目標出現(xiàn)在場景中時，整幅圖像的行掃描方式會使多個相連目標錯誤連接；二是對于大的空洞無法有效填充。而下雪天氣下的運動目標掩模，不可避免地會出現(xiàn)這樣的困難。針對這些問題，本文提出的目標空洞修補方法，以個體目標區(qū)域為單位進行獨立修補，并且考慮到目標區(qū)域的方向特征，構(gòu)建傾斜的最小包圍矩形為掃描區(qū)域，算法步驟如下：

1)對上一步獲取的運動掩模進行一次中值濾波處理，去除少量的顆粒噪聲，再對結(jié)果用3×3長方形結(jié)構(gòu)元素進行3次膨脹處理，把原目標區(qū)域向外進行擴展，得到1，如圖4(a)中的白色區(qū)域所示；

2)用OpenCV的函數(shù)cvFindContours獲取1中掩模區(qū)域的輪廓，并擬合最小包圍矩形限定各子區(qū)域的修補范圍，通常情況下，該矩形是傾斜的，如圖4(a)中的紅色矩形，該圖被分為3個獨立區(qū)域；

3)在每個矩形內(nèi)，以矩形的左下角為原點，矩形的長邊和短邊為坐標軸，構(gòu)建坐標系。在該坐標系內(nèi)，分別進行水平方向和垂直方向線掃描，若兩白點之間的線距離小于與該方向平行的矩形邊長的一半，則填充這兩點之間的空洞。

運用該方法對圖3的掩模進行修補，結(jié)果如圖4(b)所示。由圖4(b)可以看出：該修補方法可以較好地恢復被雪覆蓋而丟失的目標表面，以及由于陰影過度抑制產(chǎn)生的目標空洞。

圖4 空洞修補

2 實驗結(jié)果與分析

將本文提出的SWMO算法進行測試，數(shù)據(jù)源來自于公共網(wǎng)站CDW提供的標準測試序列，該數(shù)據(jù)源中，不僅有大量不同特征的典型下雪天圖像序列，而且提供了這些序列的真實檢測結(jié)果，便于對所提出的算法進行評價。本文研究對象是下雪天的運動目標檢測，故選取“badWeather”序列進行測試，將檢測結(jié)果與傳統(tǒng)GMM算法和當前CDW網(wǎng)站公布的優(yōu)秀算法FTSG[12]進行定性和定量的對比。圖5所示為三種不同場景的定性對比結(jié)果，按列排布，其中：第1列，即圖5(a)，為3種不同場景中的當前幀圖像，場景1為典型的小目標，且各目標緊密相連，場景2中的目標有陰影和被雪覆蓋表面，且場景中有光照變化，場景3為典型的背景噪聲豐富場景；第2列，即圖5(b)，用來作為參考的真實目標檢測結(jié)果；第3列，即圖5(c)，為GMM檢測結(jié)果；第4列，即圖5(d)，為FTSG檢測結(jié)果；第1列到第4列圖像均來源于CDW網(wǎng)站；第5列，即圖5(e)，為本文提出的SWMO檢測結(jié)果。檢測結(jié)果中：白色為目標區(qū)域，黑色為背景區(qū)域，灰色為不感興趣區(qū)域。

由圖5可以看出：對于小目標和被雪覆蓋的目標表面，只有本文提出的SWMO算法有較好的檢測效果，GMM和FTSG都有不同程度的丟失；對于陰影的處理和光照變化的適應，SWMO和FTSG算法有較好的效果，未發(fā)生誤檢測，而GMM有少量的誤檢測區(qū)域；對于動態(tài)噪聲的抑制，SWMO和FTSG算法都有一定的效果，場景中未出現(xiàn)大量的背景噪聲，但GMM算法背景噪聲較嚴重；對于目標的形態(tài)，F(xiàn)TSG算法與真實值最為接近，本文提出的SWMO算法，由于進行了形態(tài)學處理，目標形狀發(fā)生了變化，邊緣不精確，但目標的完整性較好。

圖5 不同序列定性對比結(jié)果(從(a)~(e)依次為：當前幀，真實值，GMM結(jié)果，F(xiàn)TSG結(jié)果和本文SWMO結(jié)果)

定量實驗依然運用CDW提出的7項評價指標，令T表示檢測到的正確前景點數(shù)，T表示正確的背景點數(shù)，F(xiàn)表示錯誤的背景點數(shù)，即漏檢測的前景點，F(xiàn)表示錯誤的前景點，即誤檢測的前景點，那么7項評價指標可以表示為

1) 召回率：e=T/(T+F)；2) 特異度：p=T/(T+F)；3) 前景點錯誤率：FP=F/(F+T)；4) 背景點錯誤率：FN=F/(T+F)；5) 分類錯誤率：PW=100(F+F)/(T+F+F+T)；6) F測度：F=2P×e/(P+e)；7) 精度：P=T/(T+F)。

定量對比結(jié)果見表1，其中GMM和FTSG的數(shù)據(jù)來源于CDW網(wǎng)站。參數(shù)FP，F(xiàn)N和PW代表錯誤率，值越小越好，其他代表正確率，值越大越好，表中最好的指標已加粗。由表1可以看出：本文提出的SWMO算法各項指標都優(yōu)于GMM算法，表明本文的優(yōu)化取得了良好的效果；與當前綜合指標較好的FTSG算法相比，SWMO算法有4項指標優(yōu)于FTSG算法，除了精度P，另外2項指標也與之接近。

表1 定量對比結(jié)果

本實驗的軟件平臺是Microsoft Visual C++ 6.0和OpenCV1.0，硬件平臺為：Intel i3處理器，3.4 GHz，內(nèi)存4 G，測試圖像序列分辨率為720×480和720×540，系統(tǒng)運行穩(wěn)定后，平均處理速度分別為16 f/s和13 f/s左右。

3 結(jié) 論

本文研究下雪天氣條件下的運動目標檢測問題，為了克服動態(tài)背景噪聲和保留小目標、適應弱陰影和光照變化影響、以及填充被雪覆蓋目標表面丟失區(qū)域，對傳統(tǒng)GMM算法進行了一系列優(yōu)化，提出一種SWMO算法。用公共測試網(wǎng)站提供的視頻序列對算法的效果進行了測試，結(jié)果表明：SWMO算法能夠克服以上三個難點，適應下雪天氣條件下運動目標檢測；且各項定量指標都優(yōu)于GMM算法，7項指標中，有4項超越了FTSG算法，有2項與之接近。SWMO算法的缺陷是所提取的目標邊緣精度不高，在后續(xù)研究中將對其進行進一步優(yōu)化。

參考文獻：

[1] Goyette N，Jodoin P M，Porikli F，. Changedetection.net：a new change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Providence，RI，USA，Jun 12-21，2012：1-8.

[2] Sanjay G，Amudha J，Jose J T. Moving human detection in video using dynamic visual attention model [J]. Advances in Intelligent Systems and Computing(S2194-5357)，2015，320：117-124.

[3] WANG Yi，Jodoin P M，Porikli F，. CDnet 2014：An expanded change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：393-400.

[4] 2014 IEEE Change Detection Workshop. Change detection.net video database [EB/OL]// [2015-05]. http：//wordpress-jodoin.dmi.usherb.ca/cdw2014/.

[5] 屠禮芬，仲思東，彭祺. 基于序列圖像的運動目標檢測 [J]. 應用光學，2012，33(5)：899-903.

TU Lifen，ZHONG Sidong，PENG Qi. Moving object detection based on image sequences [J]. Journal of Applied Optics，2012，33(5)：899-903.

[6] 屠禮芬，彭祺，仲思東. 一種適應相機抖動的運動目標檢測方法 [J]. 電子與信息學報，2013，35(8)：1914-1920.

TU Lifen，PENG Qi，ZHONG Sidong. A moving object detection method adapted to camera jittering [J]. Journal of Electronics & Information Technology，2013，35(8)：1914-1920.

[7] Evangelio R H，Sikora T. Complementary background models for the detection of static and moving objects in crowded environments [C]// Advanced Video and Signal-Based Surveillance，Klagenfurt，Austria，Aug 30-Sep 2，2011：71-76.

[8] Khare M，Srivastava R K，Khare A. Moving shadow detection and removal - a wavelet transform based approach [J]. IET Computer Vision(S1751-9632)，2014，8(6)：701-717.

[9] Stauffer C，Grimson W E L. Adaptive background mixture models for real-time tracking [C]// Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition，F(xiàn)ort Collins，CO，USA，Jun 23-25，1999：246-252.

[10] Horprasert T，Harwood D，Davis L S. A statistical approach for real-time robust background subtraction and shadow detection [C]// IEEE ICCV’99 Frame-Rate Workshop，Corfu，Greece，Sep 21，1999：1-19.

[11] 陳炳文，王文偉，楊文英. 基于圖像塊和邊緣增強的運動目標檢測 [J]. 計算機工程，2010，36(17)：192-194.

CHEN Bingwen，WANG Wenwei，YANG Wenying. Moving object detection based on image block and edge enhancement [J]. Computer Engineering，2010，36(17)：192-194.

[12] WANG Rui，Bunyak F，Seetharaman G，. Static and moving object detection using flux tensor with split gaussian models [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：420-424.

Moving Object Detection in Snowy Weather Condition

TU Lifena，PENG Qia，ZHANG Kaibingb

( a. School of Physics and Electronic Information Engineering; b. School of Computer and Information Science, Hubei Engineering University, Xiaogan 432000, Hubei, China )

In order to realize the high precision moving object detection in snowy weather condition, this paper improves the GMM algorithm. Firstly, the multi-resolution, high and low threshold concepts are used to optimize the detection results, which can overcome the influence of the dynamic background noise. Then, the color model is used to suppress the weak shadows and illumination changes by moving objects. Finally, the hole is filled in the rectangle with the minimum constraint of each object, and the motion mask is filled due to the excessive suppression of the shadow and the loss of the surface covered by snow. Experimental results show that the improved algorithm is better than the GMM algorithm for all of the seven indicators. Compared with the current outstanding algorithm FTSG, there are four of the seven transcend, the two close.

moving object detection; snowy weather; GMM; dynamic noise; hole patching

1003-501X(2016)10-0025-05

TP391.41

A

10.3969/j.issn.1003-501X.2016.10.005

2015-10-26；

2015-12-28

國家自然科學基金(61471161)；湖北省自然科學基金(2015CFC770)；湖北省教育廳科學技術研究項目(Q20152701,Q20162701)；湖北工程學院科學研究項目資助(201607,201512)

屠禮芬(1986-)，女(漢族)，湖北孝感人。講師，博士，主要研究工作是圖像處理與機器視覺。

彭祺(1983-)，男(回族)，天津人。講師，博士，主要研究工作是圖像處理與機器視覺。E-mail: petersky0316@163.com。