孫志偉， 高明亮， 李海濤， 倪廣魁

(1.山東理工大學(xué) 電氣與電子工程學(xué)院， 山東淄博 255049；

2.國(guó)網(wǎng)山東省電力公司 萊蕪供電公司， 山東萊蕪 271100)

一種基于反饋信息的視覺圖像背景建模方法

孫志偉1， 高明亮1， 李海濤1， 倪廣魁2

(1.山東理工大學(xué) 電氣與電子工程學(xué)院， 山東淄博 255049；

2.國(guó)網(wǎng)山東省電力公司 萊蕪供電公司， 山東萊蕪 271100)

摘要：高斯混合模型已經(jīng)廣泛應(yīng)用于視覺圖像的運(yùn)動(dòng)目標(biāo)提取.但傳統(tǒng)高斯混合模型存在靜止前景融入背景的問題.為了解決這個(gè)問題，提出了一種特定場(chǎng)景下基于反饋信息的背景模型更新改進(jìn)算法.首先采用基于形狀特征的目標(biāo)分類器將前景目標(biāo)識(shí)別為行人和車輛，然后通過多目標(biāo)跟蹤判斷目標(biāo)是否靜止，進(jìn)而將前景目標(biāo)識(shí)別為靜止行人，運(yùn)動(dòng)行人，車輛三種模式，最后將跟蹤與分類的結(jié)果與高斯模型的更新相結(jié)合，根據(jù)分類后反饋的信息對(duì)不同的分類區(qū)域采取不同的學(xué)習(xí)率更新.實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地解決特定場(chǎng)景中前景融入背景的問題.

關(guān)鍵詞：高斯混合模型；靜止前景；多目標(biāo)跟蹤；目標(biāo)分類；反饋信息

移動(dòng)目標(biāo)異常行為識(shí)別是計(jì)算機(jī)視覺領(lǐng)域中最為活躍的研究方向之一.其核心是從圖像序列中檢測(cè)、識(shí)別、跟蹤移動(dòng)目標(biāo)，提取移動(dòng)目標(biāo)的行為特征，根據(jù)行為特征對(duì)異常行為進(jìn)行識(shí)別和判斷，并對(duì)異常行為進(jìn)行預(yù)警.

目標(biāo)檢測(cè)是行為分析的基礎(chǔ)，近年來得到廣泛的研究.Stauffer與Grimson提出的高斯混合模型(GaussianMixtureModel,GMM)[1-2]是目前常用的方法.Wayne[3]等對(duì)Stauffer與Grimson的方法進(jìn)行了詳細(xì)的分析.Zivkovic[4]等提出了一種自適應(yīng)的調(diào)整高斯分布個(gè)數(shù)的方法.Lee[5]將學(xué)習(xí)率與時(shí)間建立聯(lián)系,使學(xué)習(xí)算法具有了自適應(yīng)性,進(jìn)一步提高了收斂速度.Bouttefroy[6]等提出了兩種不同的學(xué)習(xí)因子，改善了“飽和像素”的現(xiàn)象.其它的改進(jìn)方法還有文獻(xiàn)[7-9].

以上各種改進(jìn)算法，雖然在檢測(cè)效果上有一定的提高，但對(duì)于運(yùn)動(dòng)前景更新的問題均沒有得到很好解決.當(dāng)運(yùn)動(dòng)的前景出現(xiàn)靜止時(shí)，GMM會(huì)將其融入到背景當(dāng)中，這將對(duì)移動(dòng)對(duì)象的隱藏判斷出現(xiàn)遺漏.例如一個(gè)人出現(xiàn)在停車場(chǎng)，長(zhǎng)時(shí)間停留，不進(jìn)入車內(nèi)，可能會(huì)發(fā)生異常行為，如盜竊等行為.在這種情況下，該人應(yīng)該被持續(xù)檢測(cè)為前景.但GMM會(huì)在一定時(shí)間后將其融入背景.為了解決靜止前景融入背景的問題，本文首先對(duì)行人與車輛進(jìn)行了區(qū)分，進(jìn)一步將行人區(qū)分為靜止與運(yùn)動(dòng)兩種狀態(tài)，然后通過對(duì)高斯模型分區(qū)域更新.

1高斯混合模型(GMM)

運(yùn)動(dòng)目標(biāo)的檢測(cè)方法主要有時(shí)間差分法、光流法、背景減除法等.其中GMM是目前常用的方法[1，5].

GMM是一種基于像素的建模過程.對(duì)于圖像中的每一個(gè)像素點(diǎn)，設(shè)它在1～t時(shí)刻的像素值為(X1,…,Xi,…,Xt)，并對(duì)這些像素值使用K個(gè)高斯分布進(jìn)行描述，則Xt的概率密度函數(shù)可表示為

(1)

式中：K=5為高斯分布的個(gè)數(shù)(通常取值為3～5，)；ωi,t為t時(shí)刻第i個(gè)高斯分布的權(quán)值；μi,t與∑i,t分別為t時(shí)刻第i個(gè)高斯分布的均值向量；協(xié)方差矩陣η(Xi, μi,t, ∑i,t)服從均值為μi,t方差∑i,t的高斯分布

η(Xi,μ,∑)=

(2)

式中n是Xi的維數(shù)，取n=3.為了避免復(fù)雜的矩陣求逆運(yùn)算，通常假定每個(gè)像素的各個(gè)顏色通道相互獨(dú)立，且具有相同的方差，可將協(xié)方差矩陣表示為

(3)

式中Ι表示3×3的單位矩陣.

初始化過程：利用第一幀圖像各個(gè)點(diǎn)的像素值初始化第一個(gè)高斯分布的均值，即μ=X，并賦以較大的方差σ2(取σ=30)和權(quán)值為1的權(quán)重ω，其余高斯模型的均值和權(quán)重賦為零，方差賦以較大的值.

對(duì)新圖像幀的每個(gè)當(dāng)前彩色向量值Xt，按K個(gè)高斯模型ωi,t/σi,t降序進(jìn)行匹配，若滿足‖Xt-μi,t‖/σi,t<τ，i/[1…K]，(其中τ(>0)為匹配閾值，本文τ=2.5)，則認(rèn)為Xt與第i個(gè)高斯模型匹配，反之不匹配.匹配時(shí)背景模型的權(quán)重按式(4)進(jìn)行更新：

ωi,t=(1-a)ωi,t-1+α

(4)

對(duì)于匹配上的高斯分布，按公式更新如式(5).

μi,t=(1-β)μi,t-1+βXt

(5)

β(Xt-μi,t)T(Xt-μi,t)

(6)

β=αη(Xt|μi,t,σi,t)

(7)

式中α為學(xué)習(xí)率，該值越大，前景融入背景速度越快，文中取α=0.005.

不匹配時(shí)背景模型的權(quán)重按式(8)進(jìn)行更新：

ωi,t=(1-α)ωi,t-1

(8)

同時(shí),對(duì)ωi,t/σi,t值最小的高斯分布進(jìn)行替換，新加入的高斯分布初始化為較小的權(quán)值和較大的方差，均值為當(dāng)前像素值.

每一個(gè)像素點(diǎn)參數(shù)更新完畢后，對(duì)權(quán)值進(jìn)行歸一化處理：

(9)

ωi,t值較大，則該高斯分布出現(xiàn)的概率較高，而σi,t值較小，像素值的波動(dòng)較小，所以ωi,t/σi,t值越大代表該模型為背景的概率越大.對(duì)歸一化后的K個(gè)分布按照ωi,t/σi,t比值由大到小重新排序，取前N個(gè)高斯分布作為背景模型，其余高斯分布為運(yùn)動(dòng)前景模型.

(10)

式中T為閾值，取T=0.8.

為提高模型的收斂速率，采用LEE提出的更新參數(shù)模型[5],并引入一個(gè)新的模型參數(shù)ci,t，初始化時(shí)令ci,t=0.對(duì)每一個(gè)匹配上的高斯分布：

ci,t=ci,t-1+1

(11)

均值和方差的更新率β：

β=(1-α)/ci,t+α

(12)

2基于反饋信息的背景建模

2.1算法原理

本文提出了一種基于反饋信息的背景更新算法.從后續(xù)處理來看，運(yùn)動(dòng)行人區(qū)域，車輛區(qū)域和背景區(qū)域所采取的更新策略相同，將它們統(tǒng)稱為其它區(qū)域.而對(duì)于靜止行人區(qū)域，將此區(qū)域?qū)W習(xí)率置零，從而控制此區(qū)域的前景融入.算法原理如圖1所示.

圖1　算法流程

對(duì)于背景模型初始化后的每一幀，首先進(jìn)行前景提取，對(duì)于達(dá)到輪廓閾值的真實(shí)前景目標(biāo)進(jìn)行跟蹤.跟蹤過程中，先對(duì)目標(biāo)進(jìn)行分類，對(duì)于車輛，直接按原始模型與背景一起更新.對(duì)于行人，運(yùn)用同一目標(biāo)中心點(diǎn)之間的距離判斷目標(biāo)是否靜止.對(duì)于非靜止目標(biāo)區(qū)域，按照原始設(shè)定參數(shù)更新高斯模型；對(duì)于靜止目標(biāo)，采用零學(xué)習(xí)率更新以此控制其融入前景.針對(duì)不同類型類目標(biāo)，采用不同的更新率，從而防止需要持續(xù)監(jiān)測(cè)的前景目標(biāo)融入背景.在算法實(shí)施的過程中的難點(diǎn)問題主要在于視頻場(chǎng)景中的多目標(biāo)跟蹤以及運(yùn)動(dòng)目標(biāo)分類.

2.2方法實(shí)現(xiàn)

先對(duì)檢測(cè)出的前景目標(biāo)進(jìn)行跟蹤和分類，然后運(yùn)用反饋信息對(duì)高斯模型進(jìn)行更新.

2.2.1多目標(biāo)跟蹤

在運(yùn)動(dòng)目標(biāo)跟蹤的過程中，先建立目標(biāo)模板，然后采用運(yùn)動(dòng)目標(biāo)的位置信息與顏色信息作為特征，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行連續(xù)的識(shí)別.

新目標(biāo)判斷.如果一個(gè)運(yùn)動(dòng)目標(biāo)完全進(jìn)入場(chǎng)景后，被檢測(cè)出來的相應(yīng)區(qū)域沒有任何目標(biāo)模板與之相對(duì)應(yīng)，即可判定該區(qū)域可能有新的運(yùn)動(dòng)目標(biāo)，為該新進(jìn)目標(biāo)建立相應(yīng)的臨時(shí)模板信息并進(jìn)行跟蹤.當(dāng)該目標(biāo)被連續(xù)跟蹤的幀數(shù)達(dá)到給定的閾值(本文設(shè)定為15幀)，可以判斷該目標(biāo)為場(chǎng)景中的真實(shí)目標(biāo)，否則就認(rèn)為該目標(biāo)為虛假的目標(biāo)，應(yīng)該放棄對(duì)該目標(biāo)的繼續(xù)跟蹤，并清空該目標(biāo)相應(yīng)的模板信息.

目標(biāo)丟失判斷.如果某個(gè)運(yùn)動(dòng)目標(biāo)模板沒有與任何檢測(cè)到的運(yùn)動(dòng)區(qū)域相匹配，可以認(rèn)為該目標(biāo)被遮擋了或者是由于場(chǎng)景的復(fù)雜性導(dǎo)致該目標(biāo)沒有被檢測(cè)到，此時(shí)認(rèn)為該目標(biāo)可能丟失，暫時(shí)停止跟蹤.當(dāng)該目標(biāo)被連續(xù)判定為丟失的幀數(shù)達(dá)到給定的閾值(本文設(shè)定為15幀)，就確定該目標(biāo)丟失.

目標(biāo)離開判斷.考慮兩種目標(biāo)離開場(chǎng)景的情況：一是目標(biāo)走出了監(jiān)控的范圍.如果運(yùn)動(dòng)目標(biāo)的矩形框接觸到監(jiān)控范圍的邊界線，就放棄對(duì)目標(biāo)的跟蹤；二是運(yùn)動(dòng)目標(biāo)還沒走出監(jiān)控的范圍，而是被長(zhǎng)時(shí)間的被判定為丟失的情況.一旦目標(biāo)被判定為離開，就清空該目標(biāo)相應(yīng)的模板信息.

考慮到實(shí)際監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)在相鄰兩幀之間的距離較小，Polana等人[10]采用矩形框的質(zhì)心作為跟蹤特征.設(shè)Po,i(xi,yi)是第i個(gè)目標(biāo)模板的中心坐標(biāo)，Pd,j(xj,yj)是第j個(gè)檢測(cè)到的區(qū)域的中心坐標(biāo)，計(jì)算兩個(gè)坐標(biāo)之間的歐式距離d：

(13)

如果d小于閾值dTh，取dTh=3，則初步判定第i個(gè)目標(biāo)與第j個(gè)區(qū)域可能是同一個(gè)目標(biāo).

在得到初步判定結(jié)果之后，計(jì)算相應(yīng)目標(biāo)模板區(qū)域與檢測(cè)區(qū)域顏色直方圖.采用具有視覺一致性的HSV顏色空間，先提取H分量和S分量，并將H分量分為32個(gè)小空間，S分量分為8個(gè)小空間，然后統(tǒng)計(jì)目標(biāo)圖像中像素點(diǎn)落在各個(gè)小空間中的數(shù)量，得到各自的顏色直方圖hist，最后對(duì)顏色直方圖hist進(jìn)行歸一化，使得：

(14)

(15)

其中hist1、hist2分別為目標(biāo)模板區(qū)域與檢測(cè)區(qū)域顏色直方圖，B為兩個(gè)直方圖的巴氏距離(Bhattacharyya Distance).B越小，說明兩個(gè)顏色直方圖的相似程度越大；反之，兩個(gè)顏色直方圖的相似程度越小.當(dāng)B<0.4時(shí)，在跟蹤的基礎(chǔ)上確定兩個(gè)目標(biāo)為同一目標(biāo).

2.2.2模型分類更新

針對(duì)本文研究的存在行人和車輛的場(chǎng)景，分類器設(shè)計(jì)如圖2所示.

圖2　分類器設(shè)計(jì)

第一層分類器將檢測(cè)出的前景目標(biāo)分為行人和車輛兩大類；第二層分類器將第一層分類器識(shí)別出的行人進(jìn)一步分為靜止行人，運(yùn)動(dòng)行人兩類.

對(duì)于第一層分類器，提取出前景目標(biāo)后，采用Collins[11]與Toth[12]提出的方法，計(jì)算離散度Dispersion、目標(biāo)輪廓擬合矩形長(zhǎng)寬比AspectRatio和輪廓面積ConArea作為分類判斷因子，判斷出行人與車輛.

(16)

AspectRation=RHeight/RWidth

(17)

其中，CLength為輪廓的周長(zhǎng)，RHeight與RWidth分別為目標(biāo)輪廓擬合矩形的高、寬.第一層分類效果圖3所示，其中黃色框標(biāo)記出的目標(biāo)代表運(yùn)動(dòng)車輛，紅色框記出的目標(biāo)代表行人.

圖3 人車分類

對(duì)于第二層分類器，前景檢測(cè)提取出目標(biāo)后，引入?yún)?shù)靜止幀數(shù)sCount并初始化為零.首先對(duì)每一個(gè)真實(shí)目標(biāo)兩幀之間的距離進(jìn)行判斷，如果兩幀之間的距離閾值d小于靜止距離閾值sTh，(本文取sTh=3)，則認(rèn)為該目標(biāo)可能靜止，sCount加1；如果連續(xù)靜止幀數(shù)sCount>15，則認(rèn)為該目標(biāo)靜止.第二層分類效果如圖4所示.

圖4　靜止目標(biāo)分類

從圖4可以看出，該方法對(duì)行人的運(yùn)動(dòng)和靜止?fàn)顟B(tài)進(jìn)行了判斷，能夠識(shí)別出了行人從靜止轉(zhuǎn)為運(yùn)動(dòng)的狀態(tài)，并成功對(duì)現(xiàn)有目標(biāo)的消失、新目標(biāo)的出現(xiàn)情況做出了正確處理.

3結(jié)果分析

實(shí)驗(yàn)硬件平臺(tái)為CPU3.2GHz、內(nèi)存4G的臺(tái)式電腦，軟件平臺(tái)為VS2008，用C++編程，測(cè)試視頻序列大小為352×288.為將文中算法與傳統(tǒng)算法[1]的檢測(cè)結(jié)果作比較，參數(shù)設(shè)置如本文所述.視頻序列第646幀，664幀，670幀如圖5所示.

圖5 實(shí)驗(yàn)結(jié)果對(duì)比

圖5第646幀為目標(biāo)從運(yùn)動(dòng)到靜止的第一幀，靜止目標(biāo)在第670幀從傳統(tǒng)方法中完全消失.由實(shí)驗(yàn)結(jié)果可以看出，靜止目標(biāo)在傳統(tǒng)方法中逐漸從前景中消失，這樣會(huì)對(duì)后續(xù)的分析產(chǎn)生不利影響.而本文根據(jù)特定場(chǎng)景，判斷出不應(yīng)該從前景消失的目標(biāo)，成功的防止了特定靜止前景目標(biāo)的錯(cuò)誤融入，為后續(xù)分析提供了基礎(chǔ).

4結(jié)束語

針對(duì)存在行人和車輛的場(chǎng)景，提出了一種檢測(cè)與跟蹤、分類的反饋信息相結(jié)合的模型參數(shù)更新方法.實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地防止運(yùn)動(dòng)前景融入背景的問題，為后續(xù)行為分析工作的開展，如檢測(cè)運(yùn)動(dòng)目標(biāo)突然靜止，徘徊等移動(dòng)物體的異常行為分析和識(shí)別奠定了基礎(chǔ).

參考文獻(xiàn):

[1] Stauffer C, Grimson W E L. Adaptive background mixture models for real-time tracking [C] //Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins: IEEE, 1999: 246-252.

[2] Stauffer C, Grimson W E L. Learning patterns of activity using real time tracking [J]. IEEE Transactions on Pattern Analysis

and Machine Intelligence, 2000, 22(8): 747-757.

[3] Power P W, Schoonees J A. Understanding background mixture models for foreground segmentation [C]// Proceedings Image and Vision Computing, Auckland: University of Auckland, 2002: 267-271.

[4] Zivkovic Z. Improved adaptive gaussian mixture model for background subtraction [C] //Proceedings of the 17th International Conference on Pattern Recognition. Cambridge: IEEE, 2004， 2: 28-31.

[5] Lee D. Effective gaussian mixture learning for video background subtraction [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5): 827-832.

[6] Bouttefroy P L M, Bouzerdoum A,Phung S L,etal. On the analysis of background subtraction techniques using gaussian mixture models [C] //The 35th Int. Conf. Acoustics, Speech, and Signal Processing. Dallas: IEEE, 2010: 4 025-4 045.

[7] Zivkovic Z, Heijden F. Efficient adaptive density estimation per image pixel for the task of background subtraction [J]. Pattern Recognition Letters, 2006, 27(7): 773-780.

[8] Christian W, Michel J J. Integrating a discrete motion model into GMM based background subtraction [C]// International Conference on Pattern Recognition. Istanbul: IEEE, 2010: 9-12.

[9] Lin H H, Chuang J H, Liu T L. Regularized background adaptation: a novel learning rate control scheme for gaussian mixture modeling [J]. IEEE Transactions on Image Processing, 2011, 20(3): 822-836.

[10]Polana R, Nelson R, Nelson A. Low level recognition of human motion [C]// Proc. of IEEE Computer Society Workshop on Motion of Non-Rigid and Articulated Objects. Austin: IEEE, 1994: 77-82.

[11]Lipton A J, Kanade T R. A system for video surveillance and monitoring: VSAM final report [R]. Carnegie Mellon University: Technical Report CMU-RI-TR-00-12, 2000.

[12]Toth D, Aach T. Detection and recognition of moving objects using statistical motion detection and Fourier descriptors [C]// Mantova: ICIAP, 2003: 430-435.

(編輯：劉寶江)

收稿日期：2014-09-11

基金項(xiàng)目：山東省優(yōu)秀中青年科學(xué)家科研獎(jiǎng)勵(lì)基金(博士基金)(BS2014DX009)

作者簡(jiǎn)介：孫志偉,男,zwsun1386@sina.com； 通信作者：高明亮，男，253583414@qq.com

文章編號(hào)：1672-6197(2015)02-0061-05

中圖分類號(hào)：TP391.9

文獻(xiàn)標(biāo)志碼：A

AGMMbackgroundmodelingalgorithmbasedonfeedbackinformation

SUNZhi-wei1，GAOMing-Liang1，LIHai-tao1，NIGuang-kui2

(1.SchoolofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo255049,China；

2.LaiwuPowerSupplyCompany,StateGridShandongElectricPowerCompany,Laiwu271100,China)

Abstract:Gaussian Mixture Modelhas been widely used in video object extraction. However, theproblemin traditional GMM is that the still foreground pixel are often blendedin background pixel. To solve this problem, this paper proposed a novel rate control scheme based on feedbackinformation. First, the proposed method divided theobjects into pedestrians andcars. Second, a multiple object tracking algorithm is proposed to determine whether the target was stationary, then the detected objects can be classified to still pedestrians, moving pedestrians and cars. At last, different regionsareadoptedto different learning rate depending on the feedback of the tracking and classification results. Experiments show the improved algorithm can solve the problem of still foreground pixel blendedin background pixel.

Key words:Gaussian Mixture Model; still foreground; multiple object tracking; object classification; information feedback