賈宇為,王漢軍

1(中國(guó)科學(xué)院大學(xué),北京 100049)

2(中國(guó)科學(xué)院 沈陽(yáng)計(jì)算技術(shù)研究所,沈陽(yáng) 110168)

隨著電力信息化的快速發(fā)展,視頻監(jiān)控系統(tǒng)也在飛速發(fā)展.視頻監(jiān)控系統(tǒng)在實(shí)際應(yīng)用中具有信息量大、實(shí)時(shí)性強(qiáng)、工作方式被動(dòng)、易與其他技術(shù)相結(jié)合的特點(diǎn),因此視頻監(jiān)控系統(tǒng)被廣泛的應(yīng)用于安防領(lǐng)域,是安防中不可或缺的一部分.而且隨著視頻監(jiān)控系統(tǒng)的不斷發(fā)展,視頻監(jiān)控系統(tǒng)在人們的生活中也越來(lái)越普及,被廣泛的應(yīng)用到生活中的各個(gè)方面.早期,視頻監(jiān)控系統(tǒng)主要用于安防問題,可以有效的對(duì)對(duì)監(jiān)控場(chǎng)所設(shè)施保護(hù),保護(hù)公眾的財(cái)產(chǎn)安全.近幾年,由于在電力生產(chǎn)過程中,由于人為操作不當(dāng)或者是客觀存在的因素,總是有可能發(fā)生各種潛在的危險(xiǎn).因此,通過智能視頻監(jiān)控系統(tǒng)監(jiān)測(cè)工作人員是否安全操作設(shè)備對(duì)于工作人員的安全以及國(guó)家的財(cái)產(chǎn)安全保護(hù)就變得日益迫切和重要[1].

目前對(duì)于視頻處理的方法中常用的有3 種方法,分別是幀間差分法、光流法和背景差分法.幀間差分法是通過相連幀圖像之間的一些不同來(lái)對(duì)視頻進(jìn)行分析從而將運(yùn)動(dòng)目標(biāo)提取出來(lái),對(duì)動(dòng)態(tài)變化的情形有一定的能力可以相適合,但是需要通過不斷的調(diào)整找到合理的選擇,否則會(huì)對(duì)最終的檢測(cè)效果造成影響.光流法一種通過對(duì)比圖像中運(yùn)動(dòng)目標(biāo)的亮度的不同,從而得出結(jié)果的一種檢測(cè)方法,該方法在監(jiān)控?cái)z像頭移動(dòng)的情況下也可以對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行監(jiān)測(cè),而且它在不知道監(jiān)控場(chǎng)景的一些相關(guān)情況的基礎(chǔ)上也可以進(jìn)行監(jiān)測(cè),但是該算法的實(shí)時(shí)能力還有待提高,而且計(jì)算量比較大,在一些要求實(shí)時(shí)監(jiān)控的場(chǎng)景下光流法有一定的局限性[2,3].背景差分法是先找到圖像中的背景圖像,然后用各幀圖像與背景圖像做對(duì)比,找到各幀圖像于背景圖像之間的不同,從而可以突出圖像中的運(yùn)動(dòng)目標(biāo),它具有實(shí)現(xiàn)簡(jiǎn)單且處理速率高的優(yōu)點(diǎn),但是視頻中太陽(yáng)光照以及一些環(huán)境的變化因素對(duì)于結(jié)果會(huì)有一些影響,比如說(shuō)在視頻中有些對(duì)目標(biāo)遮住的物體以及由于時(shí)間的不同引起光線的變化對(duì)最終監(jiān)測(cè)的結(jié)果有一定的影響[4,5].特別是在視頻背景不斷變化的情況下即攝像頭是在移動(dòng)的情況下,背景差分法監(jiān)測(cè)的結(jié)果可能會(huì)出現(xiàn)不準(zhǔn)確甚至?xí)幸恍┘俚倪\(yùn)動(dòng)目標(biāo)出現(xiàn).

本文針對(duì)電網(wǎng)視頻監(jiān)控,在攝像機(jī)靜止情況下,對(duì)監(jiān)控畫面中工作人員的行為進(jìn)行檢測(cè)研究,提出了一種幀間差分法與混合高斯模型相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法,該方法對(duì)于降低幀間差分法算法中的“雙影”現(xiàn)象有一定的效果,實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)檢測(cè)的及時(shí)性、可靠性以及有效性.

1 基于視頻內(nèi)容的運(yùn)動(dòng)檢測(cè)算法

1.1 幀間差分法

對(duì)于視頻中人物的行為監(jiān)測(cè),要求精度較高,我在實(shí)驗(yàn)中選擇的方法是幀間差分法,其基本原理圖如圖1.它是利用當(dāng)前幀和上一幀之間的差異和相關(guān)性,對(duì)視頻中的相鄰幀做差分運(yùn)算,再將差分運(yùn)算得到的結(jié)果做二值化處理,最終提取出運(yùn)動(dòng)目標(biāo)區(qū)域,具體流程如下[6].

圖1 幀間差分法基本原理圖

在視頻圖像序列中用Fm(x,y)表示視頻中的第m幀圖像,用Fm?1(x,y)表示視頻中的第m?1 幀圖像,Dm(x,y)是兩幀圖像經(jīng)過差分運(yùn)算得到的差分圖像,公式如下:

Bm(x,y)是Dm(x,y)進(jìn)行闕值化后的二值化圖像,闕值大小為T.當(dāng)差分圖像Dm(x,y)中的像素點(diǎn)的灰度值大于闕值T時(shí),就認(rèn)為該像素點(diǎn)是運(yùn)動(dòng)目標(biāo),相反,如果灰度值小于闕值T,則認(rèn)為該像素點(diǎn)是背景圖像,具體公式如下:

幀間差分法的算法是比較簡(jiǎn)單的,它不需要對(duì)背景的更新進(jìn)行考慮,而且?guī)g差分法在對(duì)目標(biāo)進(jìn)行監(jiān)測(cè)的時(shí)候可以做到實(shí)時(shí)監(jiān)測(cè),但是幀間差分法中闕值化后的闕值大小是一個(gè)比較重要的值,它受到各種因素的影響,比如運(yùn)動(dòng)目標(biāo)的移動(dòng)速度等.往往在運(yùn)動(dòng)區(qū)域內(nèi)存在大范圍的空洞或在運(yùn)動(dòng)區(qū)域內(nèi)有部分背景被包含的情況,從而在最終結(jié)果中出現(xiàn)預(yù)期效果于檢測(cè)的效果不符或者有較大的差異.因此,在實(shí)驗(yàn)過程中對(duì)幀間差分法做了適當(dāng)?shù)母倪M(jìn),在實(shí)驗(yàn)過程中將幀間差分法與改進(jìn)的混合高斯模型相結(jié)合,從而提高算法的準(zhǔn)確性,對(duì)算法進(jìn)行改進(jìn)[7].

1.2 混合高斯模型

混合高斯模型與單高斯模型不同,混合高斯模型是通過用k個(gè)高斯模型來(lái)將圖像表現(xiàn)成一種線性的組合,并且通過這種線性的組合來(lái)表現(xiàn)出圖像中的每個(gè)像素點(diǎn)的特征,而且單個(gè)的像素也是不斷變化的,它通過權(quán)值來(lái)反映出它在在整體變化中的表現(xiàn).在取得新的圖像幀后,利用混合高斯模型對(duì)這幀圖像進(jìn)行更新,并用新的圖像中的像素值與混合高斯模型進(jìn)行匹配,如果成功匹配的話則將其判定為背景點(diǎn),否則就將其判定為前景點(diǎn)[8].

采用k個(gè)高斯分布對(duì)圖像中的某個(gè)像素點(diǎn)建模.在t時(shí)刻內(nèi),坐標(biāo)(x,y)的灰度值取值集合見式(3).

其中,Xi(x,y)表示i在1～t時(shí)刻中第i幀的圖像上該坐標(biāo)點(diǎn)的灰度值.那么在該時(shí)刻點(diǎn)就可以用k個(gè)高斯分布來(lái)描述(x,y)的概率密度函數(shù).

將k個(gè)高斯分布線性加成組成一個(gè)高斯混合模型ρ,如圖2所示.

圖2 混合高斯模型結(jié)構(gòu)示意圖

其中,

在式(4)和式(5)中,k表示混合高斯模型是由k個(gè)高斯分布所組成的,通常取3～5,并且=1;X表示當(dāng)前幀像素的灰度值,φi,t表示第i個(gè)高斯分布在t時(shí)刻時(shí)候的權(quán)重,ρi(X,μi,t,Σi,t)為混合高斯模型中的第i個(gè)模型在t時(shí)刻的概率密度函數(shù),表達(dá)式見式(4).μi,t是第i個(gè)高斯分布在t時(shí)刻的均值向量,Σi,t是第i個(gè)高斯分布在t時(shí)刻的協(xié)方差矩陣[9].|Σi,t|是Σi,t協(xié)方差矩陣的行列式,并且有:Σi,t=E{(X?μi,t)(X?μi,t)T}.

對(duì)于每一個(gè)新的像素Xi,都會(huì)根據(jù)現(xiàn)有的k個(gè)高斯模型對(duì)新的像素進(jìn)行檢查,直到找到匹配的高斯模型.當(dāng)像素點(diǎn)在高斯分布的2.5 個(gè)標(biāo)準(zhǔn)差范圍內(nèi),那么就說(shuō)明該高斯模型是像素點(diǎn)的匹配模型,并確定該像素點(diǎn)為背景點(diǎn);否者說(shuō)明高斯模型于該像素點(diǎn)不匹配,那么該像素點(diǎn)像就被定為前景點(diǎn).若匹配,則按式(6)對(duì)高斯分布函數(shù)的參數(shù) α,β進(jìn)行更新;若不匹配,則只更新權(quán)值φi[10].

在式(6)中,α表示的是學(xué)習(xí)率,一般取0.001、0.001、0.01 等,取值不能過大,也不能過小;當(dāng)模型匹配時(shí)R=1,否則R=0;是參數(shù)學(xué)習(xí)率.由第一個(gè)公式可以看出 α取值的大小對(duì) β有著影響,α取值越大,β值就會(huì)越小,最終結(jié)果的魯棒性就會(huì)越差;反之,α取值越小,β值就會(huì)越大,最終結(jié)果的魯棒性就會(huì)越好,但是噪聲也就增多.將k個(gè)高斯分布按照 φi,tσi,t值進(jìn)行降序排序,背景模型用前δ 個(gè)分布進(jìn)行表示:

其中,T是由背景復(fù)雜度確定的闕值.

2 改進(jìn)的混合高斯模型

在傳統(tǒng)的混合高斯模型中,我們是對(duì)整張圖像進(jìn)行分析,判斷視頻幀中區(qū)域哪塊屬于背景區(qū)域,哪塊屬于前景區(qū)域,在本文的改進(jìn)方法中,首先對(duì)視頻幀中內(nèi)容進(jìn)行區(qū)域劃分,對(duì)于已經(jīng)確定是背景區(qū)域的部分,將其背景區(qū)域的概率設(shè)置為1,也就是說(shuō)該區(qū)域完全屬于背景;同理對(duì)于確定為前景區(qū)域的部分,將其前景區(qū)域的概率設(shè)置為1,對(duì)于部分屬于背景,部分屬于前景的區(qū)域,則建立混合高斯模型對(duì)其進(jìn)行分析,對(duì)區(qū)域內(nèi)的像素點(diǎn)進(jìn)行判斷.如圖3所示.

如圖3所示,我們可以看到,部分像素點(diǎn)屬于背景,部分像素點(diǎn)屬于前景,計(jì)算出每個(gè)像素點(diǎn)前景、背景的概率,在根據(jù)混合高斯模型對(duì)其進(jìn)行判斷屬于前景模型,還是背景模型.

在傳統(tǒng)的混合高斯模型中,由于視頻圖像背景是在不斷變化的,這時(shí),高斯模型的學(xué)習(xí)率 α對(duì)于對(duì)于背景的更新有較大的影響,因此,α如果始終是恒定的值,那么對(duì)于實(shí)驗(yàn)結(jié)果最終的準(zhǔn)確性會(huì)有較大的影響,本文中對(duì) α的取值采用不同的取值方法[11].通過設(shè)置一個(gè)幀數(shù)闕值T0,對(duì)前T0幀的圖像采用較高的學(xué)習(xí)率,而對(duì)于T0幀以后的幀數(shù)采用學(xué)習(xí)率較低的方法進(jìn)行更新:

可以由式(8)可見:其中T0表示的幀數(shù)闕值,f表示當(dāng)前視頻的幀數(shù),在圖像幀開始的時(shí)候即在前T0幀采用的學(xué)習(xí)率是比較大的,隨著幀數(shù)的增加,α的值逐漸減小,最后趨于穩(wěn)定,這樣就使得模型對(duì)于背景的適應(yīng)能力較強(qiáng),抗干擾性也提高了,同時(shí)對(duì)于環(huán)境噪聲也由一定的適應(yīng)能力和抗干擾能力.

圖3 背景前景判斷圖

對(duì)于T0的選擇,在本文中采用神經(jīng)網(wǎng)絡(luò)前中前向傳播的方法進(jìn)行確定的,如圖4所示,其中X1～Xk為混合高斯模型的k個(gè)高斯函數(shù),經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的層數(shù)為3 時(shí)由較高的準(zhǔn)確度,而且處理速度較塊,整個(gè)模型為從左向右傳播,對(duì)高斯函數(shù)進(jìn)行迭代,迭代次數(shù)為3,根據(jù)式(9)最終確定T0的值[12].

本文的算法如圖5所示,首先將傳輸?shù)倪\(yùn)動(dòng)視頻采用幀間差分法將視頻幀內(nèi)的背景區(qū)域和前景區(qū)域區(qū)分開,然后對(duì)背景區(qū)域和前景區(qū)域采用不同的學(xué)習(xí)率進(jìn)行處理,及采用較大的學(xué)習(xí)率的混合高斯模型處理前景區(qū)域,采用較小學(xué)習(xí)率的混合高斯模型處理背景模型.最后將運(yùn)動(dòng)目標(biāo)區(qū)域提取出來(lái).

圖4 改進(jìn)方法圖

圖5 整體算法流程圖

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

本文視頻數(shù)據(jù)來(lái)自東北電力公司的監(jiān)控視頻.根據(jù)將幀間差分法和改進(jìn)的混合高斯模型結(jié)合的檢測(cè)算法,本文中選擇了具有代表性的連續(xù)多幀圖像來(lái)進(jìn)行研究和實(shí)驗(yàn).在對(duì)視頻幀處理的時(shí)候,本文選擇了視頻的第255 幀圖像進(jìn)行處理.模型訓(xùn)練過程中,學(xué)習(xí)率不是不變的,隨著時(shí)間的推移學(xué)習(xí)率 α不斷減小,最終 α穩(wěn)定在0.001.如圖6和圖7.

如圖6所示工作人員在室內(nèi)對(duì)設(shè)備進(jìn)行檢測(cè),圖7分別是采用混合高斯模型和改進(jìn)過的混合高斯模型進(jìn)行處理的結(jié)果圖如圖可以看到兩種方法都檢測(cè)出了前景目標(biāo),但是采用改進(jìn)的混合高斯模型處理運(yùn)動(dòng)目標(biāo)的得到的結(jié)果更加清晰而且在圖7中采用改進(jìn)的混合高斯模型處理后,可以明顯的看出對(duì)運(yùn)動(dòng)目標(biāo)的輪廓等各方面都有了明顯的提高.

圖6 室內(nèi)檢測(cè)運(yùn)動(dòng)目標(biāo)原圖

圖7 室內(nèi)運(yùn)動(dòng)目標(biāo)檢測(cè)圖

如圖8和圖9所示,其中圖8是用幀間差分法處理視頻幀后得到的目標(biāo)結(jié)果,圖9是使用幀間差分法和混合高斯模型相結(jié)合的方法處理后得到的目標(biāo)結(jié)果.可以發(fā)現(xiàn),由于目標(biāo)人物在視頻中運(yùn)動(dòng)范圍比較小,而且目標(biāo)與別的人物會(huì)有重疊的現(xiàn)象,因此在圖8中人物模型不夠完整,目標(biāo)輪廓出現(xiàn)了“空洞”的現(xiàn)象,而圖9中的人物目標(biāo)相對(duì)比較完整,在本文的算法中,通過對(duì)目標(biāo)進(jìn)行混合高斯模型訓(xùn)練后,可以極大的降低目標(biāo)與背景人物重疊的影響,提高算法的準(zhǔn)確度.

圖8 改進(jìn)前算法檢測(cè)結(jié)果

圖9 改進(jìn)后算法檢測(cè)結(jié)

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

兩種算法的實(shí)驗(yàn)結(jié)果對(duì)比如表1.

表1 各類算法測(cè)試結(jié)果對(duì)比

4 實(shí)驗(yàn)分析

本文視頻數(shù)據(jù)來(lái)自東北電力公司的監(jiān)控視頻.根據(jù)將幀間差分法和改進(jìn)的混合高斯模型結(jié)合的檢測(cè)算法,本文中選擇了具有代表性的連續(xù)多幀圖像來(lái)進(jìn)行研究和實(shí)驗(yàn).

實(shí)驗(yàn)結(jié)果如圖8和圖9所示.其中,圖8為幀間差分法得到的目標(biāo)結(jié)果;圖9為在幀間差分法基礎(chǔ)上采用本文提出的改進(jìn)高斯混合模型進(jìn)行背景更新后的結(jié)果.可以看出由幀間差分法的到目標(biāo)結(jié)果會(huì)有“空洞”現(xiàn)象,這是由于目標(biāo)物體在兩幀之間運(yùn)動(dòng)幅度較小,而且由較大的重疊區(qū)域,而用本文提出的改進(jìn)混合高斯模型對(duì)背景進(jìn)行更新后,目標(biāo)被較為完整的檢測(cè)出,而且“空洞”現(xiàn)象明顯降低.相比于之前的算法有更好的準(zhǔn)確性和實(shí)用性.

5 結(jié)論

本文提出了一種幀間差分法和改進(jìn)的混合高斯模型相結(jié)合的檢測(cè)方法,改進(jìn)單一使用其中一種算法的不足,而且相比于傳統(tǒng)的混合高斯模型,在檢測(cè)結(jié)果上也有一定的提高,提高了對(duì)目標(biāo)檢測(cè)的準(zhǔn)確性.

然而,本文算法還存在一定局限性,當(dāng)在干擾過多的情況下,比如在惡劣的環(huán)境或者是當(dāng)背景比較復(fù)雜時(shí),不能較好地提取運(yùn)動(dòng)目標(biāo),下一步將對(duì)此加以改進(jìn)優(yōu)化,在后續(xù)研究中對(duì)背景更新需要不斷改進(jìn),建立高度準(zhǔn)確的背景模型,可以更加完整的檢測(cè)出運(yùn)動(dòng)目標(biāo).在后續(xù)的研究中還需要在算法中加入自適應(yīng)學(xué)習(xí)的過程,從而滿足實(shí)際應(yīng)用的需求.