李 亮，羅 毅

(四川理工學(xué)院自動(dòng)化與電子信息學(xué)院，四川 自貢 643000)

引言

隨著社會(huì)的發(fā)展，視頻監(jiān)控得到了長(zhǎng)足的發(fā)展和應(yīng)用，越來(lái)越多的場(chǎng)合需要得到記錄和監(jiān)控，人工視頻監(jiān)控仍然是大部分場(chǎng)合采用的監(jiān)控手段。但是，人工視頻監(jiān)控存在很多不足［1-2］，不僅不能全天候監(jiān)控采集的視頻，而且不適應(yīng)工業(yè)智能自動(dòng)化的發(fā)展和趨勢(shì)。因而，在這種視頻監(jiān)控的需求下，對(duì)智能視頻監(jiān)控提出了一種可行性方案，對(duì)采集到的視頻數(shù)據(jù)進(jìn)行幀間差分處理，確定差分閾值后自動(dòng)對(duì)視頻分析計(jì)算，記錄發(fā)生變化的場(chǎng)景，實(shí)現(xiàn)視頻處理、智能監(jiān)控的要求。采用幀間差分的視頻監(jiān)控可以在無(wú)人值守的情況下，實(shí)現(xiàn)對(duì)監(jiān)控區(qū)域?qū)崿F(xiàn)全天候監(jiān)控。不僅代替人工實(shí)現(xiàn)重復(fù)勞動(dòng)，而且是實(shí)現(xiàn)智能監(jiān)控的技術(shù)基礎(chǔ)。

視頻監(jiān)控主要用于安全監(jiān)控場(chǎng)合［3-4］，因而對(duì)監(jiān)控的穩(wěn)定性和準(zhǔn)確性要有較高的要求。例如，銀行自動(dòng)取款機(jī)的安全監(jiān)控、學(xué)校辦公等設(shè)備的監(jiān)控以及其他以信息獲取判斷為主的場(chǎng)合。其次，視頻監(jiān)控的智能化也是視頻監(jiān)控的重要趨勢(shì)。人工視頻監(jiān)控不能做到時(shí)時(shí)刻刻對(duì)視頻及時(shí)反應(yīng)，而智能化視頻監(jiān)控即使是在沒(méi)有人工監(jiān)控的情況下，也可以自動(dòng)對(duì)采集到的數(shù)據(jù)進(jìn)行視頻幀間差分，對(duì)每一幀圖像進(jìn)行處理，對(duì)幀間的差值與設(shè)定的閾值比較，得到變化的圖像，確定是否需要響應(yīng)。

1 視頻監(jiān)控檢測(cè)方案

1.1 視頻的采集

視頻監(jiān)控在正常情況下(即無(wú)外來(lái)物體入侵)，采集到的畫(huà)面只會(huì)因?yàn)楣庹諒?qiáng)度的改變，圖像灰度發(fā)生微小變化;而灰度變化較大時(shí)，說(shuō)明有外來(lái)物體入侵。

1.2 視頻的預(yù)處理

預(yù)處理過(guò)程目前通常是圖像去噪和圖像增強(qiáng)，前者用于一些由于攝像頭本身屬性變化而導(dǎo)致監(jiān)控視頻不清晰的情形，后者用于增強(qiáng)圖像凸出處理效果。但預(yù)處理部分的有無(wú)，可以參照采集環(huán)境和要求。在通常的監(jiān)控情況下，由于設(shè)定的優(yōu)化閾值，大部分由于攝像頭自身引起的噪聲可以直接被閾值過(guò)濾，這就省略處理環(huán)節(jié)，減少處理數(shù)據(jù)、加快運(yùn)算速度，圖像增強(qiáng)可根據(jù)具體監(jiān)控環(huán)境。當(dāng)然，在苛刻情況下，預(yù)處理為接下來(lái)的視頻處理環(huán)節(jié)提供一定的方便。

1.3 視頻的處理和運(yùn)算

視頻檢測(cè)方法［5-6］分為背景差分法、光流法以及幀間差分法。背景差分是根據(jù)隨時(shí)間的變化采集到不同圖像、不同場(chǎng)景中目標(biāo)變化的一種檢測(cè)方法，因此背景差分檢測(cè)的精確性和穩(wěn)定性就會(huì)隨場(chǎng)景和時(shí)間發(fā)生變化。但是從實(shí)際應(yīng)用角度而言，變化的場(chǎng)景在不同時(shí)間條件下去檢測(cè)目標(biāo)運(yùn)動(dòng)情況，最后都會(huì)造成檢測(cè)結(jié)果的不同。光流法則是針對(duì)不同時(shí)間，檢測(cè)出目標(biāo)運(yùn)動(dòng)的趨向和速度。但正是對(duì)于速度的敏感，導(dǎo)致其在靜止攝像機(jī)作為監(jiān)控方式時(shí)，仍然需要和其他檢測(cè)方法結(jié)合來(lái)實(shí)現(xiàn)監(jiān)控的目的。作為本文視頻處理的主要核心部分，建立在幀間差分法基礎(chǔ)上進(jìn)行改進(jìn)，對(duì)視頻處理提出了階段性處理過(guò)程策略。幀間差分，即對(duì)采集到的視頻每一幀進(jìn)行差值運(yùn)算，這符合人腦慣性思維。雖然說(shuō)視頻中的信息都是判斷的依據(jù)，但實(shí)際上監(jiān)控所用到的是變化的部分。

當(dāng)前，幀間差分在視頻監(jiān)控中存在3方面問(wèn)題:第一，幀間差分是利用視頻圖像之間差值進(jìn)行處理運(yùn)算和判斷的，因此視頻檢測(cè)處理間隔是算法的關(guān)鍵［7-9］。如果算法間隔沒(méi)有考慮，監(jiān)控信息的速率變化會(huì)導(dǎo)致漏警情形。同理，對(duì)于固定背景下長(zhǎng)時(shí)間無(wú)有效信息的監(jiān)控，每一幀處理不僅浪費(fèi)計(jì)算機(jī)性能、時(shí)間，而且延遲有效信息的獲取;第二，幀間差分在目標(biāo)提取領(lǐng)域［10-12］可以采用三幀差分、三幀差分和邊緣檢測(cè)、幀間差分和混合高斯融合等算法，但可以通過(guò)幀間差分得到圖像幀的變化，在圖形幾何上簡(jiǎn)單提取出變化的區(qū)域。這樣的邊緣提取不失為一種處理方案，節(jié)省復(fù)雜算法下的計(jì)算時(shí)間和成本;第三，對(duì)于監(jiān)控視頻沒(méi)有做到區(qū)域劃分，可以根據(jù)具體要求確定監(jiān)控畫(huà)面的劃分，進(jìn)而決策監(jiān)控畫(huà)面區(qū)域重要級(jí)別。

2 對(duì)幀間差分法的改進(jìn)

本文對(duì)幀間差分法進(jìn)行了一定的改進(jìn)，首先進(jìn)行每一幀監(jiān)控圖像差分時(shí)，采取緩存策略。在圖像灰度的變化小于設(shè)定的第一閾值時(shí)，就對(duì)當(dāng)前的背景進(jìn)行更新。

其中，m(k+1).c表示當(dāng)前時(shí)刻需處理的監(jiān)控視頻信息，m(k).c表示上一次背景更新過(guò)后的視頻信息，r(obj，k+1)表示讀取當(dāng)前時(shí)刻監(jiān)控視頻信息，dif表示當(dāng)前時(shí)刻監(jiān)控視頻幀的灰度值，th1是設(shè)定的第一閾值。

當(dāng)對(duì)固定背景進(jìn)行監(jiān)控時(shí)，由于短時(shí)間光照不變或者無(wú)人環(huán)境下，視頻監(jiān)控和采集到的畫(huà)面是固定的，背景更新策略價(jià)值不大。因此，背景更新策略適用于復(fù)雜環(huán)境下動(dòng)態(tài)視頻監(jiān)控范疇。這里采取背景緩存，只是對(duì)當(dāng)前幀的一種更新策略，也可以作為監(jiān)控視頻保留的一個(gè)基準(zhǔn)，只需要保留監(jiān)控檢測(cè)到有圖像發(fā)生變化的時(shí)間片段。由于作為物體入侵判斷依據(jù)重要因素，th1背景更新的閾值可以采用經(jīng)驗(yàn)數(shù)值或者試湊法?？紤]到干擾信息和監(jiān)控信息的并存，在多次測(cè)試之后th1初步設(shè)定為125。閾值的設(shè)定在隨后的測(cè)試中會(huì)不斷修正，以滿足監(jiān)控視頻處理的實(shí)際需求。視頻監(jiān)控進(jìn)行截取劃分，既可以節(jié)約存儲(chǔ)空間，也可以在查詢監(jiān)控時(shí)快速準(zhǔn)確地定位響應(yīng)事件。同時(shí)，視覺(jué)暫留現(xiàn)象也說(shuō)明監(jiān)控視頻的處理速度應(yīng)該以接受程度為主，人眼的反應(yīng)速度是二十四分之一秒。如果一個(gè)視頻是30 FPS(Frame Per Second)，這里幀作為最基本的處理單位也是監(jiān)控檢測(cè)的間隔，那么可以設(shè)置處理間隔為15幀。視頻處理后的結(jié)果是一幀幀的圖片，或者做成檢測(cè)出異常圖片的簡(jiǎn)短視頻。這樣很大程度上節(jié)約了存儲(chǔ)空間，也方便人員查看異常情況。

其中，pr是監(jiān)控視頻處理的間隔幀，obj.FR是監(jiān)控視頻的采集速率。

其次，視頻監(jiān)控的間隔也可以用幀進(jìn)行劃分，圖像差分時(shí)采取緩沖策略，采集到的數(shù)據(jù)并不需要立刻處理，而是等待上一個(gè)運(yùn)算周期結(jié)束后，再進(jìn)行當(dāng)前數(shù)據(jù)處理。由于計(jì)算機(jī)處理速度有限，并且在實(shí)驗(yàn)環(huán)境Matlab 2012B經(jīng)過(guò)測(cè)試得出，每一次處理間隔平均不到2秒鐘。因此初始間隔幀數(shù)設(shè)定不應(yīng)過(guò)小，為避免不必要的浪費(fèi)，可以初步設(shè)定處理間隔為10幀。同時(shí)在后續(xù)處理中采用動(dòng)態(tài)處理間隔，在監(jiān)控區(qū)域畫(huà)面變化快的時(shí)候減小處理間隔，變化慢的時(shí)候增大處理間隔。達(dá)到不遺漏物體入侵的同時(shí)，減少處理監(jiān)控?cái)?shù)據(jù)量。涉及到計(jì)算機(jī)對(duì)于幀間圖像差分的運(yùn)算，實(shí)際上沒(méi)有必要做到每一幀都進(jìn)行運(yùn)算。這里設(shè)定的閾值可以和檢測(cè)到的圖像幀數(shù)相關(guān)聯(lián)，按照監(jiān)控?cái)z像機(jī)的參數(shù)可以確定每秒幀數(shù)，這樣把時(shí)間變量轉(zhuǎn)換成幀數(shù)變量。不僅不用引入時(shí)間變量作為額外參數(shù)，還可以同步減少圖像差分計(jì)算量。

其中，cme是當(dāng)前處理結(jié)果，作為視頻異常的判斷標(biāo)準(zhǔn);G(k+1)是當(dāng)前差分處理后大于設(shè)定閾值畫(huà)面輸出的變化結(jié)果，因?yàn)閏me作為臨時(shí)寄存功能會(huì)隨著數(shù)據(jù)處理而變化，所以在輸出變化圖像時(shí)只需要輸出G(k+1);th2是設(shè)定的第二閾值判斷幀間差分?jǐn)?shù)值，在當(dāng)前實(shí)驗(yàn)中設(shè)定為180。數(shù)值可根據(jù)實(shí)驗(yàn)后的效果進(jìn)行調(diào)整。

視頻監(jiān)控中目標(biāo)的運(yùn)動(dòng)速度值得考慮，若物體很短的時(shí)間就從監(jiān)控區(qū)域離開(kāi)，則視為偶然經(jīng)過(guò)的飛行物體，因而沒(méi)有監(jiān)控的必要;若監(jiān)控目標(biāo)在監(jiān)控區(qū)域有一定的停留時(shí)間，但停留時(shí)間內(nèi)圖像變化小于設(shè)定的第二閾值，則判斷為無(wú)物體入侵，反之判斷有物體入侵監(jiān)控區(qū)域。這里，式(2)中i可以作為監(jiān)控視頻處理速度的智能選擇，可以按照式(6)的背景變化速率選擇處理速度。

其中，式(5)表示當(dāng)前差分處理后畫(huà)面灰度大于閾值和前一次差分處理后畫(huà)面灰度大于閾值共同決定的布爾運(yùn)算，G(k+1)＞th2表示當(dāng)前差分處理后畫(huà)面區(qū)域像素灰度大于設(shè)定閾值情況，1表示有，0表示沒(méi)有。其后的＆＆是邏輯與，當(dāng)?shù)谝豁?xiàng)為0，a直接為0。只有當(dāng)?shù)谝豁?xiàng)為1時(shí)，才計(jì)算第二項(xiàng)。a是根據(jù)監(jiān)控視頻設(shè)定處理間隔，對(duì)于相鄰兩次處理的結(jié)果，a=1說(shuō)明相鄰兩幀變化都超過(guò)設(shè)定閾值，因此將處理間隔減小，以免出現(xiàn)漏警。a≠1說(shuō)明至少有一次處理結(jié)果沒(méi)有超過(guò)設(shè)定的閾值，視為偶然事件，將處理間隔增加。為了避免出現(xiàn)數(shù)學(xué)錯(cuò)誤，式中 i-0.2 取值范圍［0.3，0.5］;i+0.1 取值范圍［0.6，1.0］。

物體入侵可以從兩方面入手，第一是目標(biāo)停留在監(jiān)控區(qū)域，第二是目標(biāo)并沒(méi)有在監(jiān)控區(qū)域停留，只需要檢測(cè)是否有目標(biāo)遺留在監(jiān)控區(qū)域或者原先的背景圖像從監(jiān)控區(qū)域中消失;監(jiān)控目標(biāo)在監(jiān)控區(qū)域停留時(shí)間超過(guò)閾值即可進(jìn)行報(bào)警等響應(yīng)動(dòng)作，進(jìn)而有人工對(duì)該情形做出相應(yīng)的判斷和動(dòng)作。雖然視頻幀間差分并不能確定該監(jiān)控場(chǎng)景的實(shí)際情況，但可以初步對(duì)監(jiān)控視頻進(jìn)行分析，大幅度減輕人工監(jiān)控的強(qiáng)度。

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)驗(yàn)證視頻為錄制的一個(gè)時(shí)間長(zhǎng)度為42秒、每秒20幀、每幀為640×480的視頻。設(shè)計(jì)的處理速率分別是每1幀處理1次、每10幀處理1次、每20幀處理一次。實(shí)驗(yàn)效果分別如圖1～圖3所示。

圖1 隔1幀的幀間差分法檢測(cè)視頻異常 ×4

圖2 隔10幀的幀間差分法檢測(cè)視頻異常 ×4

圖3 隔20幀的幀間差分法檢測(cè)視頻異常 ×4

圖1展示了每隔1幀對(duì)監(jiān)控視頻的處理。圖1中，同樣動(dòng)作的重復(fù)不僅耗費(fèi)大量的時(shí)間、沒(méi)有簡(jiǎn)化監(jiān)控處理的數(shù)據(jù)量，而且還會(huì)造成存儲(chǔ)空間的高占用、延長(zhǎng)監(jiān)控視頻處理時(shí)間。

圖2展示了每隔10幀對(duì)監(jiān)控視頻的處理。比每一幀進(jìn)行處理有所改善，得出明顯變化的畫(huà)面。不僅在監(jiān)控視頻處理時(shí)間縮短10倍，而且處理過(guò)后的數(shù)據(jù)可以作為物體入侵判斷依據(jù)。但是也看到由于干擾造成誤判的圖像，處理間隔仍需要調(diào)整。

圖3視頻監(jiān)控的檢測(cè)結(jié)果雖然不非常明顯，但是已經(jīng)可以從視頻840張圖片中提取到5張有用畫(huà)面，目標(biāo)人員的移動(dòng)和方向均有體現(xiàn)。設(shè)定的處理間隔時(shí)間是1秒，足以說(shuō)明之前視頻處理緩存假設(shè)的成立。還有7張時(shí)間信息變化的圖片一同被檢測(cè)出，這是因?yàn)樵谝曨l錄制加入了時(shí)間軸，部分時(shí)間數(shù)字變化的灰度差值達(dá)到檢測(cè)的閾值，因而被檢測(cè)出來(lái)。

圖4展示了改進(jìn)的幀間差分法對(duì)視頻中異常情形的檢測(cè)。在區(qū)域劃分策略下，完全檢測(cè)出了監(jiān)控視頻中實(shí)際人員移動(dòng)的畫(huà)面，而沒(méi)有僅僅是由于時(shí)間軸變化引起的虛警。不僅節(jié)約了監(jiān)控視頻的處理時(shí)間和存儲(chǔ)空間，而且可以快速查明監(jiān)控視頻中的物體入侵，沒(méi)有漏警。由此說(shuō)明改進(jìn)的幀間差分法可以用于視頻監(jiān)控中對(duì)物體入侵情形的檢測(cè)，效果良好。

圖4 改進(jìn)幀間差分法檢測(cè)視頻異常 ×4

幀間差分法對(duì)于慢速物體應(yīng)選取較大的時(shí)間間隔，不然會(huì)導(dǎo)致如圖1的檢測(cè)情形，前后兩幀幾乎是同一個(gè)慢動(dòng)作，檢測(cè)效果不理想。視頻處理在沒(méi)有動(dòng)態(tài)間隔的情況下，會(huì)出現(xiàn)大量的空余或者漏掉部分有用信息。改進(jìn)的幀間差分在實(shí)際檢測(cè)時(shí)，沒(méi)有檢測(cè)出物體初始入侵時(shí)使得檢測(cè)達(dá)到程序設(shè)定的間隔，但可根據(jù)接下來(lái)的慢速入侵物體提取出入侵結(jié)果。對(duì)于快速物體，根據(jù)式(6)的設(shè)定，可快速恢復(fù)較小檢測(cè)間隔，檢測(cè)到物體入侵。同時(shí)，改進(jìn)的幀間差分法在區(qū)域劃分基礎(chǔ)上，可以在近1秒時(shí)間內(nèi)完成相鄰兩幀圖像處理，將大于第二閾值的圖像保存并顯示，小于第二閾值則直接開(kāi)始下一次差分運(yùn)算。這樣最后顯示的圖片，就是有物體入侵的畫(huà)面。初步設(shè)定檢測(cè)間隔是1秒，檢測(cè)及時(shí)性得到了保證。

利用Matlab自帶的視頻播放功能，可以對(duì)檢測(cè)結(jié)果進(jìn)行播放，方便人員的查看。效果如圖5所示。

圖5 改進(jìn)幀間差值法檢測(cè)效果視頻 ×4

這里，為了保持連貫以及人眼可區(qū)分度，設(shè)置圖片的顯示速度為1 FPS，對(duì)圖片進(jìn)行循環(huán)播放。另外，通過(guò)視頻可操作面板可以暫停當(dāng)前時(shí)刻的圖片播放。動(dòng)態(tài)的圖片充分說(shuō)明了監(jiān)控的效果。

4 結(jié)束語(yǔ)

本文通過(guò)改進(jìn)的幀間差值作為視頻監(jiān)控處理方法，對(duì)視頻的物體入侵進(jìn)行了檢測(cè)，實(shí)驗(yàn)效果明顯。有效地將監(jiān)控視頻中有用信息提取出來(lái)，大幅度減輕人工視頻監(jiān)控的強(qiáng)度。視頻監(jiān)控將圖像處理和計(jì)算機(jī)視覺(jué)結(jié)合起來(lái)，在人們的日常生活生產(chǎn)中將會(huì)得到更加廣泛的應(yīng)用。對(duì)于遠(yuǎn)程視頻監(jiān)控，可以通過(guò)網(wǎng)絡(luò)將處理信息結(jié)果及時(shí)反饋回控制端，對(duì)于監(jiān)控區(qū)域是否有物體入侵得出結(jié)果，可以有的放矢地第一時(shí)間查明聯(lián)動(dòng)警報(bào)具體情形。

[1] 李彤.智能視頻監(jiān)控下的多目標(biāo)跟蹤技術(shù)研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2013.

[2] 沈盼盼.視頻序列中運(yùn)動(dòng)對(duì)象檢測(cè)與跟蹤的研究[D].成都:電子科技大學(xué),2012.

[3] 向建兵.簡(jiǎn)陽(yáng)變電站遠(yuǎn)程數(shù)字視頻監(jiān)控系統(tǒng)研究[D].重慶:重慶大學(xué),2004.

[4] 袁國(guó)武.智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤算法研究[D].昆明:云南大學(xué),2012.

[5] 呂瑞明.變電站智能視頻監(jiān)控系統(tǒng)研究[D].成都:西南交通大學(xué),2008.

[6] 景美麗.無(wú)人值守變電站中智能視頻監(jiān)控的技術(shù)研究[D].北京:華北電力大學(xué),2012.

[7] 肖敬文,余志,聶佩林,等.基于幾何與顏色特征的公交車(chē)輛視頻檢測(cè)算[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版,2005,44(S2):152-155.

[8] 劉鑫,劉輝,強(qiáng)振平,等.混合高斯模型和幀間差分相融合的自適應(yīng)背景模型[J].中國(guó)圖象圖形學(xué)報(bào),2008,13(4):729-734.

[9] 劉紅,周曉美,張震.一種改進(jìn)的三幀差分運(yùn)動(dòng)目標(biāo)檢測(cè)[J].安徽大學(xué)學(xué)報(bào):自然科學(xué)版,2014,38(6):55-59.

[10] 薛帥,王光霞,郭建忠.一種基于視頻幀間冗余的空間數(shù)據(jù)隱藏方法[J].信息工程大學(xué)學(xué)報(bào),2014,15(6):754-757.

[11] 王溢琴,秦振吉,蘆彩林.基于嵌入式的智能家居之視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制,2015,22(11):3623-3626.

[12] 譚笑,柯澤賢.基于混合高斯和幀間差分的機(jī)場(chǎng)跑道入侵檢測(cè)[J].計(jì)算機(jī)仿真,2014,31(11):38-41.