柏萬勝 孫 鵬，2教授 郎宇博 單大國

(1.中國刑事警察學院，遼寧 沈陽 110854；2.公安部痕跡檢驗重點實驗室，遼寧 沈陽 110854)

0 引言

隨著視頻監(jiān)控的廣泛使用，視頻偵查在案件偵破中發(fā)揮的作用越來越明顯[1]，但是，由于不同人的注意力水平和理解能力存在差異，同一圖像證據(jù)，不同的人做出的判斷和獲得的信息有可能存在很大差別[2]。如何通過監(jiān)控及時發(fā)現(xiàn)違法人員的不法行為并阻止其造成更大損失成為智能視頻監(jiān)控領域?qū)＜覀兊难芯繜狳c。

在視頻影像中目標特性會隨著時間推移而變化，由于人注意力的局限性，很容易對目標做出錯誤地區(qū)分和識別[3]。利用計算機對視頻進行分析研究成為視覺研究者關注的焦點，國內(nèi)外學者針對計算機視覺研究的異常行為檢測方法大致可分為2類：基于建模的方法和基于相似度的方法[4]?；诮５姆椒ɡ谜颖居柧氄Ｐ袨榈乃惴Ｐ停缓笥迷撍惴Ｐ蛠頇z測異常行為。例如文獻[5]利用最大似然比算法，對運動目標和光流矢量建立高斯模型，對光流直方圖建立隱馬爾可夫模型?；谙嗨贫鹊姆椒ㄟm用于數(shù)據(jù)點的聚集程度高、離群點較少的情況。但是，通常需要對每一個數(shù)據(jù)分別進行相應計算，計算量大，不適用于數(shù)據(jù)量大、維度高的數(shù)據(jù)。例如文獻[6]通過聚類分析形成的特征對車輛的異常行為事件進行監(jiān)測。

本研究從視覺低層特征出發(fā)對視頻監(jiān)控中存在的攀爬、逆行異常行為提出2種檢測方法。

1 異常行為檢測原理及特征提取方法

異常行為檢測技術基于智能視頻監(jiān)控的需求，利用模式識別、計算機視覺、機器學習等方法對監(jiān)控視頻序列進行學習、理解和分析檢測。檢測過程主要利用計算機對視頻中連續(xù)幀畫面進行分析，從低層視覺特征出發(fā)研究每一類異常動作在視頻監(jiān)控中呈現(xiàn)的相同特征，根據(jù)相同特征判斷視頻中是否存在異常行為。視頻監(jiān)控中異常行為檢測技術的發(fā)展受到諸多阻礙，首先，視頻監(jiān)控的拍攝環(huán)境很多是室外，這意味著視頻中存在光線變化、畫面抖動及天氣變化等外在干擾因素，多數(shù)異常行為檢測算法還停留在手工描述特征的低層語義階段[7]，對于其算法處理視頻會有很大影響；其次，畫面中經(jīng)常出現(xiàn)目標遮擋、視角過小等不利于計算機作出異常行為判斷的問題；再次，視頻監(jiān)控技術、設備快速發(fā)展，視頻監(jiān)控圖像的像素也隨之升高，帶來的更大的數(shù)據(jù)處理量不利于視頻監(jiān)控的實時性處理要求。

1.1 異常行為檢測原理

異常行為的定義很難一概而論，一方面異常行為種類繁多；另一方面定義異常行為需要具體的周圍環(huán)境描述，例如在人行道和機動車道上騎自行車。在基于計算機視覺對異常行為的研究中默認背離社會規(guī)律的行為皆為異常行為。異常行為檢測可以視為高層次的圖像理解操作，首先，對輸入視頻幀的邏輯信息進行提取并建立模型，建立模型后利用正常行為的視頻集進行訓練，使參數(shù)更加擬合，模型對正常行為有更準確的識別判斷；其次，利用存在異常行為的視頻對訓練后的模型進行檢測，模型識別異常行為的準確率越高則模型的異常行為檢測能力越好。

運用異常行為檢測技術處理視頻可以分為4個階段：視頻幀序列化階段，將訓練視頻轉(zhuǎn)化成視頻幀；視頻幀預處理階段，對轉(zhuǎn)化的視頻幀進行數(shù)據(jù)清理；提取特征階段，從視頻幀中提取行為特征；檢測分類階段，利用分類器對送檢視頻檢測分類。流程，如圖1。

圖1 異常檢測技術原理示意圖

1.2 異常行為檢測特征提取方法

異常檢測技術的性能與特征選取和模型建立直接相關，其中特征選取的優(yōu)劣又影響模型的建立與訓練。故選擇、提取描述行為的特征時，應盡量秉持特征不變性、唯一區(qū)別性的原則。

描述行為特征的主要方法有2種：一種是基于對象的方法，主要關注單個對象在視頻中所呈現(xiàn)的運動特征，如運動時在連續(xù)視頻幀中運動目標的大小變化、運動軌跡、運動速度及運動形狀參數(shù)；另一種是基于整體的方法，此方法將所有對象看作一個整體，基于像素級對運動目標的運動方向、軌跡進行描述，以顏色、像素梯度衡量，光流法因其良好的時空特性成為這種方法的典型代表。

2 視頻中攀爬及逆行異常行為檢測

異常行為檢測是智能視頻監(jiān)控的重要分支，實現(xiàn)異常行為檢測有助于減少在監(jiān)測時投入的人力、物力，攀爬檢測和逆行行為檢測都是基于異常行為檢測的設計初衷，分別對視頻中存在運動目標活動于警戒高度區(qū)域內(nèi)和行人逆行行為進行檢測和預警。

針對視頻監(jiān)控中攀爬的檢測是基于運動目標檢測，對運動目標的活動范圍作出高度限制，當運動目標的運動范圍超過視頻監(jiān)控中設定的預警高度時則發(fā)出警報；針對逆行的檢測是通過光流法進行聚類，初步判斷出視頻中是否存在逆行行為，再利用目標追蹤得到目標運動的軌跡及方向，根據(jù)運動軌跡進一步精確判斷逆行行為是否真實發(fā)生。

在視頻分析中提取運動前景的優(yōu)劣直接關系計算機視覺利用低層特征檢測異常行為性能的好壞，目前常用的檢測方法分為3大類：幀間差分法、光流法及背景減除法[8]。

2.1 攀爬自動檢測技術

日常生活中人受到自身重力的影響，攀爬行為通常較為緩慢，故選用高斯混合模型提取運動前景。

通過高斯混合模型將運動目標二值化處理，設定視頻監(jiān)控中的預警高度，為防止噪聲干擾設定閾值，對超出預警高度部分的像素值個數(shù)進行統(tǒng)計，公式如下：

(1)

式中：

pi—為警戒區(qū)域第i個像素的像素值；

pa—為像素值的閾值，前景圖像為二值化圖像，故設定pa為1；

ni—為統(tǒng)計警戒區(qū)域內(nèi)目標像素的個數(shù)；

M—為像素個數(shù)總和的閾值；

s—為超過像素值閾值個數(shù)的總和。

當滿足公式(1)時，則代表運動目標攀爬進入了預警區(qū)域內(nèi)，不滿足則繼續(xù)讀取下一視頻幀。算法流程，如圖2。

圖2 攀高算法整體流程圖

2.1.1 攀爬自動檢測實驗設計

實驗選用手機后置攝像頭拍攝的2個不同場景下的攀爬視頻進行檢測，如圖3。圖3中(a)場景位于室內(nèi)，有穩(wěn)定的光線且人員較少；(b)場景位于室外，光線易變化且人員較多，畫面中存在樹葉晃動等微小重復運動。

圖3 場景環(huán)境示意圖

2.1.2 實驗過程

第一步，讀取開始視頻幀，并初始化參數(shù)和實現(xiàn)建模。實驗中設定警戒高度為一條直線，如圖4。圖4中(a)、(b)分別為2個場景下提取的前景二值化圖像，圖像中存在明顯的噪聲干擾，故需通過設定閾值降低誤判率。

圖4 混合高斯模型處理后的二值化圖像

第二步，讀取下一視頻幀，依據(jù)當前視頻幀與背景模型匹配進而判斷是否需要更新參數(shù)，參數(shù)更新的公式如下：

ωi，t=(1-α)·ωi，t-1+α

(2)

μi，t=(1-ρ)·μi，t-1+ρ·xt

(3)

(4)

式中：

ωi，t—在t幀第i個高斯分量所占的權重；

μi，t—在t幀第i個高斯分布的均值；

xt—t幀某個像素的像素值；

α、ρ—更新系數(shù)。

若不匹配則增加新的分布。

第三步，利用公式(1)計算危險區(qū)域內(nèi)運動像素個數(shù)的總和是否超過閾值來判斷是否存在攀爬行為，若存在則發(fā)出預警警報，不存在則讀取下一視頻幀。圖5顯示的是2個場景都不存在攀爬行為，而圖6是2個場景監(jiān)控中警戒高度區(qū)域內(nèi)運動像素個數(shù)總和超過規(guī)定值后發(fā)出了攀爬警報。

圖5 無攀爬警告效果圖

圖6 有攀爬警告效果圖

第四步，判斷檢測視頻是否結(jié)束，若未結(jié)束則返回第二步繼續(xù)檢測有無攀爬行為。

2.1.3 實驗結(jié)果分析

分別對室內(nèi)單人和室外多人2個不同場景下的攀爬行為進行多次檢測，結(jié)果顯示，2個場景的誤判次數(shù)均為0(見表1)，證明該算法適用于室外復雜環(huán)境的較高密度人群?；趫D像的視覺低層特征，利用手工設計攀爬的異常行為特征，能夠及時有效地發(fā)現(xiàn)視頻監(jiān)控中出現(xiàn)的攀爬行為，進而可以阻止危險攀爬行為并減少可能造成的損失。

表1 攀爬檢測實驗結(jié)果

2.2 逆行自動檢測技術

針對逆行行為的異常行為檢測最為簡單高效的檢測方式是利用光流法根據(jù)運動矢量快速檢測，然而單純依靠光流法檢測容易受到噪聲的影響導致誤判率較高；光流—聚類法是改進算法，用于檢測逆行行為有效降低了環(huán)境噪聲對檢測效果的影響，但視頻監(jiān)控中出現(xiàn)人揮手、徘徊行為時仍易出現(xiàn)誤檢。針對這種情況，文中提出了一種先初步檢測再精確確定的逆行檢測方法，初步檢測是通過光流—聚類法檢測監(jiān)控視頻序列中是否存在逆行，其流程，如圖7。

圖7 光流—聚類法初步檢測逆行流程圖

2.2.1 逆行自動檢測實驗設計

實驗選用手機后置攝像頭拍攝的一段室外道路逆行視頻進行檢測，檢測過程中選定感興趣區(qū)域即逆行檢測區(qū)域以降低計算復雜度，如圖8。圖8中出現(xiàn)的白色矩形框即為選中的感興趣區(qū)域。

圖8 逆行檢測場景示意圖

2.2.2 實驗過程

第一步，首先利用L-K光流法提取目標的角點作為特征點(如圖9)，繼而得到光流場運動矢量(如圖10)，利用特征點在范圍內(nèi)一定數(shù)量的特征點與正常運動方向不一致，則可以初步判定存在逆行行為。

圖9 光流法提取的特征點圖

圖10 光流場運動矢量圖

第二步，在光流—聚類法初步檢測逆行異常行為的基礎上，利用模型對運動目標進行檢測、追蹤，目標檢測階段選擇Faster RCNN[9]模型，在目標跟蹤階段主要借鑒SiamFC[10]模型，其效果，如圖11。

圖11 SiamFC模型追蹤逆行行人效果圖

第三步，通過光流—聚類法可以得到一個或多個在規(guī)定范圍中異常特征點超出閾值W的外接矩形框(設定為Hi)，將第一個外接矩形框(即H0)與Faster RCNN模型檢測出的行人外接矩形框(設定為Qk)依次進行IOU計算，選擇IOU值最高的行人外接矩形框并記錄其IOU值E0，再將H1與剩余的Qk-1依次進行IOU計算，選擇IOU值最高的行人外接矩形框并記錄其IOU值E1，依次類推，選擇出所有可能存在逆行行為的行人外接矩形框，根據(jù)E0、E1、E2……等數(shù)值，選擇最大數(shù)值對應的行人外接矩形框進行目標跟蹤并記錄其運動軌跡。根據(jù)運動軌跡方向與設定正方向的偏差值判斷是否存在逆行行為，存在行人逆行時的實驗效果，如圖12。

圖12 存在逆行行為時檢測效果

2.2.3 實驗結(jié)果分析

文中所提算法在視覺低層特征的基礎上，向高層視覺特征求證了檢測準確率，檢測效果，見表2。

表2 算法準確性實驗結(jié)果

實驗結(jié)果表明，文中提出的算法比改進后的光流—聚類法對逆行行為檢測的準確率更高，并通過連續(xù)幀之間的相關性，能夠排除對初步檢測中存在的揮手、徘徊等微小往復行為的誤判。

文中算法雖在初步判斷是否有逆行時增加了計算復雜度，但計算時間并未有大幅增加，不同算法實時性實驗結(jié)果，見表3。分析其原因主要有以下3點：在目標檢測時劃定感興趣區(qū)域，減少了處理范圍；文中選用了SiamFC模型進行單目標跟蹤，其速度快、精度準已得到廣泛認可；存在多個逆行目標，僅選擇IOU值匹配最大的行人矩形框進行跟蹤，意味著有一位行人逆行則判斷存在逆行行為符合算法設計的目的，同時減少了計算量為目標跟蹤減輕了負擔，提升了跟蹤效率。

表3 算法實時性實驗結(jié)果

3 結(jié)論

文中提出的2種算法分別對攀爬、逆行行為進行檢測，實驗結(jié)果表明，攀爬檢測中利用手工設計的特征完成對攀爬行為的檢測，檢測準確率得到保證的同時，實時性也得到了保證；逆行檢測在利用光流—聚類法初步檢測的基礎上，再利用目標跟蹤對逆行行為實現(xiàn)精確檢測，實驗結(jié)果表明，檢測率得到提升，實時性也可滿足。目前，大多數(shù)的視頻異常事件檢測研究還處于理論探討階段，成果還沒有實現(xiàn)實際應用。

視頻監(jiān)控中存在的一些傳統(tǒng)干擾檢測的問題，專家們都已在積極解決，但隨著更高層次的視頻特征被學習理解，視頻監(jiān)控中異常行為檢測的挑戰(zhàn)主要有：需要更加豐富的特征層次理解異常行為，建立由低層特征向高層特征理解的通道。例如對于逆行的監(jiān)測，文中設置了正向，模型學習中也默認了何為正向，但何為正向更應該隨著情況、時間的轉(zhuǎn)變而轉(zhuǎn)變，這就需要算法自主更新判斷正常事件；面對環(huán)境噪聲、極端天氣及遮擋視角等情況的干擾，需要增強模型的魯棒性。另外，對于視頻監(jiān)控所需的實時檢測預警對云計算平臺也提出更高的發(fā)展要求。

此項技術應用前景廣泛，不僅可以應用于司法刑偵，亦可在大型活動、人員密集度高的公共場所中應用，提前預警，以應對突發(fā)事件。