魏 然，李 毅，李平凡，龔 標，黃 鋼

（公安部交通管理科學研究所 道路交通安全重點實驗室，江蘇 無錫214151）

隨著數字媒體技術的快速發(fā)展，監(jiān)控視頻已經在金融、教育、安防、道路交通等領域中得到了廣泛應用。數字媒體取證（digital media forensics）正成為信息安全領域的新興研究熱點[1]。然而，由于監(jiān)控設備硬件條件、視頻傳輸/存儲/處理環(huán)境、人為篡改等諸多因素影響，監(jiān)控視頻缺幀、跳幀、重復幀、時間有誤等視頻時域不連續(xù)的現象廣泛存在，使得基于監(jiān)控視頻無法準確計算視頻幀率、確定事件準確時間、精確計算監(jiān)控目標的運動速度，嚴重影響了數字媒體取證的可信度。盡管通過人工對視頻進行逐幀分析可實現非連續(xù)時域視頻的辨識，但此類方法依賴經驗、效率較低，無法滿足當前工作需求。因此，開展非連續(xù)時域視頻自動辨識方法的研究變得日益迫切和重要。

目前非連續(xù)時域視頻辨識方法可分為基于視頻屬性和視頻內容兩類[2]，基于視頻屬性的辨識方法主要依據嵌入視頻的數字水印、簽名等特定信號與視頻碼流、碼率等視頻編碼信息進行對比[3]；基于視頻內容的方法無需嵌入特定信息，主要依據視頻中運動目標的運動規(guī)律分析判斷視頻時域連續(xù)性，因此實用性更強?；谝曨l內容的運動檢測算法的大量成果可應用于非連續(xù)時域視頻的檢測，目前主流的運動檢測算法有粒子濾波（PF）、目標匹配法、卡爾曼濾波（kalman）、及均值偏移（mean shift）[4-5]、光流周期[6-7]、背景差分[8]等，但基于視頻內容的運動檢測算法對環(huán)境，場景中的遮擋、光線等背景變化和噪聲等影響很敏感[9]，提高運動檢測算法的精度與適用范圍是該領域的研究熱點[10-12]。如何利用運動檢測算法評價運動目標的運動連續(xù)性，并選擇合適的評價指標辨識非連續(xù)時域視頻仍是運動檢測應用于數字媒體取證的難點。

本文針對非連續(xù)時域視頻，引入基于視頻內容的運動檢測算法，提出非連續(xù)時域視頻的評價指標，研究非連續(xù)時域視頻的辨識方法流程，并開展不同算法對檢測結果的差異

1 基于視頻內容的運動檢測算法

1.1 基于光流的運動檢測

“光流”（optical flow algorithm）指空間運動物體在觀測成像面上的像素運動的速度[13]，基于光流的運動檢測算法的基本原理[14]是對圖像中的像素點賦予速度矢量，當目標運動時，其速度矢量必然強于背景的速度矢量，當差異超過閾值時即可檢測出運動目標的結構與位置[15]。光流法需假設視頻圖像中的亮度恒定，此時像素點（x，y）在t時刻的灰度值I（x，y，t）滿足基本光流約束方程：

其泰勒級數展開形式為：

根據公式（2）可得到光流的基本方程：

式中，u、v即是該像素點沿x、y方向的光流，通過公式（3）可計算視頻圖像中的像素點光流矢量IOF（i），實現對目標的運動檢測。光流法要求視頻中亮度恒定[7]，但在實際應用中，通常監(jiān)控視頻的亮度會因為來往車輛發(fā)生變化，特別是夜晚或場景較大的路口監(jiān)控視頻中，環(huán)境光照的變化都不可避免，將影響光流法運動檢測的準確性。

1.2 基于背景差分的運動檢測

背景差分法（background difference algorithm）適用于背景固定條件下監(jiān)控視頻中的運動檢測，由于其算法簡單、無需事先獲取運動目標結構信息，在運動目標檢測領域有廣泛應用[16]。如圖1所示，背景差分法的原理是通過對待檢幀與背景幀之間的灰度值進行差分，從而判斷運動目標所在的區(qū)域[17]。

圖1 背景差分法原理示意圖

設待檢幀的灰度值為I（i），以視頻的N+1幀圖像灰度值的均值為背景模板[18]：

待檢幀與背景幀進行差分時的閾值化處理，需滿足：

式中，T為檢測閾值，其取值由背景幀的灰度直方圖確定[19]。背景差分法能較好地避免環(huán)境光照對運動目標的干擾，但該算法對距離較遠的目標或運動速度較低的目標不敏感，在檢測宏觀或較大場景區(qū)域內的運動物體時誤檢率高。

2 非連續(xù)時域視頻辨識方法研究

利用光流法、背景差分等運動檢測算法可獲得監(jiān)控視頻中目標的運動軌跡和觀測成像面上的運動速率，根據檢測目標運動軌跡或速率的連續(xù)與否，可判斷監(jiān)控視頻的時域連續(xù)性。本章將探討基于運動檢測算法的非連續(xù)時域視頻評價指標與檢測方法。

2.1 基于運動檢測的非連續(xù)時域視頻評價指標

為了研究基于運動檢測的非連續(xù)時域視頻評價指標，選取2個路口監(jiān)控視頻進行分析。以監(jiān)控畫面中由右向左移動的小型轎車為運動檢測對象，其中案例1為非連續(xù)時域視頻，案例2為連續(xù)時域視頻，選擇的監(jiān)控視頻均為夜晚環(huán)境，可檢驗各檢測算法對視頻中環(huán)境光照變化的適應性。

對監(jiān)控視頻解幀后，以視頻畫面中小型轎車前大燈后角點為“特征點”，人工逐幀記錄特征點在畫面中的位置。如圖2A所示，案例1中小型轎車特征點的運動軌跡不連續(xù)，例如第3、4幀之間，第6、7幀之間，第12、13幀之間的運動軌跡間隔存在不均勻的現象；如圖2B所示，案列2中的小型轎車特征點的運動軌跡間隔均勻。通過對案例1與案例2中小型轎車特征點運動軌跡的對比，可判斷案例1中視頻存在缺幀、跳幀現象。為量化非連續(xù)時域視頻評價指標，現對案例1與案例2中小型轎車特征點的運動軌跡進一步分析。

圖2 連續(xù)時域視頻與非連續(xù)時域視頻對比

如圖3A所示，逐幀記錄兩段監(jiān)控視頻中小型轎車特征點運動軌跡的像素距離（相鄰幀中兩特征點間的像素數量），案例1、案例2中幀間特征點像素距離均有階躍現象，且像素距離將受運動檢測目標在視頻中的位置與運動方向的影響，當運動檢測目標遠離視頻畫面時，其特征點軌跡的像素距離將逐漸變小；同時，當運動目標的速度發(fā)生變化后，其特征點軌跡的像素距離也會隨之改變。因此受到以上因素的干擾，通過像素距離無法判斷視頻時域連續(xù)性。

為了排除檢測目標在視頻中的位置與運動方向的影響，使用像素距離變化率R（i）作為辨識非連續(xù)時域視頻的評價指標，像素距離變化率R（i）表示為：

如圖3B所示，案例1監(jiān)控視頻的幀序列出現缺幀、跳幀現象時，像素距離的變化不均勻，此時小型轎車的特征點像素距離變化率大于1；案例2中的小型轎車的特征點像素距離變化率幅值較小，且R（i）均小于 0.1。

由于在連續(xù)時域視頻中，如檢測目標的像素距離變化率大于1，其運動速度將呈指數級變化，此類物體在實際場景中很少出現。因此選擇特征點像素距離變化率閾值為1，當視頻中的運動目標特征點素距離變化率幅值大于1時，可判斷該視頻為非連續(xù)時域視頻。

圖3 非連續(xù)時域視頻評價指標對比

綜上，以監(jiān)控視頻特征點像素距離變化率作為評價指標（R（i）=1為閾值），能避免運動檢測目標在視頻中的位置、運動速度與運動方向對檢測的影響，從而準確判斷視頻的時域是否連續(xù)。

2.2 融合背景差分與光流法的非連續(xù)時域視頻檢測方法

通過人工逐幀記錄特征點的位置，并利用像素距離變化率評價視頻時域連續(xù)性具有較高的識別精度，但辨識效率不高。為了高效準確地對非連續(xù)時域視頻進行檢測，本節(jié)將探討融合背景差分與光流法的非連續(xù)時域視頻檢測方法（background difference and optical flow method， BDOF），如圖 4所示，主要步驟如下：

圖4 BDOF檢測方法流程圖

2.2.1 截取視頻的運動目標檢測區(qū)域

根據待檢視頻特點，截取視頻畫面中運動目標的檢測區(qū)域，避免有多個運動物體穿過檢測區(qū)域干擾檢測區(qū)域內的光流場，同時也可以減少光流場的計算區(qū)域，提高BDOF方法的檢測效率。

2.2.2 背景差分法

對截取的視頻進行逐幀分解，獲取背景幀與幀序列；根據視頻光照環(huán)境選擇合適的閾值TT，利用公式（2）、（3）分法別對第 i幀、第 i+1 幀和第 i+2 幀與背景幀進行差分。

2.2.3 光流法

利用公式（1）、（2）、（3），對差分后的第 i幀 BD（i）、第 i+1 幀 BD（i+1）和第 i+2 幀 BD（i+2）進行計算，獲取第 i幀光流 IOF（i）和第 i+1 幀光流 IOF（i+1）。

2.2.4 判斷視頻時域連續(xù)性

為了排除檢測目標在視頻中的位置、運動方向和運動速度的影響，選擇光流變化率ROF作為視頻時域連續(xù)性的評價指標，利用公式（6）計算視頻中相鄰幀的光流變化率，如幀序列中存在相鄰幀光流變化率大于1的現象，則可判斷該視頻時域不連續(xù)。

3 BDOF檢測方法結果驗證分析

為了檢驗BDOF方法的有效性，本章將針對實際案例，研究BDOF方法與光流法在辨識非連續(xù)時域視頻的差異性，并利用公開視頻數據庫對檢驗BDOF方法進行試驗，驗證BDOF方法的監(jiān)測準確性進。

3.1 不同算法檢測結果對比分析

分別利用BDOF方法和光流法對案例1、案例2視頻的時域連續(xù)性進行辨識，如圖5A所示，對視頻解幀后，由于場景內光照的影響，使用光流法得到的光流場無法與目標車輛的運動場有效區(qū)分；如圖5B所示，使用BDOF方法對案例1視頻進行解幀和背景差分后，有效篩除了視頻圖像中的背景環(huán)境，僅顯示目標車輛在運動中的特征點，在此基礎上得到的光流場能較好反應車輛的運動屬性。

圖5 案例1視頻幀間光流場不同算法對比

由于視頻中光照變化的影響，直接使用光流法無法區(qū)分目標車輛的運動場與光流法，光流法無法對視頻的時域連續(xù)性進行有效辨識，如圖6A所示，案例1、案例2視頻的光流變化率均大于1，由于光流場受到嚴重影響，直接使用光流法，檢測結果無法準確區(qū)分案例1和案例2的時域連續(xù)性。如圖6B所示，使用BDOF方法能有效辨識視頻時域的連續(xù)性，案例2視頻的光流變化率均小于1。

圖6 光流法與BDOF方法檢測結果對比

綜上，BDOF方法結合了背景差分法與光流法的優(yōu)勢，能有效避免視頻場景中光照對運動目標檢測的影響，并能高效地對視頻時域的連續(xù)性進行自動檢測。

3.2 BDOF檢測方法驗證研究

為了驗證BDOF方法對視頻時域連續(xù)性的檢測精度，如表1所示，選擇 LIMU、CDNET、AVSS和CVRR等公開視頻數據庫中的6個典型交通路口監(jiān)控視頻對BDOF方法進行檢驗試驗，選擇公交車站、交叉路口、高速公路等常見交通環(huán)境，考慮清晨、夜晚等光照較差的環(huán)境，同時視頻中的各類車輛運動方向、速度不同。

根據BDOF方法流程，截取視頻畫面中運動目標的檢測區(qū)域（見圖7中黃色方框），計算檢測區(qū)域內的光流變化率。經檢驗，序號1視頻和序號6視頻時域不連續(xù)。

圖7 典型路口監(jiān)控視頻及其運動檢測區(qū)域

表1 不同視頻時域連續(xù)性檢測結果統(tǒng)計

圖8 利用BDOF方法下不同視頻的光流變化率

如圖8A所示，序號1視頻的光流變化率曲線中有階躍現象，且其峰值大于100，遠超過閾值1，經人工復檢確認，該視頻的1061幀與1062幀重復，因此這兩幀之間的光流為0，與其他相鄰幀的光流存在較大的區(qū)別，符合BDOF方法的檢測結果；如圖8F所示，序號6視頻的幀序列中光流變化率多處超過閾值1，經人工復檢確認，該視頻有丟幀現象。其余視頻的光流變化率曲線峰值均小于1，經人工檢測，其余視頻的時域均連續(xù)，與BDOF方法的檢測結果相同。

通過公開視頻數據庫的驗證試驗，BDOF方法有較為穩(wěn)定的檢測精度，通過輸出視頻幀序列的光流變化率曲線，能準確辨識視頻時域連續(xù)性。但該方法因基于光流法，目前存在一定的局限性，如在限定的幀序列中有運動目標穿過檢測區(qū)域，會造成檢測區(qū)域內的光流場不穩(wěn)定，影響檢測精度；其次BDOF方法適用于交通、道路、機場、港口等較大場景監(jiān)控視頻的檢測，當檢測區(qū)域內運動目標的運動軌跡過于復雜時，光流場也會變得不穩(wěn)定，影響該方法的檢測精度。在接下來的工作中應繼續(xù)優(yōu)化提升BDOF方法的檢測精度和檢測效率。

4 結論

本文研究了基于視頻內容的運動檢測算法在辨識非連續(xù)時域視頻中的應用，提出了非連續(xù)時域視頻的評價指標，探討了不同算法的檢測精度與效率，主要結論如下：

（1）以特征點像素距離變化率、光流變化率為視頻時域連續(xù)性的評價指標能避免運動檢測目標在視頻中的位置與運動方向對檢測的影響，從而準確判斷視頻時域的連續(xù)性；

（2）本文提出的融合背景差分與光流法的非連續(xù)時域視頻檢測方法（BDOF）結合了背景差分法與光流法的優(yōu)點，能有效避免視頻場景光照變化的影響，實現對視頻時域連續(xù)性的高效辨識。

（3）本文提出非連續(xù)時域視頻的評價指標與辨識方法可在視頻時域分析、視頻篡改檢測、數字媒體取證等技術領域推廣應用。