劉宏飛,楊耀權(quán),楊雨航

(華北電力大學(保定)控制與計算機學院,河北 保定 071003)

0 引 言

隨著科技的不斷進步，城市管理也向智能化快速過渡，老舊的監(jiān)控攝像頭也逐漸被智能化攝像頭所替代。相較于傳統(tǒng)的攝像頭，智能視頻監(jiān)控可以大量節(jié)省人力，提高檢測效率。而目前智能視頻監(jiān)控主要有2大關(guān)鍵技術(shù)，一是對運動目標的識別跟蹤；二是對目標行為的定義[1-2]。因此提高在戶外條件下運動目標的檢測跟蹤效率成為目前智能化攝像頭研究的熱點[3]。

常見的目標跟蹤算法有均值漂移算法、基于卡爾曼濾波的目標跟蹤、基于粒子濾波的目標跟蹤及基于對運動目標建模等方法。運動目標跟蹤算法目前的主要發(fā)展方向為提高跟蹤算法的精確度、提高處理速度以及降低跟蹤誤差。文獻[4]通過卡爾曼濾波構(gòu)造初始模型，然后對運動目標可能出現(xiàn)的位置進行預測確定搜索區(qū)域，使用光流金字塔方法在該區(qū)域內(nèi)進行目標檢測，找到與初始模型最匹配的目標位置進行跟蹤。文獻[5]通過LK光流法直接處理視頻，然后經(jīng)光流聚類和改進的中值濾波處理，實現(xiàn)運動目標獲取。最后根據(jù)所獲取的目標位置等信息，使用卡爾曼濾波對運動目標進行預測，從而實現(xiàn)運動目標的跟蹤。文獻[6]針對當前卡爾曼濾波算法在運動目標跟蹤中的缺陷，設(shè)計了改進卡爾曼濾波和均值漂移的運動目標跟蹤算法，引入均值漂移算法對運動目標進行粗跟蹤，將運動目標的位置和速度作為卡爾曼濾波算法的初始狀態(tài)，減小了目標跟蹤誤差。文獻[7]在DAT(Distractor-Aware Tracking)算法框架上引入遮擋檢測機制，提出了DDAT(Detection-DAT)算法。通過相似度的變化趨勢及幀間差值閾值，判斷是否出現(xiàn)目標遮擋；然后利用樸素貝葉斯分類器和最鄰近分類器，得到后續(xù)幀中的目標框，最后通過相似度檢測是否正確跟蹤。

傳統(tǒng)的運動目標檢測算法存在的問題有[8-11]：

1)跟蹤目標被遮擋，導致跟蹤目標丟失。

2)跟蹤目標重疊，導致跟蹤失敗。

3)目標快速移動或快速變換方向，導致跟蹤效果差。

針對上述問題，本文提出一種基于改進光流特征的運動目標跟蹤算法。該方法首先采取Vibe算法提取出場景中的運動目標，同時結(jié)合HSV顏色空間來對視頻中的陰影進行消除。再將Shi-Tomasi角點檢測與LK光流法進行結(jié)合，對檢測到的角點進行運動光流特征提取，將角點檢測結(jié)果信息作為LK光流法的約束條件，減少大量無效的信息量。然后采用金字塔LK光流算法來提高系統(tǒng)的檢測效率，得到運動目標的光流信息。角點的加入提取有效的運動目標信息，降低LK光流算法的計算量。最后對運動目標采取卡爾曼濾波器(KF)對目標運動位置進行預測，再通過匈牙利算法對預測位置進行匹配，從而實現(xiàn)目標跟蹤。本文提出的目標跟蹤流程如圖1所示。

圖1 目標跟蹤流程

1 運動目標檢測

1.1 改進Vibe背景建模法

運動背景模型是指在固定攝像頭下對當前背景進行建模，這樣就可以對視頻中出現(xiàn)的運動物體進行提取[12-14]。本文選取Vibe背景建模法，并通過對目前的Vibe算法進行改進，實現(xiàn)運動背景的快速建模。Vibe背景建模法由于是根據(jù)視頻的第一幀來進行背景建模，因此當視頻第一幀出現(xiàn)行人的時候容易出現(xiàn)鬼影現(xiàn)象[15-17]。而通過將Vibe背景建模法和平均背景法相融合，可以很好地消除運動開始時出現(xiàn)的鬼影現(xiàn)象。同時采用傳統(tǒng)Vibe算法也會檢測到行人運動的陰影，因此需要對陰影進行消除，由于陰影的亮度和紋理空間和運動行人都不相同，因此采用結(jié)合HSV顏色空間來對視頻中的陰影進行消除：

(1)

其中，Ik表示當前區(qū)域，Bk表示背景區(qū)域，H(i,j)、S(i,j)、V(i,j)分別表示目標點的HSV值，α、β為V通道比值的閾值，T1、T2分別為S、H通道差值的閾值。

將前20幀的平均背景作為初始幀，同時將當前圖像的V通道圖像中屬于前景目標區(qū)域像素點與背景區(qū)域目標像素點相比并與閾值進行比較，將當前圖像的S和H通道圖像中屬于前景目標區(qū)域像素點與背景區(qū)域目標像素點進行差值并與閾值進行比較。若3個條件均比閾值小則改點為陰影。目標提取如圖2所示。

(a)原始圖像

1.2 改進LK光流法

LK光流法是能夠表示圖像像素點瞬時速度的方法。通過光流可以很好地表示出運動目標的運動信息。提取運動物體附近光流變化的方向，可以對運動目標的運動狀態(tài)進行一個估計，但是對整幅圖像計算光流特征，計算量偏大，當有微小物體運動時會對圖像光流特征提取造成干擾，降低人體行為檢測的實時性。因此可以將空域信息作為光流特征的約束條件，采用角點檢測與光流法結(jié)合的方法，降低光流法計算量，可以極大地提高檢測效率。

針對傳統(tǒng)的Harris角點檢測速度慢，且由于人體為柔性目標，而Harris角點對于旋轉(zhuǎn)平移等檢測效果較差等問題[18-19]，引入Shi-Tomasi角點檢測，將Shi-Tomasi角點檢測融入到金字塔LK光流法中。

將提取出的目標通過角點檢測得到圖像的空域信息，將角點檢測結(jié)果作為LK光流法的輸入信息，降低無效信息對光流法計算的影響，可以提高系統(tǒng)的檢測速度。

1.2.1 Shi-Tomasi角點檢測

Shi-Tomasi角點是在Harris檢測的基礎(chǔ)上改進而來的。通過計算窗口在各個方向的變化情況來判定該點是否為角點。設(shè)窗口中心點為I(x,y),平移量為(u,v)，則窗口產(chǎn)生的變化為：

F(u,v)=∑x,yw(x,y)[I(x+u,y+v)-I(x,y)]2

(2)

其中，w(x,y)為窗口函數(shù)，可根據(jù)不同需求賦予不同的權(quán)值，I(x,y)為圖像灰度，I(x+u,y+v)為平移后的圖像灰度。本文所有像素對應(yīng)權(quán)重系數(shù)均為1。將I(x+u,y+v)進行泰勒展開可以得到：

I(x+u,y+v)=I(x,y)+Ixu+Iyv+O(u2,v2)

(3)

將I(x+u,y+v)代入式(2)可得到新的F(u，v)表達式，即：

(4)

通過引入響應(yīng)函數(shù)R=min(λ1,λ2)來判定該點是否為圖像的角點。其中(λ1,λ2)為矩陣中的2個特征值，通過根據(jù)場景選定合適的閾值，當R大于設(shè)定的閾值時，則判定該像素點為角點。

1.2.2 金字塔LK光流法

運用光流法對光流特征進行提取需要盡量保證相鄰幀之間亮度恒定，且相鄰視頻幀在時間上是連續(xù)的且運動幅度較小,同時必須保證在空間上具有一致性[20-23]。要在連續(xù)的幀中不斷地尋找特征點的新位置，也就是不斷地尋找特征點的位移(u,v)：

It(x,y)=It+1(x+u,y+v)

(5)

其中，It和It+1分別為2個相鄰的2個幀。用泰勒公式將公式(5)展開得到近似公式：

(6)

根據(jù)公式(6)去掉2個表示強度值的項，即得到公式(7)：

(7)

(8)

通過公式(8)便可以得出求解公式：

(9)

但是傳統(tǒng)的LK算法3個限制條件在現(xiàn)實情況下很難滿足，因此運用金字塔LK光流法來完成，將原圖像逐層分解，首先將最低分辨率圖像放在金字塔的頂層，原始圖像放在最底層。金字塔圖像如圖3所示。

圖3 LK光流金字塔

首先計算最頂層的光流量，將結(jié)果反饋到下一層，作為下一層光流量的估計量，這樣沿著金字塔自上而下的修正運動量，直到達到金字塔的最底層為止。引入圖像金字塔算法后可以極大地增加圖像計算光流的效率，同時可以跟蹤到快速運動的目標[24-26]。

1.3 運動目標跟蹤

當監(jiān)控中出現(xiàn)運動物體時需要對運動目標進行連續(xù)跟蹤，直至運動目標脫離監(jiān)控范圍。由于在監(jiān)控中容易出現(xiàn)物體遮擋現(xiàn)象，因此需要跟蹤器能夠在發(fā)生遮擋時仍然能夠?qū)\動目標位置進行預測。

因此本文選取卡爾曼濾波器作為運動目標的跟蹤器，將光流法的檢測結(jié)果信息作為卡爾曼濾波器的輸入信息[27]。預測跟蹤目標即將到達的位置。然后采用匈牙利算法對下一幀預測區(qū)域進行匹配，如果匹配成功則更新卡爾曼跟蹤器[28]。

1.3.1 預測階段

卡爾曼濾波器的獲取方法是計算狀態(tài)預估的線性最小均方誤差的分類方法。根據(jù)前一時刻的位置來對下一時刻目標可能出現(xiàn)的位置進行預測，然后根據(jù)當前幀的真實值來對預估結(jié)果進行修正。卡爾曼濾波有效解決了目標由于相互遮擋導致目標跟蹤丟失的情況?？柭鼮V波器有預測和匹配2個部分。其預測公式如下：

(10)

(11)

(12)

(13)

(14)

卡爾曼濾波運用在目標跟蹤中有2個重要假設(shè)：

1)系統(tǒng)模型是線性的。

2)預測模型和包含的噪聲屬于高斯白噪聲。

第1個假設(shè)是，實際視頻數(shù)據(jù)中，前后幀的時間間隔非常短，因此可以假設(shè)前后幀中運動目標做勻速運動，所以可將這個模型近似于線性模型。第2個假設(shè)是，模型中的噪聲與時間信息無關(guān)，只與噪聲的振幅大小及其協(xié)方差大小有關(guān)系。因此可以將光流法檢測結(jié)果作為卡爾曼濾波的初始值，選取目標初始位置的外接矩形框，將初始目標位置邊界框的中心作為目標初始位置，計算出圖像中目標的輪廓并顯示輪廓的矩形框，依據(jù)改進光流法檢測得到矩形的邊界框的位置、移動方向與移動速度等空域信息。然后利用初始幀中的信息預測下一幀，再通過跟蹤框固定的寬度值和高度值就可以呈現(xiàn)出所跟蹤目標的預測跟蹤位置。

1.3.2 匹配階段

通過卡爾曼濾波器可以對目標位置進行預測，但是是否預測成功則需要用匈牙利算法進行匹配，通過匈牙利算法在下一幀到來時在預測位置進行匹配，如果匹配成功，則更新目標的位置。將目標跟蹤框的下邊界中點作為目標軌跡點，連起來即為目標軌跡線。

采用歐氏距離來判定匹配程度，對于多個目標點可以得到一個矩陣ci,j，用來表達跟蹤點匹配程度。匈牙利最大匹配算法就是將檢測出運動目標和不同的軌跡進行匹配。每幀進行分配時所有關(guān)聯(lián)代價的和就是該幀進行關(guān)聯(lián)的總代價值[29]，在所有的方案中，使檢測到的運動目標和運行軌跡之間的總代價的和最小，效果如圖4所示。從圖4中可以看出當運動目標發(fā)生遮擋后，跟蹤器仍然有良好的跟蹤效果。

圖4 運動目標跟蹤

2 實驗結(jié)果與分析

仿真視頻選取CASIR數(shù)據(jù)庫中人體交互行為視頻集。仿真實驗是在Windows7操作系統(tǒng)和VS2015開發(fā)環(huán)境下進行的。其中計算機性能參數(shù)為2.60 GHz的4核CPU，8 GB內(nèi)存。仿真實驗內(nèi)容是檢測出視頻中所出現(xiàn)的運動行人，并對行人進行持續(xù)跟蹤，并且當行人相遇時仍然能夠持續(xù)跟蹤。

視頻源共有視頻幀數(shù)為4089幀視頻，包含正常行走、行人相遇與行人交互等行為，將本文模型與文獻[4]模型、文獻[5]模型采用相同視頻分別進行實驗，針對單人行走、單人奔跑、2人相遇和2人超越4種情形進行對比，然后分別從處理速度、檢測率等方面進行比較分析。實驗結(jié)果對比圖如圖5～圖7所示。

(a)單人行走

(a)單人行走

(a)單人行走

從圖5(c)、圖5(d)中可以看出，當跟蹤目標重疊后，發(fā)生了跟蹤目標丟失的情況，這是由于文獻[4]模型直接通過卡爾曼濾波構(gòu)造初始模型，然后預測確定搜索區(qū)域再進行光流法檢測。當目標重疊時，預測搜索區(qū)域發(fā)生重疊，且重疊過程中產(chǎn)生的光流，影響到了不同運動目標的檢測，導致跟蹤失敗。

從圖6(b)、圖6(d)中可以看出，當跟蹤目標奔跑時，文獻[5]模型發(fā)生了跟蹤偏移，產(chǎn)生了跟蹤誤差。這是由于文獻[5]模型直接對原視頻進行了光流法處理，檢測跟蹤受到較多的無效光流影響，目標奔跑時，運動目標移動加快，無效光流的影響也同時增加，降低了跟蹤效率。且由于算法計算量較大，導致算法的實時性變差，從而產(chǎn)生了跟蹤誤差，跟蹤效果變差。

本文模型是一種將背景建模與光流法相結(jié)合的方法。從圖7中可以看出，本文模型很好地跟蹤到目標，且跟蹤效果好，實時性強。這是因為，本文模型先進行背景建模，并結(jié)合HSV顏色空間很好地消除了運動開始時出現(xiàn)的鬼影現(xiàn)象，降低了角點檢測的范圍，也避免了錯誤光流的產(chǎn)生。然后將Shi-Tomasi角點檢測融入到金字塔LK光流法，大大減少了光流特征提取的計算量，降低了視頻的幀率，提高了模型檢測時的實時性。最后通過卡爾曼濾波和匈牙利匹配算法的融合，實現(xiàn)運動目標的連續(xù)跟蹤，提高了目標重疊與被遮擋時的跟蹤檢測率，取得了較好的跟蹤效果。

本文針對目標跟蹤結(jié)果人為對跟蹤結(jié)果進行判斷，將行人檢測外接矩形框進行適度擴大，設(shè)定為跟蹤檢測框，當發(fā)生行人肢體超出跟蹤檢測框時，判定跟蹤失敗，如圖6(b)所示。當能夠完成全程行人跟蹤時，判定為跟蹤成功。

檢測率對比分析表如表1所示。

表1 檢測率對比分析表

通過實驗對比可知：本文提出的模型，針對行人檢測的多種情況，跟蹤效果都優(yōu)于文獻[4]模型和文獻[5]模型，并且在處理速度上優(yōu)于文獻[4]模型和文獻[5]模型，達到了63 ms/幀，提高了跟蹤的實時性。

3 結(jié)束語

本文通過對視頻源背景進行建模，實現(xiàn)對運動目標的提取，同時結(jié)合HSV顏色空間來對視頻中的陰影進行消除；通過角點檢測減少無用的空域信息，決定進行光流特征計算的區(qū)域。提取運動區(qū)域附近的光流方向特征，通過卡爾曼濾波和匈牙利匹配算法的融合，實現(xiàn)運動目標的連續(xù)跟蹤。在采集的視頻中進行仿真驗證，能夠?qū)π^(qū)環(huán)境中行人進行持續(xù)監(jiān)測跟蹤，并提高了跟蹤的實時性與跟蹤效率。在未來的工作中，要提高模型在惡劣天氣以及低光照條件下的檢測效果，進一步提高模型的實用性，同時還需要增加對其他運動目標如車輛、動物等的跟蹤實現(xiàn)。