李杰超, 張瀟宵, 王 凱
(1. 北京首都國際機(jī)場股份有限公司運(yùn)行控制中心, 北京 101399; 2. 北京首都國際機(jī)場股份有限公司信息科技部, 北京 101399; 3. 中國民用航空總局第二研究所科研中心, 成都 610041)
隨著國民經(jīng)濟(jì)的不斷增長,計(jì)算機(jī)視覺、電子信息、大數(shù)據(jù)等新型技術(shù)的不斷發(fā)展,作為智能化視頻監(jiān)視技術(shù)基礎(chǔ)之一的物體檢測、跟蹤與識別技術(shù)成果顯著,目前運(yùn)動目標(biāo)跟蹤技術(shù)已經(jīng)被廣泛地應(yīng)用于農(nóng)業(yè)、軍事、民航等多個領(lǐng)域[1-2]。雖然智能化、自動化技術(shù)發(fā)展迅速,然而針對視頻實(shí)景監(jiān)視不同場景下實(shí)現(xiàn)目標(biāo)跟蹤還存在著很多待解決的問題,如光照強(qiáng)度變化劇烈,背景相似,目標(biāo)姿態(tài)及尺度變化,易造成目標(biāo)特征跟蹤失效,跟蹤效果不佳,其實(shí)際應(yīng)用范圍受限,還無法滿足各個行業(yè)對跟蹤系統(tǒng)穩(wěn)定性、可靠性的要求。因此,進(jìn)行穩(wěn)定、可靠的目標(biāo)跟蹤算法研究仍然是比較艱難的問題。目前針對運(yùn)動目標(biāo)跟蹤機(jī)理的不同,可以分為基于光流的運(yùn)動目標(biāo)跟蹤算法[3]、基于運(yùn)動估計(jì)的目標(biāo)跟蹤算法[4]、基于目標(biāo)識別的跟蹤算法[5]及基于特征搜索的目標(biāo)跟蹤算法[6]。
對于簡單場景,基于光流的運(yùn)動目標(biāo)跟蹤算法是不需要先驗(yàn)知識的,能在動態(tài)背景下較好地跟蹤目標(biāo),其缺陷是對光照太敏感,計(jì)算量太大,為了減少目標(biāo)對運(yùn)動方向的偏導(dǎo)數(shù)計(jì)算,加重了噪聲的影響,因此該跟蹤算法對場景的要求比較苛刻;基于運(yùn)動估計(jì)的目標(biāo)跟蹤算法是利用目標(biāo)的先驗(yàn)概率分布以及觀測信息進(jìn)行跟蹤。針對高速目標(biāo),對目標(biāo)運(yùn)動狀態(tài)能進(jìn)行較為準(zhǔn)確預(yù)測,計(jì)算區(qū)域小能使得實(shí)時性好,僅僅關(guān)注目標(biāo)的點(diǎn)特征,不能完整地描述目標(biāo),需結(jié)合其他的跟蹤算法來彌補(bǔ)不足;對于多目標(biāo)復(fù)雜場景,基于目標(biāo)識別的跟蹤算法是對全圖進(jìn)行特征分類,只要在區(qū)域內(nèi)符合目標(biāo)特征的都會被識別出來,這也能夠?qū)Χ嗄繕?biāo)進(jìn)行跟蹤。其缺點(diǎn)是針對某些特定場景,如目標(biāo)發(fā)生旋轉(zhuǎn)或者光照條件變化[7],跟蹤性能會不穩(wěn)定;樣本數(shù)量與分類器的性能關(guān)系緊密,當(dāng)其對機(jī)動目標(biāo)進(jìn)行跟蹤時,樣本數(shù)量的增加使得目標(biāo)運(yùn)動維數(shù)成指數(shù)增加,訓(xùn)練耗時也會大大增加,而且訓(xùn)練過程中大量的正例樣本數(shù)量不可避免。如果在高分辨率的視頻中進(jìn)行目標(biāo)分析會有巨大的運(yùn)算量,跟蹤實(shí)時性會欠佳?;谔卣魉阉鞯哪繕?biāo)跟蹤算法是通過邊緣與輪廓特征、顏色特征、紋理特征及小波特征[8]等實(shí)現(xiàn)目標(biāo)跟蹤。如Meanshift算法是根據(jù)上一幀圖像的收斂點(diǎn)作為起始搜索位置進(jìn)行迭代計(jì)算,而Camshift是基于Meanshift的改進(jìn),文獻(xiàn)[9]基于色度和飽和度的Camshift目標(biāo)跟蹤算法,跟蹤效果較穩(wěn)定。
針對視頻實(shí)景監(jiān)視場景下對多類目標(biāo)進(jìn)行跟蹤(如行人、車輛及航空器等)、目標(biāo)運(yùn)動姿態(tài)不同(遠(yuǎn)距離小目標(biāo)、轉(zhuǎn)彎、近距離快動目標(biāo)及慢動目標(biāo)等)的問題,現(xiàn)提出一種改進(jìn)局部二值模式(local binary pattern,LBP)算法與Camshift結(jié)合的目標(biāo)跟蹤方法。
通過采集不同監(jiān)控視頻下行人、車輛及航空器多類目標(biāo),對本文中的改進(jìn)方法與文獻(xiàn)[9]方法的跟蹤效果和性能指標(biāo)進(jìn)行比較。其基本思想是利用LBP算子紋理和顏色對陰影不敏感的特性,采用改進(jìn)的LBP算子與高斯混合模型結(jié)合進(jìn)行背景建模和目標(biāo)檢測;同時將LBP算子的紋理和顏色融入Camshift算法中,結(jié)合Kalman濾波進(jìn)行目標(biāo)運(yùn)動狀態(tài)的預(yù)測,最終實(shí)現(xiàn)對監(jiān)視場景中多目標(biāo)的自動跟蹤。
1.1.1 LBP算子
LBP算子先定義一個八鄰域的窗口,將中心像素點(diǎn)的灰度值作為閾值,把周圍8個像素點(diǎn)的灰度值與中心點(diǎn)的灰度值進(jìn)行比較,如果大于中心像素點(diǎn)的灰度值標(biāo)記為1,否則標(biāo)記為0。將鄰域得到的值按照位置賦予不同的權(quán)值得到一個無符號八位二進(jìn)制數(shù),將二進(jìn)制轉(zhuǎn)換為十進(jìn)制后得到的LBP值重新賦給中心點(diǎn),其成為具有紋理信息的像素點(diǎn)。
Ojala等[3]將LBP算子進(jìn)行改進(jìn),選擇不同尺寸和選擇周邊鄰域點(diǎn)的個數(shù),而且將原來的方形改為圓形。此時改進(jìn)的LBP算子表達(dá)式為LBPN,R,其中R為圓形半徑,N為像素點(diǎn)個數(shù),其計(jì)算公式為
(1)
式(1)中,pc為中心像素點(diǎn)p(x,y)的灰度值;pi為半徑為R的周邊N個像素點(diǎn)的灰度值;函數(shù)S(x)定義為
(2)
1.1.2 CS-LBP算子
Center symmetric LBP(CS-LBP)是一種改進(jìn)的LBP算子,采用領(lǐng)域點(diǎn)與中心點(diǎn)的比較改為,以中心點(diǎn)為對稱點(diǎn)來對領(lǐng)域值進(jìn)行比較,對噪聲具有較好的魯棒性,其計(jì)算公式為
(3)
式(3)中:i=0,1,2,3。
1.1.3 融合顏色紋理信息的SC-LBP算子
將顏色信息加入CS-LBP特征中形成spacial color LBP(SC-LBP)算子,改進(jìn)后的算子能夠更好地區(qū)分前景與背景信息,對于提取前景目標(biāo)非常有利。其計(jì)算方式為
SC-LBPN,R(xc,yc)=LBPN,R(xc,yc)+2Nf(Rc,Gc|γ)+
2N+1f(Gc,Bc|λ)+2N+2f(Bc,Rc|γ)
(4)
(5)
式中:(Rc,Gc,Bc)為中心點(diǎn)(xc,yc)處的紅(R)綠(G)藍(lán)(B)三色的顏色分量;函數(shù)f(a,b|γ)為當(dāng)某一顏色分量的值大于另一顏色分量的值γ倍時,其取值為1,否則為0。實(shí)驗(yàn)表明γ>1對噪聲的干擾具有很好的抑制作用,本實(shí)驗(yàn)中γ=1.1魯棒性最強(qiáng)。因此SC-LBP算子不僅包含了LBP的紋理信息,同時包含了中心像素點(diǎn)處的顏色值信息。為了減少計(jì)算的復(fù)雜度,可使用CS-LBP算子取代LBP算子,且對顏色分量進(jìn)行相關(guān)性的減少。改進(jìn)的SC-LBP特征定義為
SC-LBP2N,R(xc,yc)=LBP2N,R(xc,yc)+
2Nf(Rc,Gc|γ)+2N+1f(Gc,Bc|λ)
(6)
式(6)中:N的值為4,對應(yīng)總的模式數(shù)為64,提取出的特征能較好滿足背景建模。
混合高斯模型能較好地完成背景建模,但是其易受到場景中不斷變化的光照和陰影的影響,根據(jù)1.1節(jié)中融合顏色與紋理信息的LBP算子對背景建模有利,能較好地抑制光照變化、背景抖動、陰影、噪聲等因素,同時能減少計(jì)算的復(fù)雜度,對后續(xù)跟蹤有很好的效果。
1.2.1 模型建立更新
根據(jù)設(shè)定的分塊原則,將圖像分成若干個小塊,在t時刻,每一小塊的背景模型用K個分別帶權(quán)值{w1,w2,w3,…,wK}的融合顏色和紋理的LBP直方圖表示。針對實(shí)際應(yīng)用中監(jiān)視場景不斷變化,需要對背景模型進(jìn)行實(shí)時更新,對匹配成功的模型增加權(quán)重,未匹配成功的模型取代原模型中權(quán)重最小的模型,并給予一個較小的權(quán)重。其更新方法如下。
假設(shè)模型匹配的相似度呈現(xiàn)高斯分布,那么每一小塊的背景模型用多個高斯分布表示為
(7)
下面是匹配與參數(shù)更新過程,把K個高斯分布按照優(yōu)先級從大到小排列,優(yōu)先級的值由ω/σ計(jì)算得到。輸入新的一幀視頻序列圖像后,對于每一個小塊,當(dāng)存在一個i,將它依次與K個高斯分布進(jìn)行比較:
(8)
如果式(8)結(jié)果為1,那么第i個模型與之匹配,停止后續(xù)匹配;如果為0,就認(rèn)為不匹配,繼續(xù)后面的代入匹配。完成匹配的第i個模型將進(jìn)行參數(shù)的更新,那么背景模型更新為
ωi,t=(1-α)ωi,t-1+αMi,t
(9)
(10)
Xi,t=(1-ρ)Xi,t-1+ρXt
(11)
式中:α為權(quán)值系數(shù)的更新率,其選取值的大小表示背景更新的快慢,取值為[0,1];ρ為參數(shù)的更新率,其表達(dá)式為
(12)
1.2.2 背景建模
式(9)~式(12)沒有匹配成功的,用原有的權(quán)值最小的高斯模型與之替換,將高斯分布重新歸一化處理,背景分量的選取為上述這些模型按照權(quán)值大小進(jìn)行排列,排在前B個的直方圖就作為背景分量,其余的直方圖分量則當(dāng)作背景分量或者是不可靠的背景分量。
B=min(w1+w2+…+wk>T),T∈[0,1]
(13)
式(13)中:w為權(quán)重值,并按降序排列;T作為閾值來判斷選取的前B個直方圖的和大小,其取值越大對前景目標(biāo)的敏感度越低,越小又會產(chǎn)生噪聲。
下面展示了在三種不同場景和不同目標(biāo)類型下,采用傳統(tǒng)高斯混合模型(Gaussian mixture model, GMM)和本文算法對目標(biāo)檢測效果的對比。
如圖1所示,圖1(a)、圖1(d)、圖1(g)是視頻原始序列幀,由于光照影響,目標(biāo)周圍有陰影。圖1(b)、圖1(e)、圖1(h)是傳統(tǒng)GMM算法進(jìn)行前景目標(biāo)檢測效果,由于陰影的顏色與背景有差別,會將陰影作為前景檢測出來。圖1(c)、圖1(f)、圖1(i)是將改進(jìn)LBP算法和高斯混合模型相結(jié)合,可以看出,由于LBP紋理加顏色的特征對陰影不敏感,本文算法對前景目標(biāo)提取效果較好。
圖1 目標(biāo)檢測效果對比圖Fig.1 The effect comparison of target detection
以上通過本文算法對場景中前景目標(biāo)的檢測,然后利用圖像連通域?qū)η熬澳繕?biāo)進(jìn)行標(biāo)記,如圖2所示。
圖2 運(yùn)動目標(biāo)標(biāo)記效果圖Fig.2 The mark result of moving target
采用Camshift算法對運(yùn)動目標(biāo)進(jìn)行跟蹤。針對傳統(tǒng)Camshift算法存在的缺點(diǎn),如光照、陰影、目標(biāo)速度快、目標(biāo)顏色與背景相同或相似等情況時,易導(dǎo)致目標(biāo)丟失。針對以上問題,提出基于SC-LBP顏色和紋理的Camshift算法結(jié)合Kalman濾波器的目標(biāo)跟蹤方法。
Camshift連續(xù)自適應(yīng)的均值漂移算法是對每一幀圖像進(jìn)行均值漂移算法運(yùn)用,然后將上一幀搜索到的目標(biāo)中心作為下一幀均值漂移算法搜索的中心進(jìn)行不停的迭代計(jì)算,最終收斂到最終目標(biāo)。Camshift算法采用的是hue saturation value(HSV)顏色空間,所以需要將red green blue(RGB)顏色空間轉(zhuǎn)換為HSV的顏色空間,其轉(zhuǎn)換的公式為
V=max(r,g,b)
(14)
H=
(15)
(16)
式中:V為亮度值;H為色度值;S為飽和度值;當(dāng)在RGB空間中選取某一點(diǎn)(r,g,b)時,r、g、b代表這個點(diǎn)的空間坐標(biāo);max為選取這三個值中的最大值;min為選取這三個值的最小值。
以下是Camshift算法進(jìn)行目標(biāo)跟蹤的實(shí)現(xiàn)步驟。
利用1.2節(jié)提及基于高斯混合模型與改進(jìn)LBP算子的背景建模檢測方法檢測到含有運(yùn)動目標(biāo)的矩陣區(qū)域時,這個區(qū)域包含的n個像素用顏色直方圖描述這些像素點(diǎn)。
假設(shè)檢測的運(yùn)動目標(biāo)區(qū)域中,所有的像素點(diǎn)用{xi}(i=1,2,3,…,n)來表示,目標(biāo)區(qū)域中心點(diǎn)為x0。將它們的聯(lián)合直方圖中的概率分布qu作為匹配模型,該特征的概率密度為
(17)
(18)
候選模板的建立類似于上述方法,同樣是通過中心點(diǎn)與周邊像素的特征值計(jì)算概率密度。當(dāng)假設(shè)上一幀的運(yùn)動目標(biāo)區(qū)域中心為y時,那么在計(jì)算當(dāng)前幀時就用y來初始匹配目標(biāo)的候選位置,來計(jì)算候選目標(biāo){xi}(i=1,2,3,…,n′),其中n′為候選目標(biāo)用n′個像素,其候選的聯(lián)合概率密度為
(19)
式(19)中:C′同樣可以推導(dǎo)出:
(20)
通過得到初始目標(biāo)模型與候選目標(biāo)模型,再轉(zhuǎn)化為尋找候選目標(biāo)模型與初始目標(biāo)模型的匹配度達(dá)到最高。在理想情況下,這兩個模型的概率分布是完全一樣的。下面采用巴氏(Bhattachayrya)系數(shù)作為直方圖相似性度量的優(yōu)越性判斷,其定義為
(21)
式(21)中,φ(y)的取值范圍為[0,1],當(dāng)其值越大,表示其匹配度越高就越可能是目標(biāo)。
為使得定位目標(biāo)收斂最大化,將當(dāng)前幀運(yùn)動目標(biāo)中心位置x0進(jìn)行收斂到下一幀的中心位置y0,以當(dāng)前幀的中心位置進(jìn)行領(lǐng)域搜索。對式(21)進(jìn)行泰勒展開:
(22)
式(22)中:權(quán)值ωi計(jì)算公式為
(23)
式(22)中第一項(xiàng)為常量無需考慮,要想收斂最大,需要使第二項(xiàng)展開式最大即可。為使第二項(xiàng)泰勒展開式達(dá)到最大值,將當(dāng)前幀目標(biāo)位置yj移動到下一幀yj+1的迭代公式為
(24)
式(24)中:g(x)=-k′(x),k′(x)為下一幀推導(dǎo)出的輪廓函數(shù),算法經(jīng)過迭代計(jì)算,最終找到最優(yōu)的質(zhì)心。
將LBP紋理和顏色信息與上述Camshift算法進(jìn)行結(jié)合,那么上述式(17)和式(19)將改為
(25)
(26)
如果在后續(xù)每一幀視頻序列圖像中都對目標(biāo)進(jìn)行全部內(nèi)容搜索,會增加計(jì)算量。因此利用Kalman濾波預(yù)先估計(jì)下一幀的運(yùn)動目標(biāo)區(qū)域,就會減少計(jì)算量。
Kalman濾波用于目標(biāo)跟蹤可以分為3個階段。
(1)濾波器初始化:初始化目標(biāo),把通過檢測得到的目標(biāo)信息(包括大小和位置)賦予x0。
(2)狀態(tài)估計(jì):通過前一幀的狀態(tài)信息預(yù)測當(dāng)前目標(biāo)狀態(tài)信息,然后以目標(biāo)位置為中心進(jìn)行區(qū)域搜索,匹配預(yù)測值。
(3)狀態(tài)更新:通過狀態(tài)估計(jì)得到的信息通過觀測方程來對濾波器的參數(shù)和狀態(tài)進(jìn)行更新。
定義一種殘差值r的大小來判斷是否有大尺度的遮擋,假設(shè)Kalman濾波通過上一幀的參數(shù)信息得到當(dāng)前幀目標(biāo)的位置信息,即運(yùn)動目標(biāo)的估計(jì)值x,得到估計(jì)值的坐標(biāo)信息為x1和y1。通過觀測的觀測值為y,坐標(biāo)信息為x2和y2。定義此殘差值為運(yùn)動目標(biāo)的估計(jì)值與運(yùn)動目標(biāo)的觀測值y之間的差為
(27)
目標(biāo)被小尺度的遮擋,對Kalman濾波器的預(yù)測不會產(chǎn)生較大的影響。但當(dāng)目標(biāo)大尺度被遮擋時,此時的殘差值會遠(yuǎn)大于給定的r值。通過設(shè)定一個閾值T來對殘差進(jìn)行判斷,如果r>T,則停止對Kalman濾波器更新。然后通過前幾幀獲得運(yùn)動目標(biāo)的參數(shù)信息,來線性地對目標(biāo)在當(dāng)前幀可能的位置做出預(yù)測。
通過2.1節(jié)和2.2節(jié)中介紹的基于紋理和顏色結(jié)合的Camshift算法,同時利用Kalman進(jìn)行濾波處理。改進(jìn)方法具體步驟流程如下。
(1)當(dāng)選定感興趣的運(yùn)動目標(biāo)區(qū)域后,計(jì)算該目標(biāo)區(qū)域的LBP紋理和顏色的聯(lián)合直方圖,根據(jù)式(17)得到初始目標(biāo)的概率密度模型q={qu}=1,2,3,…,m作為候選匹配模型,并根據(jù)初始化的窗框位置信息來對Kalman濾波器的各種參數(shù)進(jìn)行初始化。
(2)從視頻序列中讀取下一幀時,通過前一幀的運(yùn)動目標(biāo)觀測得到的信息,通過Kalman濾波器來預(yù)估當(dāng)前幀的運(yùn)動目標(biāo)質(zhì)心的位置y0。
(3)根據(jù)式(19)得到y(tǒng)0處的候選模型的概率模型p(y0)={pu(y0)}u=1,2,3,…,m。
(4)用式(23)計(jì)算均值漂移的權(quán)值{ωi}i=1,2,3,…,n′。
(5)用式(24)進(jìn)行迭代計(jì)算得到運(yùn)動目標(biāo)的新位置y1。
(6)計(jì)算||y1-y0||的值d,如果d<ε,ε為常數(shù),其取值[0,1],則代表此時的新位置y1就是目標(biāo)當(dāng)前幀的質(zhì)心,迭代結(jié)束,返回步驟(2)繼續(xù)下一幀的尋找;否則將調(diào)整目標(biāo)位置y0,返回步驟(4),繼續(xù)迭代。
(7)當(dāng)步驟(6)中d值滿足d<ε時,再進(jìn)行殘差r和閾值T之間的判斷,即判斷目標(biāo)是否有較大尺度的遮擋,進(jìn)而決定是否繼續(xù)使用Kalman濾波來進(jìn)行預(yù)測。如果殘差r大于閾值T,則需要停止對Kalman濾波的更新,此時就需要利用前幾幀的目標(biāo)位置信息來線性預(yù)測下一幀的目標(biāo)位置信息,在預(yù)測位置信息領(lǐng)域內(nèi)需找當(dāng)前幀的目標(biāo)位置,求得殘差r與ε進(jìn)行比較,直到滿足要求才繼續(xù)使用Kalman濾波進(jìn)行預(yù)測;如果殘差r小于閾值T,則用y1對Kalman濾波器進(jìn)行校正更新。
(8)繼續(xù)讀入下一幀視頻序列信息,重復(fù)步驟(2)到步驟(7),直到視頻幀結(jié)束。
實(shí)驗(yàn)硬件平臺為:Intel Xeon 4210 2.2 GHZ;16 G內(nèi)存;NVIDIA RTX5 000 16 GB顯卡;Windows10 64位專業(yè)版操作系統(tǒng);軟件平臺為:VS2015和OpenCV4.1。實(shí)驗(yàn)中采集行人路口(視頻幀640×480@25fps)、公路道口(視頻幀640×480@25fps)及機(jī)場空側(cè)區(qū)(視頻幀1280×720@25fps)。利用多個實(shí)景監(jiān)視場景對文獻(xiàn)[9]方法(基于色度和飽和度的Camshift目標(biāo)跟蹤)與本文改進(jìn)方法進(jìn)行跟蹤效果對比如表1所示。
表1 辦公園區(qū)行人跟蹤誤差比較Table 1 The error comparison of pedestrian tracking in office park
首先,通過采集某辦公園區(qū)路口的原始視頻進(jìn)行目標(biāo)跟蹤方法的測試,在原始視頻序列初始化階段手動點(diǎn)擊選取從下往上變速行走的行人,進(jìn)行文獻(xiàn)[9]方法與本文改進(jìn)方法的跟蹤效果測試。圖3(a)和圖3(b)中,從左至右均截取第241幀、第267幀、第282幀和第296幀視頻圖像進(jìn)行目標(biāo)跟蹤效果對比。圖3(a)可以看出,行人在視頻圖像下方時由于目標(biāo)較大,特征點(diǎn)明顯,目標(biāo)跟蹤穩(wěn)定,但是隨著行人運(yùn)動至視頻圖像上方時,由于目標(biāo)較小,特征點(diǎn)少,因此出現(xiàn)目標(biāo)丟失的現(xiàn)象。圖3(b)由于采用了LBP紋理和顏色進(jìn)行結(jié)合,運(yùn)動目標(biāo)在圖像像素中心點(diǎn)不斷更新和校正,同時利用Kalman濾波進(jìn)行預(yù)測處理,最終實(shí)現(xiàn)運(yùn)動行人的穩(wěn)定、準(zhǔn)確跟蹤。如表1所示,通過對文獻(xiàn)[9]方法和本文改進(jìn)方法計(jì)算出的目標(biāo)中心點(diǎn)像素誤差的比較,中心點(diǎn)的位置是通過跟蹤方法獲得的矩形框中心點(diǎn)位置??梢钥闯觯疚母倪M(jìn)方法用于運(yùn)動目標(biāo)跟蹤定位的誤差精度明顯優(yōu)于文獻(xiàn)[9]跟蹤方法。
圖3 辦公園區(qū)行人跟蹤效果對比圖Fig.3 The comparison of pedestrian tracking in office park
圖4中將辦公園區(qū)原始視頻序列從225~345幀進(jìn)行截取,對比兩種跟蹤方法的精確度,更加直觀統(tǒng)計(jì)與對比跟蹤效果與實(shí)際目標(biāo)跟蹤軌跡的誤差大小。由圖4可知,本文改進(jìn)方法在行人跟蹤時,其計(jì)算的像素誤差比文獻(xiàn)[9]方法小,證明了本文改進(jìn)方法在跟蹤性能上優(yōu)于文獻(xiàn)[9]方法。
圖4 辦公園區(qū)行人跟蹤誤差精度對比圖Fig.4 The comparison of pedestrian tracking accuracy in school crossing
接下來,在某公路道口采集原始視頻進(jìn)行兩種跟蹤方法的測試和對比,利用手動選定車輛進(jìn)行初始化操作。如圖5所示,第242幀、第263幀、第286幀及第303幀均為采用文獻(xiàn)[9]方法和本文改進(jìn)方法進(jìn)行目標(biāo)跟蹤的測試效果圖,其運(yùn)動軌跡是快速直行-減速轉(zhuǎn)彎-緩慢停車。圖5(a)和圖5(b)分別是采用文獻(xiàn)[9]方法和本文改進(jìn)方法進(jìn)行車輛目標(biāo)的跟蹤效果。由圖5跟蹤結(jié)果可知,兩種跟蹤方法都對運(yùn)動車輛進(jìn)行穩(wěn)定的跟蹤,并不能明顯得出兩種跟蹤方法跟蹤效果的優(yōu)劣。通過表2統(tǒng)計(jì)兩種跟蹤方法進(jìn)行車輛跟蹤時計(jì)算出的車輛目標(biāo)中心點(diǎn)像素誤差的結(jié)果,可以得出,本文改進(jìn)方法在跟蹤定位精度上優(yōu)于文獻(xiàn)[9]方法。
圖5 公路道口車輛跟蹤效果圖Fig.5 The results of vehicle tracking in lane crossing
表2 公路道口車輛跟蹤定位誤差對比Table 2 The positioning error results of vehicle tracking in lane crossing
最后,為進(jìn)一步驗(yàn)證本文改進(jìn)方法在不同監(jiān)視場景中跟蹤的自適應(yīng)性和穩(wěn)定性,通過采集機(jī)場空側(cè)區(qū)不同氣候條件下本文改進(jìn)方法跟蹤航空器的效果測試。圖6(a)是在機(jī)場空側(cè)區(qū)晴朗場景中航空器在跑道上降落滑行的自動跟蹤效果(視頻序列自左向右是:221幀、256幀、302幀),圖6(b)是在機(jī)場空側(cè)區(qū)霧天場景中航空器在跑道上快速運(yùn)動起飛的自動跟蹤效果(視頻序列自左向右是:210幀、242幀、267幀)。由圖6可知,通過在機(jī)場空側(cè)區(qū)不同監(jiān)視場景中對航空器進(jìn)行的跟蹤測試,本文改進(jìn)方法在晴朗場景和霧天場景中均實(shí)現(xiàn)對航空器目標(biāo)進(jìn)行穩(wěn)定跟蹤,可滿足實(shí)際在機(jī)場空側(cè)運(yùn)行監(jiān)控系統(tǒng)中對目標(biāo)實(shí)時跟蹤的需求。
圖6 機(jī)場空側(cè)區(qū)航空器跟蹤效果圖Fig.6 The results of aircraft tracking under in airport
針對實(shí)際視頻實(shí)景監(jiān)視系統(tǒng)中場景光照、陰影及遠(yuǎn)距離小目標(biāo)跟蹤易丟失問題,提出了一種改進(jìn)LBP算法與Camshift結(jié)合的目標(biāo)跟蹤方法。首先考慮了LBP算子紋理和顏色對陰影不敏感的特性,采用一種改進(jìn)的LBP算子與高斯混合模型結(jié)合進(jìn)行運(yùn)動目標(biāo)的檢測和標(biāo)記,以抑制陰影、光照的干擾;同時通過LBP算子的紋理和顏色與Camshift算法相結(jié)合,再利用Kalman濾波進(jìn)行目標(biāo)運(yùn)動狀態(tài)的預(yù)測,最終實(shí)現(xiàn)對監(jiān)控場景中運(yùn)動目標(biāo)的可靠、穩(wěn)定跟蹤。實(shí)驗(yàn)中采集行人、車輛及航空器等不同類目標(biāo)進(jìn)行測試,本文改進(jìn)方法不僅能夠穩(wěn)定、精確地跟蹤運(yùn)動目標(biāo),而且可適用于場景霧天低能見度條件下的目標(biāo)跟蹤。
在下一步的工作中,將圍繞基于多種artificial intelligence(AI)算法結(jié)合,與其他監(jiān)控系統(tǒng)數(shù)據(jù)融合等關(guān)鍵技術(shù)研究,以滿足實(shí)際視頻增強(qiáng)可視化顯示系統(tǒng)的需要。