(杭州電子科技大學(xué)通信工程學(xué)院,浙江 杭州310018)
運動目標(biāo)跟蹤是計算機視覺的重要研究方向,其中對先驗未知的物體進行跟蹤越來越引起人們的關(guān)注。在視頻中對先驗未知的物體進行跟蹤,通常稱為無模型(model-free)跟蹤[1-2]。這種跟蹤方式得到的唯一信息就是圖像序列第一幀的初始區(qū)域,跟蹤器給出感興趣目標(biāo)在隨后幀的位置。在對目標(biāo)進行跟蹤的時候,特征的選擇至關(guān)重要。文獻[3]提出了haar-like 特征以及積分圖之后,很多學(xué)者利用haar-like 特征進行跟蹤[1,4]。多示例學(xué)習(xí)(Multiple Instance Learning,MIL)以包的形式得到訓(xùn)練樣本,利用正負樣本包訓(xùn)練得到分類器[1]。加權(quán)多示例學(xué)習(xí)(Weighted MIL,WMIL)在正樣本包中引入了權(quán)值[5],壓縮跟蹤(Compressive Tracking,CT)則是利用最簡單的樸素貝葉斯分類器對降維后的特征進行分類[4]。對于視頻中目標(biāo)可能被遮擋或消失而導(dǎo)致跟蹤失敗的情況,這些算法會累積誤差。本文提出了一種基于SIFT[6]特征和修正的背景加權(quán)直方圖(Corrected Background-Weighted Histogram,CBWH)[7]的卡爾曼跟蹤算法。實驗表明,本文算法在動態(tài)背景下能夠準(zhǔn)確跟蹤目標(biāo),對目標(biāo)遮擋、變形、面外旋轉(zhuǎn)及角度變化魯棒性較好。
卡爾曼濾波器用于跟蹤主要分成預(yù)測和修正2個階段。利用預(yù)測階段得到物體下一幀的大概位置,縮小目標(biāo)的搜索范圍,從而減小運算量,再利用修正階段確定最終位置??柭鼮V波器包含信號模型(s[n]=As[n-1]+u[n],n >1)和觀測模型(X[n]=Hs[n-1]+w[n])2個模型。其中狀態(tài)向量s[n]=[x[n]y[n]vx[n]vy[n]]T中的x[n]、y[n]分別為目標(biāo)中心在水平、垂直方向上的位置分量,vx[n]、vy[n]分別為目標(biāo)在水平、垂直方向上的速度。觀測向量X[n]=[xc[n]yc[n]]T,其中xc[n]和yc[n]分別是目標(biāo)中心在水平、垂直方向上的觀測值。A為已知的4×4 維的狀態(tài)轉(zhuǎn)移矩陣,H為2×4維的觀測矩陣。驅(qū)動噪聲u[n]服從高斯分布Ν(0,Q),觀測噪聲w[n]服從高斯分布Ν(0,R)。
目標(biāo)在跟蹤時用特征來描述目標(biāo),本文利用SIFT 特征點和CBWH。
本文跟蹤算法基于動態(tài)場景,因此不采用靜態(tài)場景的減背景法來確定目標(biāo)的位置。為了對目標(biāo)進行精確定位,采用SIFT點匹配方法。SIFT是一種檢測局部特征的算法,具有尺度不變性,改變旋轉(zhuǎn)角度、圖像亮度或拍攝視角都能得到很好的檢測效果。
物體快速運動或攝像頭曝光時間過長,導(dǎo)致視頻中的運動物體模糊,不利于獲取目標(biāo)的SIFT 特征,但顏色直方圖特征并不會受到運動模糊的影響。為了減小背景顏色特征對目標(biāo)定位造成的影響,利用CBWH 進行跟蹤。
得到當(dāng)前幀目標(biāo)的狀態(tài)之后對正模型2 進行更新。首先,將當(dāng)前幀目標(biāo)區(qū)域向周圍擴大srh_step個像素,計算擴大區(qū)域上的SIFT 特征點。將目標(biāo)框外面的特征點均判為是背景點??紤]到遮擋情況,需要判定目標(biāo)框內(nèi)的特征點為目標(biāo)點或遮擋物上的點,先與前幀目標(biāo)點匹配,匹配成功的點判為目標(biāo)特征點,對未能匹配的點進行SVM 分類。隨著目標(biāo)的運動,目標(biāo)特征點和背景特征點會發(fā)生變化,為了減少SVM 分類器的分類誤差,要對SVM 分類器進行更新。由于相鄰幀的特征差異不大,因此不需要每幀都更新,每svmUp幀訓(xùn)練一次。
采用SPSS 21.0統(tǒng)計學(xué)軟件對數(shù)據(jù)進行處理,計數(shù)資料以百分數(shù)(%)表示,采用x2檢驗,以P<0.05為差異有統(tǒng)計學(xué)意義。
將相似度歸一化的值作為權(quán)值,位置加權(quán)得到的結(jié)果X[n]=[xc[n]yc[n]]T作為卡爾曼濾波器的觀測值送入修正過程。修正步驟得到的結(jié)果即為當(dāng)前幀目標(biāo)的中心位置。
3.3 年齡增高增加經(jīng)產(chǎn)婦中各類高危妊娠的發(fā)生率 已有的國內(nèi)外研究均發(fā)現(xiàn),高齡初產(chǎn)婦發(fā)生前置胎盤、妊娠高血壓疾病、慢性高血壓合并妊娠、妊娠期糖尿病比例顯著高于非高齡組 [3-6]。
給定圖像序列Ⅰt(t=1,…,T)以及在第一幀中的初始化區(qū)域b1,采用檢測與跟蹤相結(jié)合的方式,計算感興趣目標(biāo)所在區(qū)域bt(t=2,…,T)。利用SIFT 匹配的方式檢測,利用CBWH 跟蹤。檢測時SIFT 匹配進行2次,第一次是將當(dāng)前幀搜索區(qū)的SIFT點與第一幀目標(biāo)的SIFT 特征點進行匹配,第二次是與前一幀判定為目標(biāo)的特征點進行匹配,得到當(dāng)前幀的每個匹配點的坐標(biāo)及其對目標(biāo)中心點的位移。為描述方便,稱第一幀目標(biāo)的SIFT 特征點為正模型1,前一幀目標(biāo)的SIFT 特征點集為正模型2。與前一幀匹配時,將當(dāng)前幀SIFT 特征與正模型2 匹配,對匹配成功的點進行投票,得到目標(biāo)的中心位置p2。對正模型1 進行同樣的處理,得到p1。
對Sp 中所有的值進行排序,中值作為目標(biāo)相對前一幀的尺度變化。同樣根據(jù)第一幀與當(dāng)前幀的特征點匹配情況,得到Sc的中值作為目標(biāo)相對第一幀的尺度變化。利用尺度變化來得到當(dāng)前幀目標(biāo)的長寬。
由前一幀與當(dāng)前幀的特征點匹配情況,分別計算前一幀和當(dāng)前幀各自特征點之間的歐式距離,由相應(yīng)點對的歐式距離之比得到尺度變化。前一幀特征點位置為loc_pi,當(dāng)前幀匹配點位置為loc_ci(i=1,…,mp),dist_pu,v和dist_cu,v,u≠v,(u=1,…,mp,v=1,…,mp)分別前一幀與當(dāng)前幀所有點對間的歐式距離,則所有可能的尺度變化為:
使用LIBSVM[9]進行SVM 分類器的訓(xùn)練和分類。SVM類型為C-SVC,核函數(shù)為RBF 函數(shù),損失函數(shù)-c為1.2,gamma-g為2.8。此外SIFT 匹配中最近鄰次近鄰之比為0.75,srh_step=30,svmUp=10,th1 =10,n0=10,實驗中算法的實際處理效率為0.31 0.46 s/幀,不如TLD、CT、WMIL。若對整張圖提取SIFT 特征,如240×320 像素的圖就需要0.38 s,因此本文利用卡爾曼濾波器估計出目標(biāo)在當(dāng)前幀的可能位置,縮小搜索范圍,減少提取SIFT 特征的時間??柭鼮V波器的預(yù)測位置有助于CBWH 快速確定位置,平均只需0.02 s。此外僅對未能成功匹配的點進行SVM 分類,且SVM 分類器是每隔svmUp幀更新一次,因此不會對實時性造成影響。
SIFT 具有很好的穩(wěn)健性和辨別性,但計算較費時,為減小計算量,在預(yù)測區(qū)域的擴大區(qū)域即搜索區(qū)上提取SIFT 特征點,分別與第一幀和前一幀目標(biāo)SIFT 特征點進行匹配。首先考慮當(dāng)前幀和前一幀進行SIFT 特征匹配的情況。視頻中連續(xù)兩幀目標(biāo)的外形變化不大,考慮無尺度變化和面內(nèi)旋轉(zhuǎn)的情況,當(dāng)前幀匹配成功的SIFT 特征點rm(m=1,…,M)得到各自的投票h(m)=rm-am,其中rm為特征點在當(dāng)前幀的坐標(biāo)位置,am為模型中對應(yīng)特征點對目標(biāo)中心點的距離向量。假設(shè)目標(biāo)中心不會離開可視范圍,保證無投票結(jié)果為負的情況。計算目標(biāo)中心位置前先去除離群點。計算M個點與其余點的距離,取num(num≤M)個距離小于th1的點。對應(yīng)的對這num個點加權(quán)平均,權(quán)值與am長度的指數(shù)成反比,即加權(quán)平均得到的位置p2 就是這次匹配得到的候選目標(biāo)中心位置。同樣根據(jù)當(dāng)前幀與第一幀SIFT 匹配的情況,得到位置p1。
以卡爾曼預(yù)測位置為起始位置,CBWH 作為特征,進行均值漂移,得到估計中心位置p3。對得到的3個中心位置p1,p2,p3 進行融合,作為當(dāng)前幀目標(biāo)的觀測位置。分別取出以p1,p2,p3為中心點所在的區(qū)域patch1,patch2,patch3,分別與第一幀中的初始化目標(biāo)塊patch 求相似性,patchi和patch 之間的相似性計算為:
為了驗證本算法的效果,在不同場景對不同物體進行跟蹤,與TLD、CT、WMIL 方法進行比較,參數(shù)均為作者給出代碼的默認值。由于篇幅所限,本文只列出一組實驗對比圖。
根據(jù)文獻[8]提供的視頻,在Matlab 上進行仿真。根據(jù)實驗效果調(diào)整參數(shù),參數(shù)設(shè)置A =
在幻方中,如果我們稱一行中的所有數(shù)的積為行積,一列中所有數(shù)的積為列積.則(5)式可概括為:3階幻方中,第一行的行積、第三行的行積、第一列的列積以及第三列的列積之和等于第二行的行積與第二列的列積之和的兩倍.
暴雨工況下,沿基巖層面不會產(chǎn)生滑動,基覆分界面亦不會整體滑動,滿足邊坡穩(wěn)定性的規(guī)范要求,暴雨工況下覆蓋層內(nèi)部圓弧滑動所得安全系數(shù)更小,使邊坡局部破壞進一步加劇。且邊坡上個變形開裂部位控制工況均為暴雨工況,這與汛期邊坡變形加劇情況相吻合。
因為針對動態(tài)背景獲得的視頻,前n0幀基本都不會存在有遮擋或嚴(yán)重的形變,將SIFT與正模型2匹配的結(jié)果作為目標(biāo)的觀測位置。保存目標(biāo)SIFT 特征點的特征和背景SIFT 特征點的特征,分別作為SVM 分類器的正負樣本。
對行人進行跟蹤,如圖1所示。該圖像序列有252幀,存在的干擾因素有:遮擋、變形、面外旋轉(zhuǎn)、背景雜波。圖1(a)為TLD算法跟蹤結(jié)果,圖1(b)為CT算法跟蹤結(jié)果,圖1(c)為WMIL算法跟蹤結(jié)果,圖1(d)為本文算法跟蹤結(jié)果。每一行的圖從左到右分別代表圖像序列中的第90幀、第127幀、第152幀、第233幀。第90幀目標(biāo)離開遮擋時,TLD算法和WMIL算法跟蹤錯誤,CT算法跟蹤區(qū)域與實際目標(biāo)區(qū)域存在偏差,本文算法跟蹤目標(biāo)正確。第127幀目標(biāo)發(fā)生面外旋轉(zhuǎn),TLD算法、CT算法、WMIL算法跟蹤目標(biāo)錯誤,本文算法跟蹤區(qū)域與實際目標(biāo)區(qū)域存在偏差。第152幀視頻視角變化,本文算法準(zhǔn)確跟蹤目標(biāo),另3種算法跟蹤目標(biāo)錯誤。第233幀視頻視角發(fā)生變化,TLD算法和CT算法跟蹤目標(biāo)失敗,WMIL算法和本文算法跟蹤目標(biāo)成功。
本文依據(jù)具體問題具體分析的原理,遵循問題產(chǎn)生發(fā)展的特定環(huán)境進行思考分析,結(jié)合高中《文化生活》課堂中出現(xiàn)的問題,緊密聯(lián)系高中政治課教學(xué),深入挖掘分析現(xiàn)有教學(xué)環(huán)境和條件下所出現(xiàn)的問題及其背后的原因,緊緊抓住教師和學(xué)校的作用,提出相應(yīng)具體可行的措施,以期更好地落實政治學(xué)科核心素養(yǎng)并完善教學(xué)方法,從而能夠在日后對高中階段《文化生活》的教學(xué)產(chǎn)生積極影響。
圖1 各類算法跟蹤效果比較
本文針對動態(tài)場景下的目標(biāo)跟蹤,提出了基于SIFT 特征點和CBWH的卡爾曼跟蹤目標(biāo)方法。先利用卡爾曼濾波器進行預(yù)測得到目標(biāo)可能出現(xiàn)的區(qū)域,再在該區(qū)域內(nèi)提取出SIFT 特征點,分別將當(dāng)前幀的特征點與第一幀和前一幀SIFT 特征點進行匹配投票得到候選中心位置,利用CBWH 特征得到候選中心位置,最后將所得位置加權(quán)值對卡爾曼濾波器預(yù)測值進行修正,得到當(dāng)前幀目標(biāo)的位置。實驗表明在目標(biāo)存在遮擋、視角變化和目標(biāo)角度變化的情況下,本文算法跟蹤準(zhǔn)確度和精度都較高。
[1]Babenko B,Yang M,Belongie S.Robust object tracking with online multiple instance learning[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(8):1619-1632.
[2]Nebehay G,Pflugfelder R.Consensus-based Matching and Tracking of Keypoints for Object Tracking[C]//Applications of Computer Vision (WACV),2014 IEEE Winter Conference on.Steamboat Springs,CO:IEEE,2014:862-869.
[3]Viola P,Jones M.Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE,2001:511-518.
[4]Zhang K,Zhang L,Yang M.Real-time compressive tracking[M]//Computer Vision-ECCV 2012.Berlin:Springer Berlin Heidelberg,2012:864-877.
[5]Zhang K,Song H.Real-time visual tracking via online weighted multiple instance learning[J].Pattern Recognition,2013,46(1):397-411.
[6]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.
[7]Ning J,Zhang L,Zhang D,et al.Robust mean-shift tracking with corrected background-weighted histogram[J].Computer Vision,IET,2012,6(1):62-69.
[8]Wu Y,Lim J,Yang M.Online object tracking:A benchmark[C]//Computer vision and pattern recognition(CVPR),2013 IEEE Conference on.Portland,OR:IEEE,2013:2411-2418.
[9]Chang C C,Lin C J.LIBSVM:a library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology (TIST),2011,2(3):27.