倪郁東，王 晨

(1.合肥工業(yè)大學(xué)數(shù)學(xué)學(xué)院，安徽合肥 230009;2.合肥工業(yè)大學(xué)電氣工程與自動化學(xué)院，安徽 合肥 230009)

由于尺度不變特征對旋轉(zhuǎn)、尺度縮放和亮度變化具有不變性，部分學(xué)者將其應(yīng)用到目標(biāo)跟蹤中.文獻［5］提出一個基于Surf特征表達的跟蹤算法，即通過建立一個表達局部特征與全局運動關(guān)系的生成模型.該算法對物體形變和光照變化都有較好的魯棒性.文獻［6］提出了將Meanshift與Sift相結(jié)合的跟蹤算法，該算法雖然能解決局部遮擋問題，但卻很難處理目標(biāo)外觀變化的情況.文獻［7］采用Surf特征匹配方法跟蹤目標(biāo)，使用模板更新方法解決物體形變問題，并在匹配特征點較少時以Meanshift算法代替特征匹配完成跟蹤.文獻［8］將Surf特征和顏色特征進行融合，構(gòu)造了一種全局Surf特征.跟蹤中使用粒子濾波算法，并動態(tài)更新目標(biāo)模板和特征點，實現(xiàn)了精確的跟蹤效果.

與以上跟蹤算法相比，論文提出的基于窗口的Surf特征提取方法在保持跟蹤精度的同時，兼顧了算法的實時性.

1 Surf

Surf算法的特點體現(xiàn)在以下3個方面:使用Hessian矩陣檢測特征值、以特征點鄰域Haar［9］小波值分布取代Sift中梯度值分布來描述特征點局部信息、使用積分圖完成圖像卷積操作.

1.1 Hessian矩陣

假設(shè)圖像函數(shù)為f(x，y)，則其Hessian矩陣如式(1)所示

為使特征點具有尺度不變的特性，在構(gòu)造Hessian矩陣前需要對圖像進行高斯濾波.高斯核已被證明是唯一的線性核［10］，一幅圖像在不同尺度的表示如式(2)所示

其中:G(x，y，s)是二維高斯核函數(shù);方差s定義為尺度，尺度越大圖像越模糊，尺度越小圖像越清晰.

我開始忽悠，每個時代都有每個時代的困頓，也許在歷史的進程里野蠻會戰(zhàn)勝文明，但是要相信，文明的種子在這些市井之輩、讀書之人甚至妓女乞丐的心中代代傳承，文明不會消亡，總有一天它會變得更有力量。

圖像在不同尺度的Hessian矩陣如式(3)所示

與使用高斯差分計算Lxx，Lxy和Lyy相比，積分圖與箱式濾波器相結(jié)合的方法在精度上只有微小的損失，但在效率上卻有相當(dāng)大的提升.

Surf尺度空間被劃分為不同的組，每一組內(nèi)有一定層數(shù)，不同組內(nèi)層數(shù)相同.每一組是用大小不斷增加的箱式濾波器對輸入圖像以一定采樣間隔卷積得到的一系列響應(yīng).采樣間隔在組內(nèi)保持不變，組間以兩倍速率遞增.

1.2 基于Haar小波響應(yīng)的描述子

為使特征點具有旋轉(zhuǎn)不變性，需要計算特征點的主方向.與Sift不同，Surf是統(tǒng)計特征點鄰域內(nèi)的Haar小波特征，將Haar特征總和最大的方向定為主方向，然后以特征點為中心，選取邊長為20s(s為特征點所處的尺度)的正方形區(qū)域，以5s×5s為單位計算16個子區(qū)域的水平和垂直方向Haar小波響應(yīng)d x，d y，最后計算每個子區(qū)域內(nèi)的向量.這樣每個特征點可以用一個64維的向量描述.相比Sift，Surf特征向量維數(shù)少了一半，使后期特征匹配中的速度大大加快.

2 跟蹤窗口信息濾波

跟蹤窗口中除了跟蹤目標(biāo)，還包含復(fù)雜的背景信息.經(jīng)過特征提取，背景中也會存在特征點.由于背景中的特征點是靜止的，當(dāng)相對運動目標(biāo)上的特征點較多時，會減弱跟蹤窗口的運動趨勢，嚴重時導(dǎo)致跟蹤失敗.Kalman［11］濾波器不但能減小背景特征點的影響，還能預(yù)測目標(biāo)的運動趨勢.

Kalman濾波器的窗口位置系統(tǒng)狀態(tài)為(xk，yk，vxk，vyk)，狀態(tài)向量分別是第k幀圖像中跟蹤窗口中心位置的橫縱坐標(biāo)位置和速度.狀態(tài)轉(zhuǎn)移矩陣定義如式(4)所示

其中:Δt為相鄰兩幀圖像的時間差.

狀態(tài)方程為

觀測方程為

狀態(tài)觀測矩陣為

其中:wk和vk分別表示均值為零的白噪聲序列.跟蹤窗口大小濾波與窗口位置處理類似.

3 跟蹤算法

3.1 運動目標(biāo)檢測

運動目標(biāo)檢測旨在利用連續(xù)圖像信息，將運動的區(qū)域從背景圖像中提取出來.常用的目標(biāo)檢測方法有幀間差分法、光流法和背景差分法.由于論文跟蹤算法只需要檢測運動目標(biāo)在第一幀圖像中的位置便可完成后續(xù)的跟蹤任務(wù)，不必與實時圖像作背景差分來檢測運動區(qū)域，因此采用背景差分法.背景模型采用視頻前30幀圖像的像素的均值來生成.將得到的背景模型和第一幀圖像分別進行濾波預(yù)處理，去除圖像中的隨機噪聲.然后將二者做差分運算、二值化、去噪及形態(tài)學(xué)濾波處理得到完整的運動目標(biāo).最后通過最小外接矩陣框運算得到初始目標(biāo)跟蹤窗口的大小和位置.

3.2 運動目標(biāo)跟蹤

目標(biāo)跟蹤是在連續(xù)視頻幀間建立目標(biāo)信息的對應(yīng)關(guān)系.首先對前兩幀圖像的初始跟蹤窗口內(nèi)的圖像分別作Surf特征提取，然后對兩組特征點進行匹配.匹配采用最近鄰法匹配法，相似性度量采用歐式距離.由于目標(biāo)處于運動狀態(tài)則兩組特征點在同一跟蹤窗口中會產(chǎn)生一定的位移.因此可以通過計算位移變化量來確定下一幀跟蹤窗口的位置.

假定目標(biāo)運動為剛體變換，可以用仿射變換表示目標(biāo)的平移、縮放的變化.則前后幀跟蹤窗口中匹配的特征點應(yīng)滿足式(8)

為消除特征點錯配的影響，使用隨機抽樣一致性算法(RANSAC)對上式擬合.

為減小復(fù)雜背景特征點的影響，需要Kalman濾波器對仿射變換得到的位置信息進行濾波.首先利用第一幀圖像跟蹤窗口的位置對第2幀中跟蹤窗口位置進行預(yù)測，然后用經(jīng)過仿射變換計算得到的第2幀跟蹤窗口的位置對預(yù)測位置進行修正，得到第2幀中跟蹤窗口最終位置.循環(huán)往復(fù)，可以實現(xiàn)對跟蹤窗口位置信息的跟蹤，對跟蹤窗口大小的處理類似.跟蹤算法流程如圖1所示.

圖1 跟蹤算法流程圖Fig.1 The flow diagram of tracking algorithm

當(dāng)目標(biāo)被短暫遮擋，基于前后幀的特征匹配仍能對運動目標(biāo)準(zhǔn)確跟蹤.如果目標(biāo)位置和跟蹤窗口長時間未發(fā)生變化，可認為目標(biāo)靜止不動或者被長時間遮擋住.為準(zhǔn)確區(qū)分上述情況，需要建立目標(biāo)特征庫.如果當(dāng)前窗口和模板庫中特征點匹配數(shù)量較多，認為已經(jīng)靜止不動，較少則被認定為被長時間遮住.隨后需要實時進行運動目標(biāo)檢測，找到視頻圖像中的運動部分進行跟蹤.

4 實驗結(jié)果及分析

實驗采用320×240的視頻序列，軟件開發(fā)工具為Matlab.下圖中，黑色邊框為實時目標(biāo)跟蹤窗口，紅色的十字為對窗口內(nèi)圖像進行特征提取并經(jīng)過匹配得到的特征點.

4.1 跟蹤算法實驗結(jié)果與分析

如圖2所示，在背景圖像特征點相對較少的情況下，基于窗口的Surf目標(biāo)跟蹤算法能對目標(biāo)進行很好的跟蹤.

如圖3所示，若目標(biāo)所經(jīng)過的背景中含有相對較多的特征點時，根據(jù)這些靜止的背景特征點所計算的跟蹤目標(biāo)窗口的位置信息會趨于不變，窗口逐漸脫離目標(biāo)，導(dǎo)致跟蹤失敗.

如圖4所示，為減小背景特征點的影響，增強目標(biāo)動態(tài)特征點的作用，論文采用Kalman濾波器對跟蹤窗口的位置信息進行預(yù)測，通過實驗，驗證了此方法的有效性.

如圖5所示，利用前后兩幀圖像的特征點之間的相對信息，使用仿射變換準(zhǔn)確計算目標(biāo)窗口大小的變化量的方法對尺寸發(fā)生變化的目標(biāo)實現(xiàn)了準(zhǔn)確跟蹤.

圖2 背景特征點較少時跟蹤正常Fig.2 Tracking is normal with less background features

圖3 背景特征點較多時跟蹤失敗Fig.3 Tracking is unnormal with more background features

圖4 背景特征點較多，預(yù)測后跟蹤正常Fig.4 Tracking is normal after processing with kalman

圖5 縮放Fig.5 Scaling

4.2 與Meanshift+Kalman算法比較

圖6 中實線和點線分別代表采用論文跟蹤算法和Meanshift+Kalman算法得到的目標(biāo)運動軌跡.可以看出，當(dāng)幀數(shù)小于100時，目標(biāo)所經(jīng)過的背景與目標(biāo)本身的顏色差別較大，兩種算法均能準(zhǔn)確跟蹤目標(biāo)，論文跟蹤算法得到的運動軌跡更加平滑;當(dāng)幀數(shù)大于100時，雖然有Kalman的預(yù)測作用，但是MeanShift+Kalman算法仍然跟蹤失敗.由此得出，當(dāng)目標(biāo)與背景的顏色相似度極高時，基于特征點的跟蹤算法比基于顏色直方圖的跟蹤算法好.

圖6 算法比較Fig.6 Algorithm comparison

4.3 算法實時性分析

基于窗口的Surf跟蹤算法不需要對整幅圖像進行特征變換，相比整幅圖像特征提取然后進行特征匹配定位目標(biāo)位置，速度上有了一定的提高，如圖7所示.實驗采用圖5縮放實例，隨著目標(biāo)區(qū)域放大，每幀圖像處理時間逐漸增加.

圖7 目標(biāo)縮放跟蹤時間Fig.7 The tracking time when scaling

5 結(jié)束語

提出基于窗口的Surf目標(biāo)跟蹤算法，避免了對整幅圖像進行Surf變換，進一步提高算法速度.采用Surf特征匹配進行目標(biāo)跟蹤，并采用Ransac算法建立映射關(guān)系，最后使用Kalman對跟蹤窗口信息濾波，增強了對復(fù)雜背景的抗干擾能力，提高了算法的魯棒性.

［1］胡明昊，任明武，楊靜宇.一種基于直方圖模式的運動目標(biāo)實時跟蹤算法［J］.計算機工程與應(yīng)用，2004(3):71－74.

［2］Lowe D.Object recognition from local scale－invariant features［C］∥International Conference on Computer Vision，1999:1150－1157.

［3］Lowe D.Distinctive image features from scale invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91 －110.

［4］Herbert B，Andreas E T.Speed-up robust features(surf)［J］.Computer Vision and Image Understanding，2008(9):346－359.

［5］Wei H，Yamashita T，Lu H G，et al.Surf tracking［C］∥International Conference on Computer Vision，2009:145－151.

［6］Du K，Ju Y F，Jin Y L.Object tracking based on improved meanshift and sift［C］∥Ieee Conf on CECNet，2012:2716－2719.

［7］Zhou D，Hu D.A robust object tracking algorithm based on Surf［C］∥Wireless Communications＆ Signal Processing(WCSP)，2013.

［8］Li R，Liu CX，Nian F Z.An object tracking algorithm based on global Surf feature［J］.Journal of Information ＆Computational Science，2013，10(7):2159 －2167.

［9］黃帥，吳克偉，蘇菱.基于Harris尺度不變特征的圖像匹配方法［J］.合肥工業(yè)大學(xué)學(xué)報:自然科學(xué)版，2011，34(3):379－382.

［10］Tony L.Scale-space theory:a basic tool for analyzing structures at different scales［J］.Journal of Applied Statistics，1994，21(2):224 －270.

［11］張江山，朱光喜.一種基于Kalman濾波的視頻對象跟蹤方法［J］.中國圖象圖形學(xué)報，2002，7(6):607－609.