劉向前，閆 娟，楊慧斌，賈茜偉

（上海工程技術大學 機械與汽車工程學院，上海 201620）

為響應當前國家“智慧城市”的號召，無論是國營企業(yè)還是民營企業(yè)都在持續(xù)增加其相關領域的投入力度[1].近年來，研究者采用攝像設備對所采集的視頻序列進行實時分析，實現(xiàn)了對目標的精確跟蹤.視頻采集的智能化處理在深度學習、機器視覺及傳感器技術等交叉領域中受到前所未有的熱議及關注，這對采集視頻序列后是否可對目標較準確、高效地捕獲與跟蹤顯得尤為重要[2?3].

近期已有部分企業(yè)對目標跟蹤技術領域進行了大量試驗與研究[4?5]，但現(xiàn)有研究大都是通過一些較傳統(tǒng)且單一的方式來處理實現(xiàn)的，如光流算法、ViBe 算法及YOLO 算法等[6?8].盡管這些算法實現(xiàn)起來相對不是很復雜，在一些特定簡單的環(huán)境中可以運行并可達到一定效果.然而，跟蹤與檢測的環(huán)境一旦變得復雜化，其跟蹤效果就表現(xiàn)得相當不理想.另外，采用聚類的Mean Shift算法在一些較特殊的條件下運算可以達到良好的試驗效果[9]，但由于該算法計算運行復雜，依賴先驗目標建模且一些參數(shù)需要人為調節(jié)等因素，使得其在實際應用中困難較多[10].

針對此類問題，目前大多采用的解決方案是選用光流法[11?12].光流法是一種較經(jīng)典的目標跟蹤算法，且該算法不要先驗的條件[13]，但由于光流法是通過遍歷法來查詢目標點的，存在目標點偏移現(xiàn)象，使得后續(xù)運行處理效率大打折扣[14?15]，然而粒子濾波可以很好地提高其運行速率.鑒于此，本研究以光流法處理原理為基礎，在保證較高準確性條件下，為提高視頻序列的處理效率和精度，提出基于改進光流法的目標跟蹤技術.

1 算法模型建立及理論求解推導

1.1 金字塔光流算法

光流法是當前計算圖像序列稀疏光流點的常見算法策略.此算法對視頻序列中圖像信息的處理具有較好的能力，且在處理過程中不需要場景信息的事先預判.其核心思想是縮小視頻序列中圖像的規(guī)格大小，采用查詢序列的灰度并根據(jù)其在時間軸上的對應變化，通過圖像中目標物的形狀架構及其運動關系來綜合判斷其是否為檢測跟蹤的目標.該算法在模型建立時需要滿足以下條件.

1）亮度保持不變.其目的是便于建立光流法的基本方程，即隨著時間的改變，盡管相同的光流點也在發(fā)生變化，但它們的亮度是不發(fā)生改變的.

2）位置恒定或者允許有小幅度變化.其目的是滿足圖像灰度對位置可以求取偏導，即隨著時間變化，圖像點的位置不會發(fā)生變化或者大幅度的改變.

3）相對位置保持一致.其目的是保證一個視頻序列中相鄰近的點投影到圖像上同樣為臨近點，并且其點的速度保持一致不變.

金字塔光流法求解圖像序列變換矩陣及當前層光流值，并將該值作為初始量向下轉移，通過迭代方式，逐層向下迭代，逐層進行求解，具體流程如圖1 所示.

圖1 金字塔光流迭代Fig.1 Pyramid optical flow iteration

假設第t幀圖像點（xt，yt）與其附近區(qū)域內點的運動狀態(tài)相同，則在t+1 幀上存在與（xt，yt）亮度相同的點（xt+1，yt+1）.根據(jù)假設與約束條件可建立方程組為

可將上式簡化為

其中

將式（2）的左右兩邊同時乘以AT得到

利用最小二乘原理求解方程式(1)至式(3)，可得

式中：I(x)、I(y)分別為特征點I、J的灰度值；u、v分別為特征點I、J的速度；n為光流值；l(n)為計算殘余誤差.求解殘余誤差值l(n)極小值為

式中：m為附近區(qū)域半徑值.

依據(jù)金字塔光流原理，每次將視頻序列圖像的尺寸縮小0.25，則每一層的速度為U′=0.25u.而對于每一層，滿足

式中：g為光流估計值.

隨著逐層次迭代的進行，光流值也在逐步減小，當最底層的光流值減小到零時，可得g′=由此推算頂層光流值為n=g初+n初.可得

式（7）可簡化為

1.2 優(yōu)化的粒子濾波模型

視頻圖像處理環(huán)境中，目標跟蹤沒有先驗的信息，因此須建立一個濾波器合理對其進行初始化處理[16]，以便在跟蹤目標進入視野時能夠實時對目標精確檢測，同時為下一步點光流處理提高效率.

定義粒子濾波器運動變量G為

式中：x和y分別為視頻序列坐標值；vx和vy分別為x坐標與y坐標的速度.

運動目標中心的預測式為

總集合數(shù)定義為

式中：A為必要因素；Mt?1為高斯隨機噪聲.

為提高粒子濾波的準確度，引入粒子的權重值來增加其影響，利用似然函數(shù)可計算得出各粒子所占的權值，公式為

式中：σ為標準方差；cp為物體一特征；tp為目標一特征.進行歸一化運算，公式為

2 優(yōu)化的粒子濾波光流算法

綜上對粒子濾波與光流法特征建模分析可知，光流法能夠檢測出目標物體的絕大部分區(qū)域，但算法運算量較大，導致其運行效率比較低.基于粒子濾波算法高準確度及處理速度的特點，本研究將優(yōu)化的粒子濾波引入到光流法中，兩者結合來實現(xiàn)對目標的檢測與跟蹤.

在該算法中，先對視頻序列中的圖像進行濾波處理，目的是檢測目標區(qū)域，再利用金字塔光流法進行運算處理.這樣不僅可以提高檢測的精準度，同時可以減小算法的復雜度，以此來提高處理的運行效率.執(zhí)行流程框圖如圖2 所示.

圖2 改進算法執(zhí)行流程Fig.2 Implementation process of improved algorithm

優(yōu)化算法的具體流程為：

1）隨機選擇視頻序列中n幀及n+1 幀圖像序列進行降干擾；

2）對第n幀與n+1 幀圖像進行粒子濾波處理，得到處理后的圖像序列為In(x,y)、In+1(x,y)；

3）對得到的In(x,y)、In+1(x,y)進行二值化圖像處理，通過逐位邏輯運算，獲取運動區(qū)域G(x，y)；

4）由G(x，y)搭建金字塔模型G′；

5）對區(qū)域G′求坐標x與y的偏導數(shù)，計算式為

3 試驗結果與分析

3.1 試驗環(huán)境與參數(shù)配置

本仿真中硬件配置環(huán)境選用Windows 10 為運行系統(tǒng)，Intel(R) Core(TM) i5-5200U CPU 采用頻率為2.20 GHZ，RAM 為8.0 GB.軟件平臺為VS2019 +Python3.6+OpenCV4.0.0[17].本研究中視頻序列集選取為公開的人行道上行人及公路上行駛的汽車，樣本通過安裝在行人路口及公路口的攝像頭拍攝得到.

3.2 試驗數(shù)據(jù)處理及分析

為有效驗證算法的正確性、精確性，本研究通過選用公開數(shù)據(jù)集，在不同運動環(huán)境下對不同單、多目標跟蹤進行仿真試驗，按如下流程進行.

首先，在靜態(tài)環(huán)境下選擇多個目標進行仿真跟蹤試驗.選取視頻序列的第36 幀，并分別采用光流法、ViBe 算法、YOLO 算法、卷積神經(jīng)網(wǎng)絡算法[18]及本文算法，得到試驗效果如圖3所示.

圖3 靜態(tài)多目標跟蹤試驗效果圖Fig.3 Experimental renderings of static multi-target tracking

其次，為驗證算法在高速運動環(huán)境下的效果，本研究采用動態(tài)環(huán)境下對單個目標進行仿真跟蹤試驗.選用的視頻序列為第23 幀，同樣采用光流法、ViBe 算法、YOLO 算法、卷積神經(jīng)網(wǎng)絡算法及本文算法進行試驗，得到試驗效果如圖4 所示.

圖4 動態(tài)單目標跟蹤試驗效果圖Fig.4 Experimental renderings of dynamic single target tracking

同時，為進一步驗證算法對多目標處理的效果，本研究通過搭建動態(tài)環(huán)境下對多個目標進行仿真跟蹤試驗，選取視頻序列第52 幀，通過本文算法試驗，仿真得到試驗效果如圖5 所示.

圖5 動態(tài)多目標跟蹤試驗效果圖Fig.5 Experimental renderings of dynamic multi-target tracking

仿真結果見表 1.由表可見，對于靜態(tài)多目標跟蹤，5 種算法的捕獲效果都較好.ViBe 與其他4 種算法相比，表現(xiàn)出的平均速度較高.但是由于運行環(huán)境是在靜態(tài)環(huán)境下，人的運動速度相對較低，此時ViBe 算法會無法去除一些附近的背景，造成進一步算法目標跟蹤的準確性下降，卷積神經(jīng)網(wǎng)絡雖然也可對目標進行追蹤，但其追蹤速率比較低，實際應用中跟蹤實時性較差.

表1 靜態(tài)環(huán)境多目標仿真跟蹤結果Table 1 Multi-target simulation tracking results in static environment

動態(tài)環(huán)境下單目標和多目標仿真跟蹤結果見表 2 和表 3.由表可見，在動態(tài)單目標跟蹤環(huán)境下，5 種算法的處理結果截然不同，而效果最差的是ViBe 算法，未識別出一個目標物.由于試驗環(huán)境中跟蹤目標物較少，在一定程度上增強了ViBe 算法的處理速率.因此，雖然本文算法優(yōu)化后的處理速率仍不及ViBe 算法，但其在綜合處理上的最終效果表現(xiàn)得最優(yōu)，且對于多目標跟蹤，本文算法也表現(xiàn)出較好的處理性能，明顯優(yōu)于其他算法.

表2 動態(tài)環(huán)境單目標仿真跟蹤結果Table 2 Tracking results of single target simulation in dynamic environment

表3 動態(tài)環(huán)境下多目標仿真跟蹤結果Table 3 Multi-target simulation tracking results in dynamic environment

3.3 不同環(huán)境下目標的跟蹤

為驗證本文算法具有較好的魯棒性，在不同復雜環(huán)境下目標跟蹤效果，本研究選取不同視頻序列下的第126、175、200 及255 幀進行目標跟蹤試驗，其跟蹤效果如圖6 所示.

圖6 不同環(huán)境下目標跟蹤Fig.6 Target tracking in different environments

跟蹤速率曲線如圖7 所示.分析跟蹤效果圖及跟蹤速率曲線圖表明，本文算法可對不同復雜環(huán)境下單、多目標進行準確跟蹤，且跟蹤速率較快，表現(xiàn)出較好的跟蹤實時性能，同時驗證本文方法較好的魯棒性能.

圖7 不同方法下的跟蹤速率Fig.7 Tracking rate under different methods

4 結 語

為解決傳統(tǒng)光流法目標跟蹤偏移及效率低問題，結合粒子濾波模型提出一種改進光流法的視頻目標跟蹤技術.由仿真試驗及以上敘述，此改進的光流法技術可精準地實現(xiàn)在動、靜場景下對單、多目標的準確、高效跟蹤.由于本文算法在進行光流法前進行了粒子濾波、形心定位處理，使光流法對后續(xù)圖像序列的處理量大大降低，進一步提升運行效率及精確性.從仿真結果準確性及實現(xiàn)效果整體上來分析，本文算法表現(xiàn)出的性能明顯優(yōu)于改進前，且表現(xiàn)出較好的魯棒性，具有較高實際應用價值.