張 辰，趙紅穎，錢 旭

?

面向無人機(jī)影像的目標(biāo)特征跟蹤方法研究

張 辰1，趙紅穎2，錢 旭3

（1.北京航空航天大學(xué)圖像中心，北京 100191；2.北京大學(xué)遙感與地理信息系統(tǒng)研究所，北京 100871；3.中國(guó)礦業(yè)大學(xué)機(jī)電與信息工程學(xué)院，北京 100083）

提出了一種面向無人機(jī)視頻影像的目標(biāo)特征跟蹤模型，首先根據(jù)目標(biāo)檢測(cè)結(jié)果在目標(biāo)感興趣區(qū)域中采用Shi-Tomasi算法進(jìn)行角點(diǎn)檢測(cè)，提取目標(biāo)特征角點(diǎn)并在跟蹤過程中對(duì)特征角點(diǎn)進(jìn)行實(shí)時(shí)更新以保證角點(diǎn)數(shù)量滿足跟蹤條件，最后通過金字塔Lucas-Kanade算法對(duì)目標(biāo)特征進(jìn)行跟蹤。實(shí)驗(yàn)結(jié)果表明，該模型魯棒性強(qiáng)且易于實(shí)現(xiàn)，在獲得良好跟蹤效果的同時(shí)可滿足實(shí)時(shí)處理要求。

目標(biāo)跟蹤；特征提??；Shi-Tomasi角點(diǎn)檢測(cè)；Lucas-Kanade算法

0 引言

無人駕駛飛機(jī)（unmanned aerial vehicle，UAV）是利用無線電遙控設(shè)備和自備的程序控制裝置操縱的不載人飛機(jī)，簡(jiǎn)稱無人機(jī)。無人機(jī)視頻影像是無人機(jī)在高速飛行中獲取的航拍視頻圖像序列。作為視頻圖像處理中的關(guān)鍵技術(shù)，針對(duì)無人機(jī)視頻影像的視覺跟蹤技術(shù)在諸如航空攝影與攝像技術(shù)、航空測(cè)繪、氣象學(xué)、環(huán)境監(jiān)測(cè)、農(nóng)業(yè)和林業(yè)、自然災(zāi)害與危機(jī)管理、土木工程、交通監(jiān)視、執(zhí)法與安保應(yīng)用等軍事、民用及科研領(lǐng)域中都具有重要的研究意義和應(yīng)用價(jià)值。2014年8月3日云南魯?shù)榘l(fā)生6.5級(jí)地震后，武警部隊(duì)首次將四旋翼無人機(jī)應(yīng)用于震后救災(zāi)，無人機(jī)在極其惡劣的環(huán)境下完成航拍任務(wù)，由為合理分配救援力量、確定救災(zāi)重點(diǎn)、選擇救援路線、暢通指揮系統(tǒng)、搜救轉(zhuǎn)移受災(zāi)群眾提供高效準(zhǔn)確的信息參考，大幅提高了黃金72h期間的搜救效率。

目前，視覺跟蹤方法可分為基于區(qū)域的跟蹤、基于特征的跟蹤、基于變形模板的跟蹤和基于模型的跟蹤這幾大類，其中比較常用數(shù)學(xué)方法有卡爾曼濾波器、Mean Shift、粒子濾波器、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等[1-2]。由于無人機(jī)平臺(tái)的特殊性，在對(duì)由無人機(jī)所獲取的視頻影像進(jìn)行處理和分析的過程中，面臨的主要問題包括背景信息復(fù)雜、目標(biāo)特征不明確、圖像質(zhì)量低、畫面嚴(yán)重抖動(dòng)等，因此直接將傳統(tǒng)的跟蹤模型直接應(yīng)用于無人機(jī)視頻數(shù)據(jù)通常無法獲得理想的跟蹤效果。

在針對(duì)無人機(jī)影像的跟蹤系統(tǒng)中，視覺跟蹤的工作流程可根據(jù)無人機(jī)視頻影像的特點(diǎn)分為視頻穩(wěn)像預(yù)處理[3]、目標(biāo)檢測(cè)[4-6]、特征提取和目標(biāo)跟蹤這幾個(gè)步驟。本文重點(diǎn)針對(duì)無人機(jī)影像的目標(biāo)特征提取及跟蹤方法開展研究，建立了一套面向無人機(jī)視頻影像的目標(biāo)特征跟蹤模型，采用Shi-Tomasi算法在目標(biāo)感興趣區(qū)域內(nèi)提取角點(diǎn)并確定地面目標(biāo)特征，再利用金字塔Lucas-Kanade算法實(shí)現(xiàn)對(duì)目標(biāo)特征的跟蹤。模型根據(jù)目標(biāo)姿態(tài)的變化對(duì)目標(biāo)特征角點(diǎn)進(jìn)行實(shí)時(shí)更新，并結(jié)合經(jīng)典的特征跟蹤算法，在滿足實(shí)時(shí)處理要求的同時(shí)，有效提高了無人機(jī)視頻影像目標(biāo)跟蹤過程中目標(biāo)特征變化以及局部遮擋時(shí)的魯棒性及穩(wěn)定性。

1 目標(biāo)特征提取

1.1 角點(diǎn)的檢測(cè)

角點(diǎn)是數(shù)字圖像中的一種重要局部特征，通過在無人機(jī)視頻圖像中檢測(cè)角點(diǎn)，可在保留圖像中重要特征信息的同時(shí)大幅減少信息數(shù)據(jù)量，有效提高計(jì)算速度。角點(diǎn)并沒有唯一的表述方式，目前，人們普遍將角點(diǎn)認(rèn)定為圖像邊緣曲線上曲率極大值的點(diǎn)或圖像中亮度變化劇烈的點(diǎn)。其中，Harris角點(diǎn)檢測(cè)算法[7-8]是目前最為常用的角點(diǎn)檢測(cè)算法之一。其工作原理是尋找圖像邊緣曲線中曲率極大值的點(diǎn)，對(duì)于一個(gè)灰度圖像，將窗口在中移動(dòng)，計(jì)算出圖像中的灰度變化，用公式表示為：

式中：(,)表示窗口在圖像中的坐標(biāo)為(,)；(,)是圖像中(,)的灰度值；(＋,＋)是窗口在在(,)時(shí)這一坐標(biāo)的灰度值。由于角點(diǎn)是灰度值變化最大的點(diǎn)，因此需要求得(,)的最大值，對(duì)其進(jìn)行泰勒展開：

將公式(2)展開可得：

設(shè)一個(gè)2×2的矩陣，使得：

因此，(,)可以表達(dá)為矩陣形式：

設(shè)1、2為矩陣兩個(gè)特征值，將定義為角點(diǎn)響應(yīng)函數(shù)，且：

＝12－(1＋2)2(6)

設(shè)定某一閾值與進(jìn)行比較，當(dāng)大于該閾值時(shí)，則判定該點(diǎn)為角點(diǎn)。

本文采用的角點(diǎn)檢測(cè)算法是Shi-Tomasi角點(diǎn)檢測(cè)算法[9]。Shi-Tomasi算法在Harris算法的基礎(chǔ)上，將定義為兩個(gè)特征值中的較小值：

＝min(12) (7)

若大于某一預(yù)先設(shè)定的閾值min，則判定該點(diǎn)為強(qiáng)角點(diǎn)。在很多情況下，使用Shi-Tomasi算法檢測(cè)角點(diǎn)會(huì)獲得更好的效果。

1.2 目標(biāo)特征的選取

目標(biāo)特征選取是影響目標(biāo)跟蹤效果的關(guān)鍵因素，本文中的目標(biāo)特征選取的基本流程如圖1所示。根據(jù)已檢測(cè)出的地面目標(biāo)位置，首先選定目標(biāo)的最小矩形邊界為感興趣區(qū)域，并在原始圖像所對(duì)應(yīng)的感興趣區(qū)域中檢測(cè)角點(diǎn)；若在該區(qū)域中所檢測(cè)到的角點(diǎn)數(shù)量無法滿足跟蹤條件，則采取迭代選點(diǎn)的策略，即在對(duì)已檢測(cè)出的角點(diǎn)進(jìn)行跟蹤的同時(shí)，在下一幀目標(biāo)檢測(cè)結(jié)果圖像的感興趣區(qū)域中繼續(xù)檢測(cè)新的角點(diǎn)，直到感興趣區(qū)域中的角點(diǎn)數(shù)量滿足跟蹤條件；最后確定出最能體現(xiàn)出目標(biāo)運(yùn)動(dòng)狀態(tài)的一組角點(diǎn)并對(duì)這組角點(diǎn)進(jìn)行跟蹤，即實(shí)現(xiàn)目標(biāo)跟蹤。

圖1 目標(biāo)特征選取流程圖

其中，本文在特征選取中采用的角點(diǎn)選取策略如圖2所示。其中矩形區(qū)域?yàn)槟繕?biāo)檢測(cè)后確定的感興趣區(qū)域，橢圓形區(qū)域?yàn)槟繕?biāo)的實(shí)際位置，黑色點(diǎn)為一些最靠近感興趣區(qū)域邊緣的角點(diǎn)，由于感興趣區(qū)域中不僅包括目標(biāo)，而且還有一部分背景噪聲（陰影部分），這些角點(diǎn)的所在位置很可能是在這部分區(qū)域，因此，這些點(diǎn)不能作為之后跟蹤過程中的特征角點(diǎn)。最終選取的最能體現(xiàn)出目標(biāo)運(yùn)動(dòng)狀態(tài)的一組角點(diǎn)為圖中的空心點(diǎn)，由這些角點(diǎn)所確定的最小矩形邊界（虛線矩形框）為由這組點(diǎn)所確定出的目標(biāo)位置。

圖2 目標(biāo)特征角點(diǎn)選取示意圖

而該策略的另外一個(gè)規(guī)則可描述為跟蹤過程中特征角點(diǎn)的替換更新。在相鄰幀無人機(jī)視頻圖像的目標(biāo)感興趣區(qū)域中，角點(diǎn)的相對(duì)位置并不是完全靜止的，特別是在目標(biāo)遇到遮擋、形變、亮度變化的情況時(shí)，位置關(guān)系很可能發(fā)生改變。為了保證目標(biāo)位置的準(zhǔn)確性，應(yīng)對(duì)特征角點(diǎn)進(jìn)行實(shí)時(shí)更新。圖2(a)和圖2(b)為視頻圖像序列中兩幅相鄰圖像示意圖，角點(diǎn)1和角點(diǎn)3的位置在新一幀圖像中運(yùn)動(dòng)到了感興趣區(qū)域邊緣，此時(shí)確定目標(biāo)最小矩形邊界的特征角點(diǎn)由角點(diǎn)2和角點(diǎn)4取而代之。在此基礎(chǔ)上，可以根據(jù)角點(diǎn)檢測(cè)結(jié)果進(jìn)一步計(jì)算，得到目標(biāo)的質(zhì)心坐標(biāo)，實(shí)現(xiàn)對(duì)目標(biāo)位置的精確檢測(cè)。設(shè)質(zhì)心的坐標(biāo)為(,)，計(jì)算公式如下：

式中：(,)為角點(diǎn)的坐標(biāo)；為角點(diǎn)數(shù)目。

2 Lucas-Kanade跟蹤算法

2.1 Lucas-Kanade算法原理

在對(duì)所選取特征角點(diǎn)進(jìn)行跟蹤的過程中，本文以Lucas-Kanade跟蹤算法為理論基礎(chǔ)實(shí)現(xiàn)目標(biāo)跟蹤。Lucas-Kanade算法是計(jì)算機(jī)視覺領(lǐng)域中一種廣泛使用的光流估算差分方法，目的是通過計(jì)算稀疏光流實(shí)現(xiàn)對(duì)目標(biāo)特征的跟蹤，計(jì)算復(fù)雜度低，且具備良好的跟蹤精度。一般情況下，采用Lucas-Kanade算法實(shí)現(xiàn)目標(biāo)跟蹤需同時(shí)滿足亮度恒定、時(shí)間連續(xù)、空間一致這3個(gè)條件[10]。

亮度恒定指圖像中目標(biāo)區(qū)域的像素在幀間運(yùn)動(dòng)時(shí)不隨時(shí)間發(fā)生明顯變化，對(duì)于灰度圖像，即被跟蹤目標(biāo)的灰度值在相鄰幀間不變。亮度恒定的公式可被表示為：

(,)≡(((),)＝((＋d),＋d) (9)

即被跟蹤目標(biāo)的像素灰度值不隨時(shí)間變化而變化：

時(shí)間連續(xù)指兩個(gè)相鄰幀圖像中的內(nèi)容位移很小，圖像內(nèi)容隨時(shí)間緩慢變化。在實(shí)際應(yīng)用中表現(xiàn)為時(shí)間變化相對(duì)于圖像運(yùn)動(dòng)的比例足夠小，即目標(biāo)在相鄰幀間的運(yùn)動(dòng)比較小。

空間一致是指在同一場(chǎng)景中，同一表面上鄰近的點(diǎn)具有相似的運(yùn)動(dòng)，在圖像平面中的投影也在鄰近區(qū)域。Lucas-Kanade算法基于圖像內(nèi)容在相鄰兩幀圖像間點(diǎn)的鄰域內(nèi)大致不變的這一假設(shè)，假定光流方程適用于在以點(diǎn)為中心窗口內(nèi)的所有像素，局部圖像光流矢量(V,V)需滿足以下等式：

式中：q是窗口中的像素；I(q)、I(q)、I(q)是圖像相對(duì)于點(diǎn)(,)和時(shí)間的偏微分。令：

(AA)可逆時(shí)，方程的解可進(jìn)一步表示為：

跟蹤窗口中心在圖像的角點(diǎn)區(qū)域時(shí)，(AA)具有兩個(gè)線性無關(guān)的特征向量，即(AA)滿秩，使得(AA)可逆，因此這些角點(diǎn)是可用于Lucas-Kanade跟蹤算法的良好特征點(diǎn)。

2.2 金字塔Lucas-Kanade特征點(diǎn)跟蹤算法

對(duì)于大多數(shù)30Hz以下的視頻圖像序列，特別是無人機(jī)視頻數(shù)據(jù)，漂移、晃動(dòng)等大而不連貫的運(yùn)動(dòng)是普遍存在的，因此無人機(jī)視頻數(shù)據(jù)往往無法滿足上述條件。將圖像金字塔與Lucas-Kanade算法結(jié)合可以解決這一問題[11]。

金字塔Lucas-Kanade算法的計(jì)算原理如圖3所示，對(duì)于兩幅連續(xù)圖像當(dāng)圖像和，設(shè)I是金字塔第層圖像，其中0是金字塔第0層原始圖像，0中的特征點(diǎn)(,)在第層圖像中表示為p(/2,/2)。使用Lucas-Kanade算法計(jì)算此點(diǎn)在J中所對(duì)應(yīng)的位置p(,)＋d(,)，其中d為角點(diǎn)在第層中的平移量。設(shè)g為第層中的光流猜測(cè)值，得到金字塔層間的光流傳遞結(jié)果，以這一光流值作為其下一層的光流計(jì)算的初值，對(duì)圖像金字塔上采樣，重復(fù)這一過程，直至第0層估計(jì)出最終的光流計(jì)算結(jié)果。由于圖像金字塔按照由粗至精方式計(jì)算，誤差會(huì)隨著層數(shù)的降低而增加，因此不宜設(shè)置過大，一般取2≤≤4。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 仿真平臺(tái)及實(shí)驗(yàn)數(shù)據(jù)

本論文中實(shí)仿真實(shí)驗(yàn)硬件平臺(tái)為PC臺(tái)式計(jì)算機(jī)，配置如下：

CPU：Intel Pentium CPU G860 DualCore 3.00GHz

內(nèi)存：8.00GB RAM

顯卡：NVIDIA GeForce GT640 (2048 MB)

操作系統(tǒng)：Microsoft Windows 7 Ultimate 64-bit

本文中設(shè)計(jì)的跟蹤模型基于Visual Studio 2010平臺(tái)實(shí)現(xiàn)，其中的部分函數(shù)調(diào)用于OpenCV計(jì)算機(jī)視覺庫(kù)。實(shí)驗(yàn)數(shù)據(jù)為一段MP4格式無人機(jī)仿真視頻，具體參數(shù)如下：

格式：MPEG-4

幀率（fps）：29.93

畫面尺寸（像素）：1280×720

碼率（kbps）：8373

時(shí)間長(zhǎng)度（ms）：12430

圖3 金字塔Lucas-Kanade算法計(jì)算原理

Fig.3 Principle of pyramid Lucas-Kanade algorithm

3.2 實(shí)驗(yàn)方法及仿真效果

仿真實(shí)驗(yàn)的算法流程可以分為特征檢測(cè)和目標(biāo)跟蹤兩個(gè)階段，首先利用文獻(xiàn)[6]中的目標(biāo)檢測(cè)方法確定目標(biāo)感興趣區(qū)域，在此區(qū)域內(nèi)檢測(cè)角點(diǎn)并進(jìn)行特征選取，檢測(cè)結(jié)果如圖4所示?？梢钥闯觯瑱z測(cè)到的角點(diǎn)數(shù)目隨視頻圖像序列的播放而增加，當(dāng)達(dá)到一定數(shù)目后，利用本文提出的選點(diǎn)規(guī)則確定出目標(biāo)的最小矩形邊界和目標(biāo)質(zhì)心。

確定目標(biāo)區(qū)域后，使用金字塔Lucas-Kanade算法對(duì)特征角點(diǎn)進(jìn)行跟蹤，目標(biāo)位置由目標(biāo)感興趣區(qū)域中的特征角點(diǎn)所確定，跟蹤效果如圖5所示。其中圖5(a)中所采用的跟蹤模型僅對(duì)初始特征角點(diǎn)進(jìn)行跟蹤，并且在跟蹤過程中并未進(jìn)行特征角點(diǎn)實(shí)時(shí)更新，圖5(b)中為采用本文跟蹤模型后的跟蹤效果。

在目標(biāo)特征確定后，利用本章算法進(jìn)行目標(biāo)跟蹤所耗費(fèi)的時(shí)長(zhǎng)約15ms/幀，可以滿足30fps以下視頻圖像序列的實(shí)時(shí)處理要求。

4 結(jié)論

本文提出一種面向無人機(jī)視頻影像的目標(biāo)特征跟蹤方法，采用Shi-Tomasi算法在目標(biāo)感興趣區(qū)域中檢測(cè)角點(diǎn)，根據(jù)檢測(cè)結(jié)果提取目標(biāo)特征，同時(shí)在跟蹤過程中對(duì)特征角點(diǎn)進(jìn)行實(shí)時(shí)更新，最終通過金字塔Lucas-Kanade算法實(shí)現(xiàn)對(duì)目標(biāo)特征的跟蹤。實(shí)驗(yàn)結(jié)果表明，利用該模型對(duì)目標(biāo)特征進(jìn)行跟蹤可在獲得良好跟蹤效果的同時(shí)滿足實(shí)時(shí)處理要求。

圖4 目標(biāo)特征選取效果圖

Fig.4 Results of object features selecting

圖5 目標(biāo)跟蹤效果對(duì)比

Fig.5 Results of object tracking

[1] Hu Weiming, TAN Tieniu, WANG Liang, et al. A survey on visual surveillance of object motion and behaviors[J].,,, 2004, 32(3): 334-352.

[2] 楊戈, 劉宏. 視覺跟蹤算法綜述[J]. 智能系統(tǒng)學(xué)報(bào), 2010, 5(2): 95-105.

[3] 趙紅穎, 金宏, 熊經(jīng)武, 等. 電子穩(wěn)像技術(shù)概述[J]. 光學(xué)精密工程, 2001, 9(4): 353-359.

[4] 江友誼, 余瑞星, 宋軍艷, 等. 基于ICM的局部不變特征提取方法[J]. 紅外技術(shù), 2012, 34(3): 177-180.

[5] Ferrari V, Jurie F, Schmid C. From images to shape models for object detection[J]., 2010, 87(3): 284-303.

[6] 張辰, 趙紅穎, 錢旭. 直方圖反向投影多目標(biāo)檢測(cè)優(yōu)化算法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2014(2): 178-182, 218.

[7] Harris C, Stephens M. A combined corner and edge detector[C]//, 1988: 147-151.

[8] 羅剛, 張?jiān)品? 應(yīng)用角點(diǎn)匹配實(shí)現(xiàn)目標(biāo)跟蹤[J].中國(guó)光學(xué), 2009, 2(6): 477-481.

[9] Shi J, Tomasi C. Good Features to Track[C]//, 1994: 593-600.

[10] Bradski G R, Kaehler A.:[M]. O'Reilly Media, Incorporated, 2008.

[11] 江志軍, 易華蓉. 一種基于圖像金字塔光流的特征跟蹤方法[J]. 武漢大學(xué)學(xué)報(bào):信息科學(xué)版, 2007(8): 680-683.

Research on Object Feature Tracking Method Oriented to UAV Images

ZHANG Chen1，ZHAO Hong-ying2，QIAN Xu3

（1.，，100191，；2.，，100871，；3.，，100083，）

An object feature tracking model oriented to UAV images is proposed. Firstly, corners in the region of interest which determined based on the object detection result are detected by Shi-Tomasi corner detection method. Feature corners are extracted and updated in real-time to assure the quantity of the detected features meet the tracking requirement. Finally, the pyramid Lucas-Kanade algorithm is used to track object features. The simulation results show that the proposed model is easily implemented and has good robustness. Besides, it performs well in object tracking and the real-time requirement can be fulfilled.

object tracking，feature extraction，Shi-Tomasi corner detection，Lucas-Kanade algorithm

TP751

A

1001-8891(2015)03-0224-05

2014-08-16；

2014-09-18.

張辰（1988-），男，博士研究生，主要研究方向?yàn)閿?shù)字圖像處理，計(jì)算機(jī)視覺。