張作省，朱瑞飛，鐘 興，高 放

（長(zhǎng)光衛(wèi)星技術(shù)有限公司，長(zhǎng)春 130000）

0 引言

目標(biāo)跟蹤作為動(dòng)態(tài)目標(biāo)觀測(cè)最重要的技術(shù)手段之一，在紅外成像［1］、視頻監(jiān)控［2］、自動(dòng)導(dǎo)航［3］、人機(jī)交互［4］、虛擬現(xiàn)實(shí)［5］等應(yīng)用方向得到廣泛應(yīng)用。高分辨率視頻衛(wèi)星［6］作為一種新型的對(duì)地觀測(cè)系統(tǒng)，采用“凝視”［7］成像方式對(duì)某一區(qū)域連續(xù)觀察，并以視頻的方式記錄視場(chǎng)內(nèi)的變化信息。除了能夠獲取傳統(tǒng)光學(xué)遙感影像包含的信息外，還可以針對(duì)地面固定目標(biāo)區(qū)域獲取一系列圖像組成視頻，直接獲取動(dòng)態(tài)目標(biāo)信息，實(shí)現(xiàn)高分辨率衛(wèi)星在一定時(shí)間范圍內(nèi)的持續(xù)監(jiān)視能力，顛覆性地將動(dòng)態(tài)目標(biāo)觀測(cè)技術(shù)應(yīng)用至遙感領(lǐng)域。

目前，國(guó)內(nèi)外已有多顆在役高分辨率視頻衛(wèi)星，具有代表性的有美國(guó)SKYBOX 公司的Skysat 系列視頻衛(wèi)星［8］、我國(guó)2014 年發(fā)射的“天拓-2 號(hào)”視頻星［9］、2015 年發(fā)射的第一顆商業(yè)遙感視頻衛(wèi)星“吉林一號(hào)”視頻1 星［10］、2017 年發(fā)射的“吉林一號(hào)”視頻3 星及2018 年初發(fā)射的視頻4、5、6 星等。隨著商業(yè)衛(wèi)星產(chǎn)業(yè)的急速發(fā)展，高分辨率視頻衛(wèi)星的數(shù)量逐年增多，但由于視頻衛(wèi)星獲取的影像數(shù)據(jù)分辨率低、成像范圍大、衛(wèi)星載荷相機(jī)抖動(dòng)、大氣環(huán)境干擾、光照強(qiáng)度不穩(wěn)定、背景遮擋等一系列問題的存在，使得成熟目標(biāo)跟蹤算法在高分辨率視頻衛(wèi)星影像應(yīng)用中難以獲得如傳統(tǒng)視頻數(shù)據(jù)中的成功，尚未有針對(duì)高分辨率視頻衛(wèi)星影像實(shí)時(shí)目標(biāo)跟蹤的成熟技術(shù)公開，實(shí)時(shí)目標(biāo)跟蹤技術(shù)目前仍是遙感視頻應(yīng)用領(lǐng)域的一大難題。

近年來，國(guó)內(nèi)外學(xué)術(shù)界對(duì)于實(shí)時(shí)目標(biāo)跟蹤算法的研究，主要可以分為基于運(yùn)動(dòng)目標(biāo)檢測(cè)的跟蹤算法、基于對(duì)比度分析的跟蹤算法、基于核方法的跟蹤算法、基于特征匹配的跟蹤算法，以及基于貝葉斯框架的跟蹤算法這五大類。光流法［11］作為基于運(yùn)動(dòng)檢測(cè)的代表性跟蹤算法，能夠較好地完成二位運(yùn)動(dòng)估計(jì)，但光流法需要大量迭代運(yùn)算，算法運(yùn)行速度過慢，難以實(shí)現(xiàn)目標(biāo)實(shí)時(shí)跟蹤。基于對(duì)比度的邊緣、型心和質(zhì)心跟蹤算法［12］在空中背景下可以取得良好的目標(biāo)跟蹤效果，但在復(fù)雜背景條件下的跟蹤結(jié)果卻差強(qiáng)人意?；谔卣髌ヅ涞腒LT［13］、Harris［14］等算法具有良好的旋轉(zhuǎn)和尺度不變性，但其特征提取和特征匹配的不穩(wěn)定性難以滿足目標(biāo)跟蹤算法的準(zhǔn)確率要求?；诤朔椒ǖ母櫵惴ㄖ?，Mean-Shift均值漂移算法［15］能夠有效地避免使用目標(biāo)形狀、外觀和運(yùn)動(dòng)趨勢(shì)等復(fù)雜信息建模，具有優(yōu)異的算法復(fù)雜度，但是該算法不適用于旋轉(zhuǎn)和尺度運(yùn)動(dòng)的估計(jì)問題；基于貝葉斯框架的常規(guī)卡爾曼濾波算法［16］對(duì)于非線性和非高斯環(huán)境不能直接使用以解決目標(biāo)估計(jì)問題；基于時(shí)空上下文（Fast Tracking via Spatio-Temporal Context Learning，STC）的目標(biāo)跟蹤算法［17］在貝葉斯框架下利用目標(biāo)和目標(biāo)局部的稠密信息的時(shí)空關(guān)系來建模，以其優(yōu)秀的跟蹤準(zhǔn)確率、實(shí)時(shí)性和快速魯棒性等優(yōu)點(diǎn)引起了國(guó)內(nèi)外學(xué)術(shù)界的廣泛關(guān)注。

然而，直接使用STC 算法對(duì)高分辨率視頻衛(wèi)星影像中任意感興趣的目標(biāo)進(jìn)行目標(biāo)跟蹤應(yīng)用不能取得令人滿意的實(shí)驗(yàn)效果。這主要因?yàn)樵诟叻直媛室曨l衛(wèi)星影像數(shù)據(jù)中目標(biāo)的尺度過小，使算法難以提取目標(biāo)的特征，難以總結(jié)目標(biāo)規(guī)律，難以對(duì)目標(biāo)建立適合的數(shù)學(xué)模型；同時(shí)，在高分辨率視頻衛(wèi)星影像中，由于成像尺度較大（如“吉林一號(hào)”視頻3星獲取的視頻影像數(shù)據(jù)的成像幅寬為11.2 km×4.6 km，分辨率為0.92 m）而引起的復(fù)雜背景對(duì)跟蹤算法的干擾遠(yuǎn)大于傳統(tǒng)視頻影像，例如機(jī)場(chǎng)停機(jī)坪內(nèi)紋理和陰影以及復(fù)雜的建筑外形等因素都會(huì)對(duì)以飛行器為目標(biāo)的實(shí)時(shí)目標(biāo)跟蹤造成巨大的背景干擾。

針對(duì)STC 目標(biāo)跟蹤算法在高分辨率視頻衛(wèi)星影像中目標(biāo)經(jīng)過復(fù)雜背景時(shí)跟蹤準(zhǔn)確度過低的問題，本文提出了適用于視頻衛(wèi)星影像的改進(jìn)時(shí)空上下文目標(biāo)實(shí)時(shí)跟蹤算法。該算法使用感知哈希算法、幀間學(xué)習(xí)率自適應(yīng)更新方法和固定目標(biāo)尺度方法，分別提升STC 目標(biāo)跟蹤算法的目標(biāo)定位精度、算法準(zhǔn)確度和算法速度。實(shí)驗(yàn)結(jié)果表明，所提算法能夠很好地完成針對(duì)高分辨率視頻衛(wèi)星影像中任意感興趣目標(biāo)的實(shí)時(shí)跟蹤任務(wù)。

1 STC 目標(biāo)跟蹤算法

1.1 算法描述

時(shí)空上下文跟蹤（STC）在貝葉斯框架下將動(dòng)態(tài)目標(biāo)的跟蹤問題描述為計(jì)算一個(gè)估計(jì)目標(biāo)潛在位置的似然置信圖模型，將目標(biāo)出現(xiàn)位置x 的置信值表示為：

其中，I（z）表示像素點(diǎn)z 處灰度值，權(quán)重函數(shù)ωσ定義為：

其中，權(quán)重函數(shù)ωσ（z）為高斯分布，a 為歸一化參數(shù)，σ 為尺度參數(shù)。

第1 幀目標(biāo)位置置信圖表示為：

其中，b 為歸一化常量，α 為關(guān)于尺度的常數(shù)。由式（1）～式（5）可得：

使用傅里葉變換在頻率域內(nèi)對(duì)其計(jì)算：

進(jìn)而求得上下文模型：

1.2 跟蹤過程

其中，ρ 為幀間學(xué)習(xí)率。

通過第t+1 幀置信圖求得最大似然概率位置為：

其中，后一幀目標(biāo)的置信圖為：

根據(jù)式（12），取置信圖中的最大點(diǎn)作為當(dāng)前幀的目標(biāo)位置。

此外，在STC 算法中，式（4）中的尺度參數(shù)根據(jù)視野中目標(biāo)尺度隨時(shí)間變化而相應(yīng)更新，其更新方案為：

2 算法改進(jìn)

2.1 感知哈希上下文跟蹤

在STC 跟蹤算法中，將當(dāng)前檢測(cè)區(qū)域的時(shí)空上下文模型響應(yīng)作為置信值，取置信值最大處作為目標(biāo)位置。但是，使用STC 跟蹤算法對(duì)視頻衛(wèi)星影像進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)時(shí)，由于復(fù)雜背景干擾和影像晃動(dòng)等因素對(duì)模型的干擾，使算法獲取的置信位置誤差過大。此外，時(shí)空上下文模型呈現(xiàn)低通特性［18］，總能對(duì)真實(shí)的目標(biāo)產(chǎn)生較大響應(yīng)值，但時(shí)空上下文模型的不斷更新會(huì)使響應(yīng)出現(xiàn)多個(gè)峰值，真實(shí)目標(biāo)位置可能在主峰的峰值處或者旁邊次峰值處。通過響應(yīng)值的最大值點(diǎn)確定目標(biāo)位置在模型不準(zhǔn)確時(shí)會(huì)導(dǎo)致跟蹤失敗。

針對(duì)上述問題，所提算法通過對(duì)多個(gè)響應(yīng)峰值點(diǎn)的對(duì)應(yīng)區(qū)域與前一幀目標(biāo)區(qū)域進(jìn)行哈希距離計(jì)算，以確定其真實(shí)目標(biāo)的中心，有效提升STC 算法對(duì)復(fù)雜背景下小目標(biāo)的目標(biāo)定位精度。在哈希距離的計(jì)算中，考慮到算法的健壯性和計(jì)算速度，使用感知哈希算法（Perceptual hash algorithm）［19］。

具體步驟如下：

1）計(jì)算前一幀目標(biāo)區(qū)域哈希值：

①將選定區(qū)域縮放至32×32；

②將彩色圖像轉(zhuǎn)化成灰度圖像；

③對(duì)圖像進(jìn)行離散余弦（DCT）變換［20］以得到DCT 系數(shù)矩陣；

④截取系數(shù)矩陣左上角的8×8 矩陣以保留圖像的低頻信息；

⑤計(jì)算DCT 系數(shù)矩陣的灰度平均值；

⑥在系數(shù)矩陣中設(shè)置哈希值（小于灰度平均值設(shè)為“0”，其余設(shè)為“1”），構(gòu)成選定區(qū)域的一個(gè)64位哈希值。

2）以當(dāng)前幀的響應(yīng)峰值點(diǎn)為中心截取出與目標(biāo)框大小相同的圖像塊，計(jì)算其哈希值并與前一幀目標(biāo)區(qū)域哈希值對(duì)比；若64 位哈希值中不同數(shù)據(jù)位數(shù)不超過5 個(gè)，則以該響應(yīng)值作為當(dāng)前幀目標(biāo)區(qū)域中心，否則進(jìn)行步驟3）；

3）選取當(dāng)前幀的響應(yīng)峰值的5 個(gè)最大點(diǎn)，分別以相應(yīng)最大點(diǎn)為中心，截取出與目標(biāo)框大小相同的圖像塊，計(jì)算其哈希值并與前一幀目標(biāo)區(qū)域哈希值對(duì)比，選取哈希距離最小值對(duì)應(yīng)的圖像塊作為當(dāng)前幀目標(biāo)區(qū)域；

4）若哈希距離最小值不止一個(gè)，則以全部最小值對(duì)應(yīng)相應(yīng)點(diǎn)的位置坐標(biāo)均值作為當(dāng)前幀的目標(biāo)區(qū)域中心點(diǎn)。

2.2 幀間學(xué)習(xí)率自適應(yīng)更新

在STC 算法中，其固定學(xué)習(xí)率的方法雖然在一定程度上降低了算法復(fù)雜度，但該方法在當(dāng)前幀目標(biāo)丟失時(shí)會(huì)致使后續(xù)幀錯(cuò)誤模型的快速累加，進(jìn)而導(dǎo)致STC 算法跟蹤失敗。

針對(duì)上述問題，為應(yīng)對(duì)跟蹤過程中的目標(biāo)及背景信息的不斷變化，所提算法采用幀間學(xué)習(xí)率自適應(yīng)更新方法，根據(jù)跟蹤器的響應(yīng)結(jié)果和新舊目標(biāo)的哈希距離為學(xué)習(xí)率賦值。所提算法采用核相關(guān)濾波器［21］中的PSR 量化相關(guān)峰的銳利程度以衡量跟蹤結(jié)果匹配度：其中，參數(shù)μ 和σ 分別表示目標(biāo)區(qū)域的置信值均值和方差。

上下文學(xué)習(xí)率設(shè)為：

其中，參數(shù)t 為幀數(shù)，h 為目標(biāo)區(qū)域上一幀目標(biāo)區(qū)域間的哈希距離=0.1 為實(shí)驗(yàn)值。

2.3 算法流程圖

圖1 所提算法流程圖

2.4 固定目標(biāo)尺度

針對(duì)高分辨率視頻衛(wèi)星影像中的目標(biāo)較小且目標(biāo)尺度固定的特點(diǎn)，所提算法不再考慮目標(biāo)尺度變化特性，初始化目標(biāo)參數(shù)為：

其中，參數(shù)w 和h 分別表示所選目標(biāo)框的寬度和高度。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提算法在遙感影像數(shù)據(jù)中的有效性，使用現(xiàn)有實(shí)驗(yàn)平臺(tái)（Intel i7 3.60 GHz CPU/8GB RAM||MATLAB2016a）對(duì)“吉林一號(hào)”視頻1 星和視頻3 星獲取的機(jī)場(chǎng)視頻影像進(jìn)行實(shí)驗(yàn)，4 組分辨率不同的實(shí)驗(yàn)視頻序列均包含光照變化、背景雜亂和影像晃動(dòng)等干擾情況。選用跟蹤目標(biāo)的中心位置與手工標(biāo)定的準(zhǔn)確位置之間的平均歐式距離作為實(shí)驗(yàn)評(píng)估標(biāo)準(zhǔn)，同時(shí)，選用邊界框成功率作為另一評(píng)估標(biāo)準(zhǔn)，其定義為：

其中，跟蹤算法邊界框?yàn)镽t，手工標(biāo)注邊界框?yàn)镽a，當(dāng)重疊率大于75%時(shí)視當(dāng)前幀為成功幀，成功幀數(shù)在總幀數(shù)中所占百分比為成功率。

圖2 “舊金山”跟蹤結(jié)果對(duì)比

圖3 跟蹤誤差曲線（舊金山）

在“舊金山”視頻序列里，改進(jìn)算法和原始算法跟蹤目標(biāo)的中心誤差如圖3 所示。由誤差曲線可以看出，在目標(biāo)經(jīng)過跑道背景中的白塊時(shí)，由于背景信息對(duì)目標(biāo)造成的極大干擾，使得STC 算法在尋找目標(biāo)時(shí)出現(xiàn)錯(cuò)誤，真實(shí)目標(biāo)的響應(yīng)峰值并不是其最大值，進(jìn)而導(dǎo)致跟蹤失敗。如圖4 紅色實(shí)線所示。

圖4 目標(biāo)丟失置信響應(yīng)圖

圖5 “梅里達(dá)”跟蹤結(jié)果對(duì)比

圖6 目標(biāo)丟失關(guān)鍵幀

因此，STC 算法取響應(yīng)最大值的操作，使得算法對(duì)目標(biāo)判斷錯(cuò)誤而導(dǎo)致跟蹤目標(biāo)丟失，而所提算法將目標(biāo)的多個(gè)響應(yīng)峰值點(diǎn)與前一幀目標(biāo)進(jìn)行相似性判斷，以確定真實(shí)目標(biāo)（如圖3 中紅線所示），在視頻1 星數(shù)據(jù)中，較好地完成了在復(fù)雜背景下實(shí)時(shí)目標(biāo)跟蹤的實(shí)驗(yàn)，證明了所提算法在復(fù)雜背景下依然具有較強(qiáng)的魯棒性。

圖5 對(duì)比了所提算法和STC 算法對(duì)“吉林一號(hào)”視頻3 星獲取的“梅里達(dá)”視頻序列中“飛機(jī)”進(jìn)行目標(biāo)跟蹤的仿真實(shí)驗(yàn)結(jié)果。其中，STC 算法在測(cè)試視頻序列的第89 幀時(shí)丟失目標(biāo)，所提算法則有效地克服了背景干擾的影響，實(shí)現(xiàn)連續(xù)跟蹤。圖6 展示了STC 算法在測(cè)試視頻序列中丟失目標(biāo)時(shí)的關(guān)鍵幀，從圖6 可以看出，在目標(biāo)經(jīng)過建筑物時(shí)，由于目標(biāo)的時(shí)空上下文信息、形狀信息與背景信息的高度相似，導(dǎo)致STC 算法跟蹤失敗，而所提算法有效地克服了復(fù)雜背景信息的干擾，成功實(shí)現(xiàn)目標(biāo)連續(xù)跟蹤。

表1 跟蹤準(zhǔn)確率及速度比較

4 結(jié)論

針對(duì)STC 目標(biāo)跟蹤算法在高分辨率視頻衛(wèi)星影像中，目標(biāo)經(jīng)過復(fù)雜背景時(shí)跟蹤準(zhǔn)確度過低的問題，本文提出了適用于視頻衛(wèi)星影像的改進(jìn)時(shí)空上下文目標(biāo)實(shí)時(shí)跟蹤算法。該算法使用感知哈希算法、幀間學(xué)習(xí)率自適應(yīng)更新方法和固定目標(biāo)尺度方法，分別提升STC 算法的目標(biāo)定位精度、算法準(zhǔn)確度和算法速度。仿真實(shí)驗(yàn)結(jié)果表明，所提算法在保證實(shí)時(shí)跟蹤的同時(shí)，克服了視頻衛(wèi)星影像中復(fù)雜背景對(duì)目標(biāo)跟蹤算法的干擾，實(shí)現(xiàn)了針對(duì)高分辨率視頻衛(wèi)星影像實(shí)時(shí)精準(zhǔn)目標(biāo)跟蹤。