王悅行，陳曉冬，趙克軍，黃　慶，汪　毅，郁道銀（1　天津大學(xué)精密儀器與光電子工程學(xué)院，天津　00072；2　天津大學(xué)光電信息技術(shù)教育部重點實驗室，天津　00072；　洛陽電光設(shè)備研究所，河南洛陽　471000）

海天背景下紅外艦船目標(biāo)實時跟蹤算法研究*

王悅行1，2，陳曉冬1，2，趙克軍3，黃慶3，汪毅1，2，郁道銀1，2
（1天津大學(xué)精密儀器與光電子工程學(xué)院，天津300072；2天津大學(xué)光電信息技術(shù)教育部重點實驗室，天津300072；3洛陽電光設(shè)備研究所，河南洛陽471000）

針對海天背景下的紅外艦船圖像對比度低、船載攝像機上下抖動劇烈的特點，文中提出了均值移位（mean-shift）和海天線檢測相結(jié)合的紅外目標(biāo)實時跟蹤算法。首先通過水平投影方法提取每幀圖像的海天線，然后由相鄰幀海天線的高度差設(shè)定每幀圖像跟蹤起始點，將目標(biāo)的灰度和梯度信息進(jìn)行加權(quán)來描述目標(biāo)特征，利用mean-shift算法進(jìn)行目標(biāo)跟蹤。實驗結(jié)果表明，文中算法能夠準(zhǔn)確跟蹤上下運動劇烈的紅外艦船目標(biāo)，跟蹤速度達(dá)到12 fps。

均值移位；紅外艦船目標(biāo)；實時跟蹤；海天線；水平投影；加權(quán)直方圖

0　引言

海天背景下紅外目標(biāo)的檢測與跟蹤系統(tǒng)具有被動探測、抗干擾能力強和全天候工作等特點，是當(dāng)前偵察、檢測等領(lǐng)域研究的重點。由于紅外檢測系統(tǒng)固有的成像特點，紅外圖像通常存在著噪聲大、目標(biāo)和背景之間對比度小、邊緣模糊等特點［1］。而且由于安裝在海面運動載體上的攝像機隨波浪上下起伏，導(dǎo)致拍攝到的畫面很不穩(wěn)定，畫面中的目標(biāo)運動隨機性較大，在很大程度上增加了目標(biāo)跟蹤的難度［2］。

在海面遠(yuǎn)距離平視狀態(tài)下，艦船紅外圖像一般分為3個區(qū)域：天空區(qū)域、海面區(qū)域和海天線區(qū)域。由于艦船目標(biāo)遠(yuǎn)離成像平臺，且處于平視成像狀態(tài)，故目標(biāo)在運動中是不會脫離海天線的［3］。因此，通過確定海天線的位置，可以縮小目標(biāo)的搜索區(qū)域［4-5］，提高目標(biāo)跟蹤速度和準(zhǔn)確性。關(guān)于海天背景下目標(biāo)實時跟蹤算法研究起步較晚，而且相關(guān)文獻(xiàn)都是在提取目標(biāo)的基礎(chǔ)上采用傳統(tǒng)跟蹤算法進(jìn)行跟蹤［6-7］，并未改進(jìn)算法本身。針對低對比度、高噪聲條件下遠(yuǎn)距離海面上下起伏劇烈的紅外艦船目標(biāo)，文中提出了一種利用海天線信息的加權(quán)mean-shift算法。

1　改進(jìn)mean-shift算法實現(xiàn)

1.1mean-shift算法概述

mean-shift算法是一種基于密度梯度的無參數(shù)估計方法［8］。在跟蹤圖像起始幀中，通過手動確定搜索窗口來選擇運動目標(biāo)；利用式（1）計算初始幀搜索窗口經(jīng)過核函數(shù)加權(quán)的直方圖分布qu，并用同樣的方法得到第N幀對應(yīng)窗口的直方圖分布pu；

式中：xo、xi分別是初始幀搜索窗口（包含n個像素）的中心像素坐標(biāo)和第i個像素的坐標(biāo)；k（‖x‖2）是Epanechnikov型核函數(shù)，h為核半徑。u為描述目標(biāo)的特征值，取值為1-m；函數(shù)δ的作用是判斷xi處的特征值b（xi）是否屬于u；C是一個標(biāo)準(zhǔn)化的常量系數(shù)，使得所有特征值的概率和為1。

設(shè)y為第N幀目標(biāo)的最優(yōu)位置，計算初始幀目標(biāo)模型和第N幀模型的相似性度量ρ（y），定義為：

其中，ρ（y）稱為巴氏系數(shù)。

為使ρ（y）最大，在當(dāng)前幀中，以前一幀搜索窗口的位置作為當(dāng)前幀搜索窗口的位置，設(shè)窗口中心為y0，在y0鄰域內(nèi)尋找局部最優(yōu)目標(biāo)位置y1。對式（2）在ρ（y0）處進(jìn)行泰勒展開，然后通過對相似性函數(shù)求最大值，可以推導(dǎo)出mean-shift向量：

其中ωi稱為權(quán)值，其計算公式為：

mean-shift沿Mh，G（y）反復(fù)迭代，最后得到當(dāng)前幀圖像目標(biāo)的最優(yōu)位置y。

1.2由海天線高度估計起始點

在mean-shift跟蹤過程中，如果目標(biāo)的運動速度過快，當(dāng)前幀目標(biāo)點與跟蹤起始點的距離較大，meanshift算法的跟蹤效果變差［9-10］。由于艦船目標(biāo)在海天線附近運動，海天線的高度變化能夠很好地反映目標(biāo)的上下運動情況，因此可以利用海天線的高度變化獲得每幀圖像mean-shift的跟蹤起始點。第一幀圖像的跟蹤起始點通過手動確定，在以后每幀圖像跟蹤前，先得到當(dāng)前幀圖像的海天線高度，然后通過下列公式確定當(dāng)前幀起始點坐標(biāo)：

hk-1、hk分別為上一幀和當(dāng)前幀的海天線高度，（xk-1，yk-1）是第k-1幀目標(biāo)中心的坐標(biāo)，（xk0，yk0）表示第k幀搜索窗口的起始點坐標(biāo)，N為圖像總幀數(shù)。確定當(dāng)前幀起始點的坐標(biāo)后，mean-shift會在起始點的鄰域找到目標(biāo)最優(yōu)的位置。

2　水平投影法提取海天線

由于海天線通常位于海天背景圖像的中間區(qū)域，而且圖像邊緣區(qū)域的噪聲較大，易對海天線的檢測造成影響。因此，在檢測海天線前，對海天背景圖像進(jìn)行區(qū)域化處理，去除圖像的上下邊緣。然后，對保留的區(qū)域用水平邊緣提取算子進(jìn)行水平邊緣處理，得到二值化邊緣圖像，如圖1（b）所示。通過實驗發(fā)現(xiàn)，邊緣化圖像的亮點集中分布在海天線區(qū)域，而海天線所在行一般是亮點出現(xiàn)最多的行。因此，利用水平投影法，對圖像中每行進(jìn)行求和處理，求和數(shù)值最大的行即認(rèn)為是海天線位置，得到的結(jié)果如圖1（c）所示。

由于紅外探測系統(tǒng)安裝在穩(wěn)定跟蹤平臺上，能夠隔離艦船載體的角運動，海天線的傾角不會超過5°［11］，因此，用水平投影法提取海天線的誤差很小。水平投影法的算法簡單，計算速度較Hough變換方法提高約2.6倍，且提取海天線的準(zhǔn)確性在92%以上。

對于誤取海天線的情況，由于真實的海天線在不同幀之間連續(xù)變化，而誤取的海天線與上一幀真實的海天線相比，位置一般會發(fā)生較大的改變，所以對于誤取海天線的情況，采取近似處理：把上一幀正確識別的海天線近似作為當(dāng)前幀的海天線。判斷海天線是否誤取的方法是：根據(jù)不同天氣條件下的艦船起伏情況設(shè)定閾值T，如果連續(xù)兩幀圖像中海天線的高度差絕對值大于T，則確定為海天線誤取。提取海天線的過程如圖1所示（區(qū)域化處理前后圖像寬度不同）。

3　目標(biāo)模型描述

3.1灰度和梯度概率密度直方圖計算

在紅外圖像序列中，只有灰度信息可以作為紅外目標(biāo)的特征空間。與顏色空間相比，單一的灰度空間信息量少，而且由于海天背景的噪聲大，目標(biāo)特征易受噪聲影響。張旭光等［12］利用梯度方向信息描述目標(biāo)特征，F(xiàn)ouad Bousetouane等［13］將顏色特征和空間結(jié)構(gòu)性質(zhì)相結(jié)合描述目標(biāo)特征。文中采用圖像灰度和梯度方向信息加權(quán)的方法構(gòu)造特征空間，形成概率密度的多特征描述。

首先，將灰度值0～255等分為16份，分別標(biāo)記為｛1，2，…，16｝，記作特征值u，將搜索窗口像素的灰度值按照上述規(guī)則進(jìn)行統(tǒng)計，得到對應(yīng)元素的灰度特征值b（xi），根據(jù)式（1）對搜索窗口中像素的灰度值進(jìn)行核函數(shù)加權(quán)處理，得到灰度特征概率密度分布直方圖pu1。

圖1　海天線提取過程

然后，定義搜索窗口中像素的梯度方向角為：

式中：?f/?x和?f/?y分別是該像素處沿X和Y方向的梯度，可以通過sobel算子得到，計算得到θ的取值為（-π，π］。

得到像素的梯度方向角后，為了獲得方向編碼，需要對方向角進(jìn)行量化處理，具體計算公式如下：

式中：方向編碼的間距取π/8對θ進(jìn)行量化，為避免灰度和梯度加權(quán)后相互干擾，在式（9）中將梯度量化值加上25，從而使灰度和梯度的取值不同，因此c的取值范圍為｛17，18，…，33｝。為避免式（8）中由于X方向的局部小梯度引起梯度噪聲，根據(jù)目標(biāo)邊緣的梯度大小設(shè)定Th=10。由式（1）得到梯度特征概率密度分布直方圖pu2。

3.2加權(quán)特征描述

將灰度和梯度特征直方圖按照式（10）進(jìn)行加權(quán)，得到加權(quán)特征概率密度分布直方圖pu。pu的取值范圍為｛1，2，…，33｝，其中，目標(biāo)的灰度直方圖pu1取值為｛1，2，…，16｝，目標(biāo)的梯度直方圖pu2取值為｛17，18，…，33｝。

式中：τ為灰度權(quán)重因子，τ的取值由跟蹤框中目標(biāo)和背景的灰度對比度決定，灰度對比度大時τ相應(yīng)增大。由于目標(biāo)的灰度值較大且相對穩(wěn)定，而背景的灰度值較小且變化劇烈，因此，灰度值對比度主要由背景的灰度值大小決定。選擇最大類間方差法（OTSU）計算每一幀圖像搜索框中目標(biāo)和背景的灰度閾值M（取值為0～1），M越大說明背景灰度值大，背景與目標(biāo)的對比度小，因此應(yīng)設(shè)置較小的灰度權(quán)重因子。通過實驗發(fā)現(xiàn)，取τ=1-0.6 M，梯度直方圖的權(quán)重因子為1-τ，得到的加權(quán)直方圖pu對目標(biāo)描述準(zhǔn)確，跟蹤效果最好，因此，選擇灰度權(quán)重因子τ=1-0.6 M。

4　算法實驗

4.1算法具體步驟

1）在初始幀建立目標(biāo)模型，初始位置為u0，搜索框大小為L×W，讀取第一幀的海天線高度h1。

2）分別計算目標(biāo)模型的梯度和灰度直方圖，根據(jù)式（10）求出目標(biāo)模型的加權(quán)概率密度函數(shù)qu。

3）讀取當(dāng)前第k幀的海天線高度hk，利用式（5）～式（7）求出當(dāng)前幀跟蹤起始點位置（xk0，yk0），然后在當(dāng)前幀該位置按照步驟2）方法求出候選目標(biāo)區(qū)域的加權(quán)概率密度函數(shù)pu；根據(jù)式（1）計算目標(biāo)模型和當(dāng)前候選目標(biāo)的相似度ρ1。

4）將qu和pu代入式（3）、式（4）計算加權(quán)偏移量Y，然后將起始點位置偏移Y后計算新候選位置的加權(quán)概率密度函數(shù)p'u，然后計算其與目標(biāo)模型的相似度ρ2；如果ρ2＜ρ1，則Y=Y/2。

5）判斷‖Y‖2＜ε或者大于預(yù)定的最大迭代次數(shù)N，如果滿足條件則停止本步驟，否則以起始點位置（xk0，yk0）加上偏移量Y為新的起始點，在當(dāng)前幀繼續(xù)按照步驟3）、4）搜索。算法設(shè)定ε=0.5，N=20。

6）轉(zhuǎn)到下一幀，重復(fù)3）～5）步驟，直至跟蹤結(jié)束。

4.2實驗結(jié)果與分析

為了驗證文中紅外圖像目標(biāo)跟蹤算法，文中分別選取紅外小艦船和紅外大艦船目標(biāo)序列進(jìn)行目標(biāo)跟蹤實驗，兩段視頻的具體指標(biāo)參見表1。在Intel Core i3 3.3 GHz的PC機上應(yīng)用MATLAB R2014a軟件平臺，分別對圖像序列采用基于灰度的mean-shift方法、基于梯度的mean-shift方法和文中算法進(jìn)行實驗。在圖像序列的第一幀，采用手動方式確定待跟蹤紅外目標(biāo)的位置和大小。

表1　實驗視頻指標(biāo)統(tǒng)計

圖2　三種算法對小目標(biāo)圖像跟蹤效果

圖2是三種算法對小目標(biāo)圖像的跟蹤效果，圖2 （a1）～圖2（c1）、圖2（a2）～圖2（c2）、圖2（a3）～圖2（c3）分別為灰度mean-shift算法、梯度mean-shift算法和文中算法在第183、210和234幀的跟蹤效果?？梢钥吹?，在第183幀3個算法都有較好的跟蹤效果，但是在第210幀，由于目標(biāo)下降過快，目標(biāo)周圍背景灰度變亮，背景與目標(biāo)的灰度對比度減小，此時，灰度mean-shift不能準(zhǔn)確的跟蹤到目標(biāo)，但因為meanshift方法具有在跟蹤失敗后恢復(fù)的能力，在第234幀又重新跟蹤到目標(biāo)。由于目標(biāo)和背景的梯度對比度較大而且保持相對穩(wěn)定，因此，梯度mean-shift能準(zhǔn)確的跟蹤到目標(biāo)。圖3是三種算法對大目標(biāo)圖像的跟蹤效果，圖3（a1）～圖3（c1）、圖3（a2）～圖3（c2）、圖3（a3）～圖3（c3）分別為灰度mean-shift算法、梯度mean-shift算法和文中算法在第6、133和327幀的跟蹤效果。由于目標(biāo)與背景的梯度對比度較小，因此，梯度mean-shift較快的偏離目標(biāo)中心。而由于大目標(biāo)圖像的灰度對比度較大，灰度mean-shift能準(zhǔn)確的跟蹤到目標(biāo)。通過實驗表明，灰度mean-shift和梯度mean-shift方法在不同目標(biāo)條件下跟蹤效果不穩(wěn)定，而文中算法由于對灰度和梯度特征進(jìn)行了加權(quán)處理，對小目標(biāo)和大目標(biāo)圖像都實現(xiàn)了準(zhǔn)確的跟蹤。

圖3　三種算法對大目標(biāo)圖像跟蹤效果

為驗證文中算法對圖像中上下起伏劇烈艦船目標(biāo)的跟蹤效果，將紅外大艦船目標(biāo)序列每間隔10幀取一幀圖像，使得相鄰幀圖像的目標(biāo)上下起伏更加劇烈，經(jīng)過處理后的圖像序列共40幀。圖4是艦船目標(biāo)在X、Y方向的真實運動軌跡，目標(biāo)的真實位置由手動標(biāo)定。選取原圖像左上角為坐標(biāo)原點，x增加表示目標(biāo)右移，y增加表示目標(biāo)下移。由圖4可以看出，目標(biāo)在Y軸比X軸運動明顯劇烈，這是由船載攝像機隨波浪上下起伏造成的。分別用文中算法與灰度和梯度加權(quán)mean-shift方法（加權(quán)方法）對該圖像序列進(jìn)行跟蹤實驗，圖5是兩種算法的目標(biāo)跟蹤誤差曲線?？梢钥吹?，由于目標(biāo)上下起伏過快，加權(quán)方法在跟蹤開始后就丟失了目標(biāo)，之后一直存在較大的跟蹤誤差。文中算法由于能夠通過相鄰幀圖像海天線的高度變化有效預(yù)測目標(biāo)的上下起伏情況，因此在目標(biāo)上下起伏劇烈的情況下仍能對圖像中的目標(biāo)實現(xiàn)準(zhǔn)確的跟蹤。

圖4　艦船目標(biāo)在X、Y方向運動軌跡

表2是灰度mean-shift、加權(quán)mean-shift和文中算法分別對大目標(biāo)圖像序列進(jìn)行實驗得到的平均迭代次數(shù)和跟蹤速度的比較。文中算法由于加入了海天線信息，使得海天背景下的目標(biāo)跟蹤起始點更接近真實目標(biāo)點，因此，每幀圖像的算法平均迭代次數(shù)不到2次，較加權(quán)mean-shift和灰度mean-shift方法分別減少約18%和75%。文中算法由于加入了海天線提取算法，算法復(fù)雜度稍有增加，但跟蹤速度仍達(dá)到12.5 fps，對于工作幀頻小于12 fps的紅外攝像機而言滿足實時跟蹤的要求。

圖5　兩種算法跟蹤誤差比較

表2　不同算法平均迭代次數(shù)和跟蹤速度比較

5　結(jié)論

針對復(fù)雜海天背景下紅外艦船目標(biāo)的信噪比低、船載攝像機上下抖動劇烈的特點，文中提出了一種基于加權(quán)mean-shift和海天線檢測相結(jié)合的紅外目標(biāo)實時跟蹤算法。文中算法由于對灰度和梯度特征進(jìn)行了加權(quán)處理，因此在不同目標(biāo)條件下對目標(biāo)的跟蹤都具有較好的魯棒性。在跟蹤過程中，文中算法能夠通過相鄰幀圖像海天線的高度變化有效預(yù)測目標(biāo)的上下起伏情況，因此仍能準(zhǔn)確的跟蹤圖像中上下起伏劇烈的目標(biāo)。文中算法跟蹤速度可達(dá)12 fps，滿足實時跟蹤的要求。下一步研究重點是在跟蹤前對初始幀目標(biāo)的大小和位置實現(xiàn)快速檢測，以及在目標(biāo)存在明顯尺寸變化時，實現(xiàn)模板尺寸的自適應(yīng)。

［1］ 楊威，李俊山，史德琴.時空聯(lián)合的紅外運動目標(biāo)提取算法［J］.光電工程，2008，35（5）：50-54.

［2］曾文靜，萬磊，張鐵棟，等.復(fù)雜?？毡尘跋氯跣∧繕?biāo)的快速自動檢測［J］.光學(xué)精密工程，2012，20（2）：403-412.

［3］黃英東，范寧軍，李杰.一種基于海天線檢測的艦船定位方法［J］.彈箭與制導(dǎo)學(xué)報，2008，28（5）：286 -288.

［4］黃文韻，馬惠敏，王生進(jìn).海面背景紅外目標(biāo)的識別算法［J］.清華大學(xué)學(xué)報（自然科學(xué)版），2009，49（10）：1609-1613.

［5］KANG W J，DING X M，CUI J W，et al.Research on extraction of ship target in complex sea-sky background［C］∥The International Symposium on Instrumentation Science and Technology，Journal of Physics：Conference Series，2006，48（1）：354-358.

［6］FEFILATYEV S，GOLDGOF D，SHREVE M，et al.Detection and tracking of ships in open sea with rapidly moving buoy-mounted camera system［J］.Ocean Engineering，2012，54：1-12.

［7］WU Jiawei，MAO Shiyi，WANG Xiaoping，et al.Ship target detection and tracking in cluttered infrared imagery ［J］.Optical Engineering，2011，50（5）：（057207）.

［8］CHENG Yizong.Mean Shift，Mode Seeking，and Clustering［J］.IEEE Transactions on Pattern Analysis and Mahine Intelligence，1995，17（8）：790-799.

［9］朱勝利，朱善安，李旭超.快速運動目標(biāo)的Mean shift跟蹤算法［J］.光電工程，2006，33（5）：66-70.

［10］HUANG S，HONG J.Moving object tracking system based on camshift and kalman filter［C］∥Proceedings of the International Conference on Consumer Electronics，CommunicationsandNet-works.Piscataway：IEEE，2011：1423-1426.

［11］劉士建，吳瀅躍，蔡能斌.低SNR海天線提取算法［J］.紅外與激光工程，2013，42（12）：3491-3495.

［12］張旭光，趙恩良，王延杰.基于Mean-shift的灰度目標(biāo)跟蹤新算法［J］.光學(xué)技術(shù)，2007，33（2）：226-229.

［13］FOUAD Bousetouane，LYNDA Dib，HICHEM Snoussi. Improved mean shift integrating texture and color features for robust real time object tracking［J］.The Visual Computer-Springer，2013，29（3）：155-170.

Infrared Ship Target Real-time Tracking Algorithm Under Sea-sky Background

WANG Yuexing1，2，CHEN Xiaodong1，2，ZHAO Kejun3，HUANG Qing3，WANG Yi1，2，YU Daoyin1，2
（1School of Precision Instrument and Opto-electronics Engineering，Tianjin University，Tianjin 300072，China；2Key Laboratory of Opto-electronics Information Technology（Tianjin University），Ministry of Education，Tianjin 300072，China；3Luoyang Institute of Electro-optical Equipment，Henan Luoyang 471000，China）

A real-time algorithm under various complicated sea-sky background，which corresponded to the feature of low contrast around infrared ship and sharp up-and-down motion of camera on boat，was proposed by combining mean-shift and sea-sky-line detection.Firstly，the height of sea-sky-line was extracted by the horizontal projection method，and then the height difference of sea-sky-line in adjacent frames was used to set starting position at current frame，furthermore，the target’s feature was described by creating weighted histogram which combined gray-level and gradients orientation information，and finally，mean-shift was used to track the position of target.Experimental results show that this algorithm can track infrared up-and-down motion ship target accurately，and the tracking speed can reach 12 fps.

mean-shift；infrared ship target；real-time tracking；sea-sky-line；horizontal projection；weighted histogram

TP391.4

A

10.15892/j.cnki.djzdxb.2016.01.041

2015-04-16

王悅行（1990-），男，山東德州人，碩士研究生，研究方向：目標(biāo)識別與跟蹤。