孫 寧， 王壽峰， 白俊奇， 趙春光

(中國(guó)電子科技集團(tuán)公司第28研究所，南京 210007)

0 引言

紅外目標(biāo)跟蹤是紅外探測(cè)系統(tǒng)實(shí)時(shí)、持續(xù)、精確提供目標(biāo)方位、俯仰以及圖像相關(guān)信息的前提條件。由于紅外圖像具有高幀頻的優(yōu)點(diǎn)，相鄰兩幀中的目標(biāo)在形態(tài)、位置、灰度等特征上差異較小，根據(jù)已知目標(biāo)信息，利用圖像特征相關(guān)匹配技術(shù)可以在當(dāng)前圖像內(nèi)對(duì)目標(biāo)進(jìn)行定位，形成對(duì)目標(biāo)的連續(xù)跟蹤。

在可見(jiàn)光波段，圖像目標(biāo)匹配跟蹤的算法已經(jīng)發(fā)展得相當(dāng)成熟，有許多典型算法，例如灰度相關(guān)匹配算法［1－3］，主要思想就是在當(dāng)前幀中尋找與上一幀中目標(biāo)區(qū)域灰度相關(guān)性最大的區(qū)域;基于Mean－Shift(均值漂移)［4－5］的目標(biāo)跟蹤算法，其利用圖像的顏色信息構(gòu)建直方圖作為目標(biāo)模板描述，選擇合適的核函數(shù)以及相似性度量函數(shù)使得目標(biāo)周圍鄰域內(nèi)相似性度量曲面為平滑的凸曲面，然后用Mean－Shift算法快速找到極值點(diǎn)來(lái)確定目標(biāo)在當(dāng)前幀中的位置。其他的還有主動(dòng)輪廓線跟蹤［6］、光流法跟蹤［7］等。

紅外探測(cè)系統(tǒng)接收外界的紅外輻射，通過(guò)光電轉(zhuǎn)換形成紅外圖像。與電視攝像機(jī)獲取的可見(jiàn)光圖像相比，紅外圖像只有強(qiáng)度信息沒(méi)有彩色信息，紅外圖像中目標(biāo)的邊緣和細(xì)節(jié)比較模糊等。因此，目前電視視頻跟蹤中的很多成熟、優(yōu)良的算法都很難直接應(yīng)用到紅外圖像目標(biāo)跟蹤上去，需要針對(duì)紅外圖像跟蹤的特點(diǎn)進(jìn)行改進(jìn)。本文針對(duì)紅外圖像的特點(diǎn)，基于特征匹配跟蹤的思想，采用局部二元模式(Local Binary Pattern，LBP)［8］算子提取圖像的灰度紋理特征作為圖像模板匹配的依據(jù)。

本文算法中首先對(duì)紅外圖像進(jìn)行增強(qiáng)處理，銳化圖像的邊緣和細(xì)節(jié)。采用LBP算子提取圖像的多尺度LBP編碼直方圖作為圖像特征向量，根據(jù)卡方統(tǒng)計(jì)方法度量模板圖像和樣本圖像的相似度，逐像素取樣本圖像掃描整個(gè)波門(mén)區(qū)域，與模板圖像相似度最高的樣本圖像為圖像匹配結(jié)果。為了適應(yīng)跟蹤過(guò)程中目標(biāo)發(fā)生尺度形變，本文算法設(shè)計(jì)了3種尺寸的模板，并根據(jù)圖像特征匹配后求得的目標(biāo)大小選取相應(yīng)尺寸的模板。將每幀圖像特征匹配得出的位置信息輸入Kalman濾波器進(jìn)行跟蹤狀態(tài)的估計(jì)和維持，結(jié)合圖像特征匹配的相似度信息對(duì)模板圖像進(jìn)行更新，并對(duì)下一幀跟蹤波門(mén)的中心位置進(jìn)行預(yù)測(cè)，以適應(yīng)目標(biāo)位置快速變化、局部遮擋和短暫消失等情況。

1 基于LBP算子的圖像特征匹配

1.1 局部二元模式算子

局部二元模式(Local Binary Pattern，LBP)算子是一種有效的局部紋理描述算子，由Ojala最早提出，它可以對(duì)灰度圖像中局部鄰域的紋理信息進(jìn)行度量和提取。近10年來(lái)，LBP算子已經(jīng)廣泛地應(yīng)用于紋理分類［9］、圖像檢索［10］、人臉圖像分析［11］等領(lǐng)域?；镜腖BP算子是一個(gè)固定大小為3×3的矩形塊，共對(duì)應(yīng)于9個(gè)灰度值。將一階鄰域和二階領(lǐng)域的8個(gè)灰度值與中心灰度值相比較，大于等于中心灰度值的子塊由1表示，反之則由0表示，根據(jù)順時(shí)針?lè)较蜃x出的8個(gè)二進(jìn)制值作為該3×3方塊的LBP編碼值，如圖1所示。

圖1 LBP算子編碼示意圖Fig.1 The LBP operator

為了改善最初的LBP算子存在的無(wú)法提取大尺度結(jié)構(gòu)的紋理特征的局限，使用不同數(shù)量的鄰近子塊以及不同尺寸的矩形塊為L(zhǎng)BP算子的一種主要擴(kuò)展［9］。圖2所示是兩個(gè)擴(kuò)展的LBP算子的例子。

圖2 尺度為(8，2)和(16，2)的擴(kuò)展LBP算子Fig.2 Extended LBP:the circular(8，2)and(16，2)neighborhood

其中，(P，R)表示在半徑為R的圓周上存在P個(gè)抽樣點(diǎn)。不同大小的窗口、不同個(gè)數(shù)的點(diǎn)數(shù)提取不同特征描述的局部紋理的能力也不一樣，描述局部紋理的內(nèi)容也不一樣。

另一種對(duì)LBP算子的擴(kuò)展稱為“均勻模式(Uniform Pattern)”。這個(gè)時(shí)候每個(gè)窗口的LBP的數(shù)值不是絕對(duì)的二進(jìn)制碼的最終結(jié)果，而是計(jì)算每個(gè)窗口中二進(jìn)制碼中碼元的變化情況，不同的變化情況代表了不同的局部特征。數(shù)學(xué)描述為

其中

式中，上標(biāo)riu2是一個(gè)采用“均勻模式”的標(biāo)記。Timo Ahonen［12］經(jīng)過(guò)研究表明，均勻模式可以有效地描述出圖像中大部分的紋理特征，并大大減小特征的數(shù)量。

使用LBP算子提取圖像特征，一般是取一定大小的子塊，統(tǒng)計(jì)每個(gè)子塊的LBP編碼得到LBP直方圖，最終用來(lái)匹配的特征就是整幅圖在一定大小子塊劃分條件下的聯(lián)合直方圖，如圖3所示。

圖3 圖像的LBP直方圖表示Fig.3 The LBP histogram of image

1.2 圖像特征提取

由于跟蹤時(shí)目標(biāo)大小多樣，距離遠(yuǎn)近不同。為了應(yīng)對(duì)圖像中目標(biāo)的尺度變化，綜合考慮計(jì)算復(fù)雜度和適應(yīng)性，算法設(shè)計(jì)了3種尺度的特征提取窗及相應(yīng)的窗口子塊劃分方法。以成像分辨率為320×240的紅外圖像為例，3種特征提取窗的尺度分別為64×64、35×35和16×16。3種特征提取窗的子塊劃分具體如下所述。

1)64×64的特征提取窗(記為A)，如圖4a所示。劃分為17個(gè)子塊，16個(gè)16×16的子塊(記為，i=1，…，16)和1個(gè)32×32的子塊(為中心陰影部分，記為A32)。中采用(表示采用半徑為1，采樣點(diǎn)為8的均勻模式LBP算子，該模式下，可用10個(gè)特征值就能表征絕大部分的灰度紋理特征)，算子進(jìn)行灰度紋理特征提取;A32中采用L(表示采用半徑為 2，采樣點(diǎn)為16的均勻模式LBP算子，該模式下，可用18個(gè)特征值就能表征絕大部分的灰度紋理特征)。兩種算子，所得的聯(lián)合直方圖為17×10+18=188維的圖像特征向量。

2)32×32的特征提取窗(記為B)，如圖4b所示。劃分為10個(gè)子塊，9個(gè)15×15的子塊(記為B15i，i=1，…，9)和1個(gè)30×30的子塊(為中心陰影部分，記為B30)。中采用算子進(jìn)行灰度紋理特征提取，B30中采用兩種算子，所得的聯(lián)合直方圖為10×10+18=118維的圖像特征向量。

3)16×16的特征提取窗(記為C)，如圖4c所示。劃分為5個(gè)子塊，5個(gè)8×8的子塊(記為，i=1，…，5)，采用算子進(jìn)行灰度紋理特征提取，所得的聯(lián)合直方圖為5×10=50維的圖像特征向量。

圖4 3種尺度的特征提取窗Fig.4 Windows of different scale for feature extraction

以上3種劃分方法在提取目標(biāo)灰度紋理特征的同時(shí)，保留了這種特征的空間相關(guān)性。同時(shí)，通過(guò)對(duì)子塊賦予不同權(quán)值的方式，體現(xiàn)不同位置子塊對(duì)于目標(biāo)特征體現(xiàn)的重要性，例如中心陰影子塊的權(quán)值就要大于周邊子塊的權(quán)值。

1.3 圖像特征匹配

進(jìn)行圖像特征提取時(shí)，將特征提取窗逐像素掃描整個(gè)波門(mén)區(qū)域，每個(gè)像素對(duì)應(yīng)一幅樣本圖像及一個(gè)圖像特征向量，與模板圖像的特征向量進(jìn)行相似性度量，最相似者所在位置為圖像匹配結(jié)果。此處，相似度度量方法采用加權(quán)卡方距離，表達(dá)式為

式中:S，M分別表示兩個(gè)LBP直方圖;ωj為子窗口j對(duì)應(yīng)的權(quán)重。

2 運(yùn)動(dòng)狀態(tài)濾波及模板更新

2.1 Kalman 濾波

如果目標(biāo)出現(xiàn)遮擋、短暫消失及快速機(jī)動(dòng)時(shí)，1小節(jié)所述的基于灰度紋理特征的圖像特征匹配方法可能失效。由于目標(biāo)運(yùn)動(dòng)的連續(xù)性和規(guī)律性，本文算法中采用Kalman濾波對(duì)目標(biāo)的運(yùn)動(dòng)參數(shù)進(jìn)行維護(hù)和估計(jì)，對(duì)下一幀目標(biāo)的位置K(x，y)進(jìn)行預(yù)測(cè)，與圖像特征匹配相結(jié)合，提高跟蹤的有效性和穩(wěn)定性。Kalman濾波作為一種成熟的運(yùn)動(dòng)狀態(tài)估計(jì)工具，已被廣泛地應(yīng)用于各種目標(biāo)跟蹤領(lǐng)域，原理詳見(jiàn)文獻(xiàn)［13］。

2.2 模板更新

在目標(biāo)跟蹤的整個(gè)過(guò)程中，目標(biāo)的模板圖像必須根據(jù)目標(biāo)的尺寸變化、圖像特征匹配的相似性及目標(biāo)的運(yùn)動(dòng)狀態(tài)等因素進(jìn)行更新。

目標(biāo)尺寸的計(jì)算:在第一幀人工指定目標(biāo)時(shí)，使用區(qū)域生長(zhǎng)法［14］分割目標(biāo)，求得目標(biāo)尺寸和質(zhì)心位置，以此確定對(duì)應(yīng)的模板圖像和特征提取窗;跟蹤過(guò)程中的每幀以圖像特征匹配位置M(x，y)為種子點(diǎn)，利用區(qū)域生長(zhǎng)法計(jì)算目標(biāo)尺寸P(l，w)和目標(biāo)質(zhì)心位置G(x，y)。

在已知 M(x，y)、K(x，y)、G(x，y)、P(l，w)和等參數(shù)及預(yù)設(shè)圖像特征匹配相似度高低兩個(gè)閾值的情況下，本文算法模板更新策略如下所述。

3 算法的硬件實(shí)現(xiàn)

本文算法主要可以分為圖像增強(qiáng)、圖像特征提取、Kalman濾波及模板更新幾個(gè)步驟。其中，主要的計(jì)算量集中在第2小節(jié)所述的基于LBP算子的圖像特征匹配中。以320×240的圖像為例，波門(mén)大小為160×120，若以A窗逐像素掃描整個(gè)波門(mén)區(qū)域，則需要進(jìn)行17×97×57=93993次算子和 97 × 57=5529 次算子的特征提取，計(jì)算量巨大。然而，由2.1小節(jié)可以看出，基于LBP算子的特征提取運(yùn)算規(guī)則簡(jiǎn)單，并且特征提取窗的劃分固定，不存在先后次序，適合并行處理。

由上分析，將圖像信號(hào)接入、圖像增強(qiáng)和圖像特征提取放在FPGA器件中處理，余下的Kalman濾波、區(qū)域生長(zhǎng)和模板更新等步驟以及通訊功能則由DSP來(lái)完成。根據(jù)上述需求設(shè)計(jì)了以DSP+FPGA為核心處理器的圖像處理板，板卡上的主要芯片有AD公司的TigerSharc TS101 DSP和Altra公司的EP2S60 FPGA，其結(jié)構(gòu)如圖5所示。

圖5 圖像處理板硬件結(jié)構(gòu)Fig.5 The hardware architecture of image processing board

由于FPGA器件完成圖像增強(qiáng)和圖像特征提取的計(jì)算時(shí)延為納秒級(jí)的門(mén)延遲，Kalman濾波、區(qū)域生長(zhǎng)和模板更新等步驟在DSP中的計(jì)算時(shí)間遠(yuǎn)小于20 ms。因此，工程化實(shí)現(xiàn)后的本文算法可以滿足使用凝視型紅外熱像儀進(jìn)行目標(biāo)跟蹤時(shí)50 Hz幀頻的處理需求。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用兩組外場(chǎng)采集的紅外序列圖像，分別使用本文算法和Mean－Shift算法對(duì)兩段視頻進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)。第一組視頻的內(nèi)容是民航飛機(jī)由近處向遠(yuǎn)離紅外熱像儀的方向飛行，該段視頻中目標(biāo)的尺寸由大變小、目標(biāo)的灰度由強(qiáng)變?nèi)?，主要測(cè)試跟蹤算法對(duì)目標(biāo)尺寸變化的適應(yīng)性。圖6所示是整段視頻中的第9幀，第311幀，第1760幀和第4250幀。

圖6 第一組視頻的實(shí)驗(yàn)結(jié)果Fig.6 The experimental result of the first group of videos

圖6 a為本文算法的跟蹤結(jié)果。其中:第9幀圖目標(biāo)的大小尺寸為52×16，采用的是特征提取窗A;在第311幀時(shí)，目標(biāo)尺寸變化為28×22，算法自動(dòng)將特征提取窗更新為B;在第1760幀時(shí)，目標(biāo)尺寸為7×4，特征提取窗已經(jīng)更新為C。從結(jié)果可以看出，由于本文算法使用了3種大小的特征窗，并且根據(jù)每幀跟蹤結(jié)果進(jìn)行實(shí)時(shí)調(diào)整，因此可以適應(yīng)目標(biāo)尺寸的大幅變化。Mean－Shift算法由于核函數(shù)的帶寬固定，缺乏應(yīng)對(duì)目標(biāo)尺寸變化的機(jī)制，當(dāng)目標(biāo)尺寸和波門(mén)大小差別不大時(shí)(通常為目標(biāo)面積≥(波門(mén)面積)/9)，跟蹤可以保持穩(wěn)定進(jìn)行。當(dāng)目標(biāo)尺寸遠(yuǎn)小于核函數(shù)的帶寬時(shí)(例如，第1760幀，目標(biāo)尺寸7，約為帶寬64的10%)，極易受到噪聲、雜波等干擾而丟失目標(biāo)，如圖6b所示。

第二組視頻的內(nèi)容是民航飛機(jī)被近處的障礙部分遮擋，主要測(cè)試跟蹤算法在目標(biāo)異常狀態(tài)下的魯棒性。圖7所示是整段視頻中的第827幀，第1131幀，第1206幀和第1310幀。

圖7 第二組視頻的實(shí)驗(yàn)結(jié)果Fig.7 The experimental result of the second group of videos

本文算法中使用了Kalman濾波對(duì)目標(biāo)的運(yùn)動(dòng)參數(shù)進(jìn)行維護(hù)和預(yù)測(cè)，結(jié)合模板更新策略，在圖像特征匹配發(fā)生異常時(shí)(視頻的第1150幀，目標(biāo)完全被障礙物遮擋)使用預(yù)測(cè)的位置來(lái)代替圖像匹配的結(jié)果，保證跟蹤在目標(biāo)異常時(shí)仍然可以穩(wěn)定進(jìn)行。Mean－Shift算法只考慮幀間的相關(guān)性，當(dāng)某一幀匹配發(fā)生錯(cuò)誤后(從第1150幀開(kāi)始，Mean－Shift算法的匹配位置就開(kāi)始收斂到障礙物上)，無(wú)法再找到正確的位置。如圖，當(dāng)目標(biāo)穿過(guò)障礙后，Mean－Shift算法由于取到了錯(cuò)誤的模板，無(wú)法再去匹配目標(biāo)，而是一直停留在障礙上。

由兩組視頻可以看出:1)由于加入了多尺度模板更新機(jī)制，本文算法對(duì)目標(biāo)的尺度變化不敏感，能在跟蹤過(guò)程中適應(yīng)目標(biāo)尺寸的大幅變化;2)本文算法具備較強(qiáng)的抗干擾能力，在目標(biāo)發(fā)生異常時(shí)仍能保持跟蹤的正常進(jìn)行。

5 結(jié)論

本文提出了一種實(shí)時(shí)紅外圖像目標(biāo)跟蹤算法。算法以多尺度LBP算子提取目標(biāo)的聯(lián)合直方圖作為圖像特征進(jìn)行匹配，結(jié)合Kalman濾波和多尺度模板更新，使得算法在目標(biāo)尺寸大幅變化，目標(biāo)部分遮擋、短暫消失等情況下仍能保持正常穩(wěn)定跟蹤。針對(duì)本文算法的特點(diǎn)，設(shè)計(jì)了專用圖像處理板，并介紹了本文算法在該平臺(tái)上的硬件實(shí)現(xiàn)方法。最后，使用本文算法和Mean－Shift算法在兩組實(shí)錄的紅外序列圖像上進(jìn)行了實(shí)驗(yàn)，結(jié)果驗(yàn)證了本文算法的有效性。

［1］ BAKER E S，DE GROAT R D.A correlation－based subspace tracking algorithm［J］.IEEE Transactions on Signal Processing，1998，46(11):3112－3116.

［2］ 郭偉，趙亦工，謝振華.一種改進(jìn)的紅外圖像歸一化互相關(guān)匹配算法［J］.光子學(xué)報(bào)，2009，38(1):189－193.

［3］ 陳沈軼，錢徽，吳錚，等.模板圖像匹配中互相關(guān)的一種快速算法［J］.傳感器技術(shù)學(xué)報(bào)，2007，20(6):1326－1329.

［4］ COMANICIU D，RAMESH V，MEER P.Kernel－based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564－577.

［5］ 劉曄，胡紹海，李向軍.海平面紅外目標(biāo)的檢測(cè)和跟蹤技術(shù)［J］.計(jì)算機(jī)仿真，2011，28(1):289－293.

［6］ 石文君，王登位，徐海全，等.復(fù)雜動(dòng)態(tài)背景下的紅外運(yùn)動(dòng)多目標(biāo)跟蹤與檢測(cè)［J］.光電工程，2009，37(1):40－54.

［7］ BIMBO A D，NESI P，SANZ J L C.Optical flow computation using extended constraints［J］.IEEE Transactions on Image Processing，1996，5(5):720－739.

［8］ MCEACHEN J C，DUNCAN J S.Shape－based tracking of naturally occurring annuli in image sequences［C］//Computer Vision and Pattern Recognition，IEEE Computer Society，New York City，1993:613－614.

［9］ OJALA T，PIETIK?INEN M，HARWOOD D.A comparative study of texture measures with classification based on feature distributions［J］.Pattern Recognition，1996，29:51－59.

［10］ OJALA T，PIETIK?INEN M，M?ENP?? T.Multiresolution gray－scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on PAMI，2002，24(7):971－987.

［11］ LEW M S.Next－generation web searches for visual content［J］.IEEE Computer，2000，33(11):46－53.

［12］ AHONEN T，HADID A，PIETIK?INEN M.Face recognition with local binary patterns［C］//ECCV 2004 Proceedings，Lecture Notes in Computer Science 3021，Springer，2004:469－481.

［13］ 周宏仁，敬忠良，王培德.機(jī)動(dòng)目標(biāo)跟蹤［M］.北京:國(guó)防工業(yè)出版社，1991:134－176.

［14］ GONZALEZ R C，WOODS R E.數(shù)字圖像處理［M］.2版.北京:電子工業(yè)出版社，2005:496－498.