涂直健，張?zhí)煨?，桑紅石

(1.武漢工程大學(xué) 電氣信息學(xué)院,湖北 武漢 430205;2.華中科技大學(xué) 自動(dòng)化學(xué)院,湖北 武漢 430074)

引言

在實(shí)際目標(biāo)識(shí)別過(guò)程中，處于復(fù)雜背景下的地面建筑物目標(biāo)易受背景干擾而出現(xiàn)目標(biāo)不顯著、遮擋和移出視場(chǎng)外等情況。而當(dāng)前對(duì)紅外目標(biāo)的研究和應(yīng)用主要針對(duì)與背景具有高對(duì)比度且目標(biāo)特征明顯的顯著目標(biāo)[1-5]。在目標(biāo)識(shí)別、跟蹤過(guò)程中因目標(biāo)處于上述情況而出現(xiàn)虛警或丟失等問(wèn)題會(huì)大大降低目標(biāo)識(shí)別算法的識(shí)別率。

針對(duì)不顯著目標(biāo)或被遮擋目標(biāo)的識(shí)別問(wèn)題，文獻(xiàn)[6]提出了一種更符合人類視覺導(dǎo)航特點(diǎn)的間接定位方法，即先在地面準(zhǔn)備階段選取地標(biāo)并進(jìn)行地標(biāo)參考圖制備，在目標(biāo)識(shí)別階段，采用模板匹配算法先識(shí)別和定位地標(biāo)位置，然后利用地標(biāo)與目標(biāo)空間約束關(guān)系的先驗(yàn)知識(shí)，由成像姿態(tài)參數(shù)反過(guò)來(lái)解算目標(biāo)在實(shí)時(shí)圖中的位置，間接定位包含目標(biāo)的局部感興趣區(qū)。當(dāng)目標(biāo)顯著時(shí)對(duì)目標(biāo)進(jìn)行直接識(shí)別操作。文獻(xiàn)[7]借鑒并改進(jìn)了文獻(xiàn)[6]的間接定位方法，不依賴地標(biāo)多尺度視圖及成像姿態(tài)參數(shù)，而是由預(yù)先獲取的參考圖中選取顯著區(qū)域，通過(guò)解算實(shí)時(shí)圖與基準(zhǔn)圖之間的變換關(guān)系實(shí)現(xiàn)對(duì)復(fù)雜背景下不顯著目標(biāo)的定位，但該方法只適用于圖像中的景物具有相同或相近景深的情況，遠(yuǎn)距離探測(cè)時(shí)，定位偏差會(huì)隨著顯著區(qū)域與目標(biāo)之間景深的增大而增大，并且定位結(jié)果也會(huì)受到預(yù)先獲取的參考圖的影響，識(shí)別效果受到限制。以上方法均采用間接定位的方式取得了一定的識(shí)別效果，然而它們都依賴于地標(biāo)或顯著區(qū)域的先驗(yàn)知識(shí)，并且在目標(biāo)識(shí)別定位過(guò)程中，當(dāng)選定的地標(biāo)或顯著區(qū)域與目標(biāo)不能同時(shí)處于視場(chǎng)范圍內(nèi)的情況下，間接定位失效。遮擋問(wèn)題是導(dǎo)致跟蹤算法丟失目標(biāo)的原因之一，針對(duì)此類問(wèn)題，經(jīng)典的處理方法有中心加權(quán)算法、軌跡預(yù)測(cè)算法、貝葉斯預(yù)測(cè)算法、多信息融合方法及基于人工智能策略抗遮擋目標(biāo)跟蹤方法[8-12]。對(duì)于目標(biāo)跟蹤過(guò)程中因遮擋或其他原因?qū)е碌哪繕?biāo)丟失問(wèn)題，間接定位是一種全新的思路。

針對(duì)上述問(wèn)題，提出一種自動(dòng)選取輔助目標(biāo)的建筑物目標(biāo)間接定位方法，其特點(diǎn)在于：提出的方法無(wú)需地標(biāo)或顯著區(qū)域的先驗(yàn)知識(shí)，而是在實(shí)時(shí)圖中自動(dòng)選取形狀穩(wěn)定、灰度顯著區(qū)域作為輔助目標(biāo)對(duì)不顯著或被遮擋目標(biāo)的間接定位。近年來(lái)，研究人員針對(duì)顯著區(qū)域的提取問(wèn)題提出了大量算法，適用于圖像分割、目標(biāo)檢測(cè)及識(shí)別等領(lǐng)域的研究[13-15]。提出了一種新的顯著區(qū)域的提取方法，同時(shí)，為克服輔助目標(biāo)移出視場(chǎng)外而導(dǎo)致間接定位失效的情況，算法會(huì)對(duì)輔助目標(biāo)進(jìn)行實(shí)時(shí)更新，保證其能時(shí)刻處于視場(chǎng)中。本文算法融合輔助目標(biāo)間接定位與其他目標(biāo)識(shí)別、跟蹤算法結(jié)果，解決目標(biāo)虛警或丟失問(wèn)題，提高跟蹤穩(wěn)定性。

1 算法總體描述

圖1為算法流程圖，選取圖像中形狀穩(wěn)定、灰度顯著區(qū)域作為輔助目標(biāo)，提取輔助目標(biāo)及目標(biāo)相對(duì)位置關(guān)系，并根據(jù)輔助目標(biāo)更新條件實(shí)時(shí)更新輔助目標(biāo)，在目標(biāo)直接定位算法出現(xiàn)目標(biāo)虛警或丟失問(wèn)題時(shí)，通過(guò)輔助目標(biāo)位置及其與目標(biāo)相對(duì)位置間接定位目標(biāo)位置。

圖1 算法流程圖

算法包含3個(gè)部分：1)目標(biāo)直接定位；2)輔助目標(biāo)選??；3)輔助目標(biāo)定位及目標(biāo)定位。

圖2 目標(biāo)直接識(shí)別結(jié)果

實(shí)驗(yàn)中第一部分目標(biāo)直接定位采用文獻(xiàn)[1]中提出的建筑物目標(biāo)識(shí)別算法，并在序列圖像中采用文獻(xiàn)[1]算法及meanshift目標(biāo)跟蹤算法對(duì)目標(biāo)進(jìn)行跟蹤。文獻(xiàn)[1]采用基于飛行器傳感器測(cè)量數(shù)據(jù)，根據(jù)目標(biāo)三維參考模型，實(shí)時(shí)計(jì)算目標(biāo)成像尺寸，并預(yù)測(cè)目標(biāo)在該傳感器參數(shù)下的模型特征。根據(jù)模型特征選取形態(tài)學(xué)結(jié)構(gòu)元素對(duì)圖像進(jìn)行形態(tài)學(xué)背景抑制，根據(jù)背景抑制結(jié)果進(jìn)行迭代分割，即先對(duì)圖像進(jìn)行灰度合并，之后采用不同閾值對(duì)圖像進(jìn)行分割，第一次分割閾值為圖像最大灰度，之后通過(guò)一定步長(zhǎng)不斷修改分割閾值，直到達(dá)到停止條件。提取迭代分割得到的感興趣區(qū)特征，提取特征與預(yù)測(cè)特征相匹配，確定候選目標(biāo)，通過(guò)線特征驗(yàn)證，識(shí)別目標(biāo)，其結(jié)果如圖2所示，其中方框區(qū)域?yàn)槟繕?biāo)區(qū)域，十字叉標(biāo)記位置為目標(biāo)直接識(shí)別結(jié)果。

2 輔助目標(biāo)選取

從采用的文獻(xiàn)[1]目標(biāo)識(shí)別算法在迭代分割階段得到的各分割區(qū)域中選取形狀穩(wěn)定、灰度顯著區(qū)域作為輔助目標(biāo)。在選取輔助目標(biāo)后，根據(jù)輔助目標(biāo)區(qū)域特征在之后的識(shí)別過(guò)程中對(duì)其進(jìn)行定位，若輔助目標(biāo)丟失、靠近圖像邊緣或達(dá)到一定識(shí)別幀數(shù)，則重新進(jìn)入輔助目標(biāo)選取流程。

2.1 輔助目標(biāo)選取及特征提取

根據(jù)建筑物目標(biāo)識(shí)別算法迭代分割結(jié)果，排除目標(biāo)圖像的邊緣區(qū)域，保留具有一定面積且在連續(xù)兩次迭代分割結(jié)果中處于同一位置且各感興趣區(qū)域的形狀特征相對(duì)誤差不超過(guò)閾值threshold1的感興趣區(qū)域作為顯著區(qū)域，實(shí)驗(yàn)中threshold1取值為各區(qū)域形狀特征的0.2倍，感興趣區(qū)域形狀特征包括區(qū)域高度、寬度、面積、矩形度，顯著區(qū)域選取結(jié)果如圖3所示，由圖3(a)中區(qū)域1與圖3(b)中區(qū)域2得到了圖3(c)中顯著區(qū)域，所有顯著區(qū)域提取結(jié)果如圖3(d)所示。

圖3 顯著區(qū)域選取結(jié)果

綜合多幀的顯著區(qū)域，從各幀對(duì)應(yīng)的顯著區(qū)域中，選取顯著區(qū)域的形狀特征相對(duì)誤差不超過(guò)閾值threshold1的顯著區(qū)域作為輔助目標(biāo)候選區(qū)域，實(shí)驗(yàn)中選取5幀結(jié)果進(jìn)行綜合，輔助目標(biāo)候選區(qū)域選取結(jié)果如圖4所示。

圖4 輔助目標(biāo)候選區(qū)域選取結(jié)果

對(duì)同一位置上的輔助目標(biāo)候選區(qū)域進(jìn)行非極大值抑制處理。對(duì)位于同一位置的輔助目標(biāo)候選區(qū)域，保留局部對(duì)比度最大的輔助目標(biāo)候選區(qū)域作為輔助目標(biāo)區(qū)域，并舍棄其他輔助目標(biāo)候選區(qū)域，局部對(duì)比度定義如下：

(1)

式中：μB為區(qū)域局部背景區(qū)域平均灰度；μT為區(qū)域平均灰度。區(qū)域非極大值抑制結(jié)果如圖5所示。

圖5 非極大值抑制結(jié)果

從輔助目標(biāo)候選區(qū)域中選取局部對(duì)比度最大的若干個(gè)區(qū)域作為輔助目標(biāo)，實(shí)驗(yàn)中選取局部對(duì)比度最大的2個(gè)區(qū)域，如圖6所示。

圖6 輔助目標(biāo)選取結(jié)果

2.2 輔助目標(biāo)特征提取

通過(guò)目標(biāo)直接識(shí)別得到目標(biāo)位置后，保留輔助目標(biāo)區(qū)域形狀特征并提取其與目標(biāo)相對(duì)位置。根據(jù)(2)式～(7)式計(jì)算t時(shí)刻輔助目標(biāo)與目標(biāo)在大地坐標(biāo)系下的相對(duì)位置關(guān)系Δx、Δy，提取輔助目標(biāo)與目標(biāo)相對(duì)位置。

根據(jù)(2)式、(3)式計(jì)算目標(biāo)與光軸瞄準(zhǔn)點(diǎn)在大地坐標(biāo)系下沿進(jìn)入方向的偏移量，(2)式、(3)式如下所示：

(2)

(3)

式中：L1、L2表示目標(biāo)與光軸瞄準(zhǔn)點(diǎn)在大地坐標(biāo)系下沿進(jìn)入方向的橫向、縱向偏移量；(X1，Y1)表示目標(biāo)位置；θ表示當(dāng)前時(shí)刻t獲取的飛行器的俯仰夾角；h表示當(dāng)前時(shí)刻t獲取的飛行器飛行高度；NROW、NCOL表示實(shí)時(shí)圖行數(shù)、列數(shù)，φ、φ表示飛行器的縱向、橫向視場(chǎng)角。

根據(jù)(4)式、(5)式計(jì)算目標(biāo)與光軸瞄準(zhǔn)點(diǎn)在大地坐標(biāo)系下沿正北方向上的偏移量，(4)式、(5)式如下所示：

dx2=L2cosα+L1sinα

(4)

dy2=L1cosα-L2sinα

(5)

式中：dx2、dy2表示目標(biāo)與光軸瞄準(zhǔn)點(diǎn)在大地坐標(biāo)系下沿正北方向上的橫向、縱向偏移量；L1、L2表示目標(biāo)與光軸瞄準(zhǔn)點(diǎn)在大地坐標(biāo)系下沿進(jìn)入方向的橫向、縱向偏移量；α表示當(dāng)前時(shí)刻t獲取的飛行器航向夾角。同理，可由上述原理計(jì)算得到輔助目標(biāo)與光軸準(zhǔn)點(diǎn)在大地坐標(biāo)下沿正北方向上的橫向、縱向偏移量。

根據(jù)(6)式、(7)式計(jì)算輔助目標(biāo)與目標(biāo)在大地坐標(biāo)系下的相對(duì)位置，(6)式、(7)式如下所示：

Δx=dx2-dx1

(6)

Δy=dy2-dy1

(7)

式中：Δx、Δy表示輔助目標(biāo)與目標(biāo)在大地坐標(biāo)系下沿正北方向上的橫向、縱向偏移量；dx1、dy1表示輔助目標(biāo)與光軸瞄準(zhǔn)點(diǎn)在大地坐標(biāo)系下沿正北方向上的橫向、縱向偏移量；dx2、dy2表示目標(biāo)與光軸瞄準(zhǔn)點(diǎn)在大地坐標(biāo)系下沿正北方向上的橫向、縱向偏移量。

3 輔助目標(biāo)定位及目標(biāo)定位

3.1 輔助目標(biāo)定位

根據(jù)迭代分割結(jié)果，保留中心點(diǎn)位于選取的輔助目標(biāo)區(qū)域范圍內(nèi)的區(qū)域，根據(jù)保留的輔助目標(biāo)區(qū)域形狀特征對(duì)各區(qū)域進(jìn)行特征匹配，保留各形狀特征相對(duì)誤差不超過(guò)閾值threshold1且各形狀特征相對(duì)誤差之和的總誤差最小的區(qū)域作為局部鄰域輔助目標(biāo)檢測(cè)結(jié)果，如圖7所示。

圖7 輔助目標(biāo)檢測(cè)結(jié)果

3.2 目標(biāo)間接定位

根據(jù)文獻(xiàn)[6]中間接定位算法對(duì)目標(biāo)位置進(jìn)行間接定位，輔助目標(biāo)間接定位結(jié)果如圖8所示，其中十字叉位置為目標(biāo)間接定位結(jié)果。

圖8 輔助目標(biāo)間接定位結(jié)果

3.3 目標(biāo)定位結(jié)果融合

對(duì)目標(biāo)的直接識(shí)別可以得到目標(biāo)的精確位置，而目標(biāo)間接定位結(jié)果無(wú)法得到目標(biāo)精確的位置信息，而對(duì)于直接識(shí)別中出現(xiàn)的虛警、丟失問(wèn)題，間接識(shí)別定位可以起到校正作用。目標(biāo)識(shí)別過(guò)程中應(yīng)當(dāng)結(jié)合直接識(shí)別及間接定位結(jié)果，優(yōu)勢(shì)互補(bǔ)，提升算法識(shí)別概率。

如圖9，目標(biāo)定位結(jié)果融合策略如下：當(dāng)輔助目標(biāo)間接定位及目標(biāo)直接識(shí)別定位都能得到定位結(jié)果時(shí)，若輔助目標(biāo)間接定位結(jié)果位于目標(biāo)直接定位的目標(biāo)區(qū)域內(nèi)，則將目標(biāo)的直接定位結(jié)果作為目標(biāo)最終定位結(jié)果，以修正間接定位產(chǎn)生的定位偏差；否則，將輔助目標(biāo)間接定位的目標(biāo)位置作為目標(biāo)最終定位結(jié)果。當(dāng)輔助目標(biāo)間接定位及目標(biāo)直接識(shí)別定位只有一種方式得到了定位結(jié)果，則將該定位方式得到的定位結(jié)果作為目標(biāo)最終定位結(jié)果。當(dāng)兩種定位方式均未得到目標(biāo)的定位結(jié)果，則表示沒(méi)有目標(biāo)最終定位結(jié)果。

目標(biāo)定位結(jié)果融合得到的目標(biāo)最終定位結(jié)果如圖10所示。

圖9 目標(biāo)定位結(jié)果融合流程

圖10 目標(biāo)最終定位結(jié)果

得到目標(biāo)的最終定位結(jié)果后結(jié)合輔助目標(biāo)的定位結(jié)果對(duì)輔助目標(biāo)的特征進(jìn)行實(shí)時(shí)更新。若有輔助目標(biāo)定位結(jié)果，則提取輔助目標(biāo)對(duì)應(yīng)區(qū)域的形狀特征，用來(lái)更新輔助目標(biāo)的形狀特征。若有目標(biāo)最終定位結(jié)果，則更新輔助目標(biāo)與目標(biāo)相對(duì)位置；否則不更新輔助目標(biāo)與目標(biāo)相對(duì)位置。

4 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)在真實(shí)的前視紅外圖像序列中驗(yàn)證算法的有效性。算法的運(yùn)行環(huán)境為vs2012。本次實(shí)驗(yàn)驗(yàn)證本文算法與建筑物目標(biāo)識(shí)別算法及跟蹤算法結(jié)合效果，先用文獻(xiàn)[1]算法識(shí)別目標(biāo)，后用meanshift跟蹤算法跟蹤目標(biāo)，meanshift目標(biāo)跟蹤算法采用Bhattacharyya系數(shù)作為算法相似性函數(shù)，當(dāng)其小于0.9時(shí)判斷為目標(biāo)丟失，此時(shí)使用文獻(xiàn)[1]算法對(duì)目標(biāo)進(jìn)行重新定位，之后重新進(jìn)入跟蹤，整個(gè)過(guò)程中目標(biāo)識(shí)別及跟蹤結(jié)果會(huì)根據(jù)文中融合策略與輔助目標(biāo)間接定位結(jié)果融合，得到最終目標(biāo)定位結(jié)果。實(shí)驗(yàn)前先對(duì)序列圖像中目標(biāo)區(qū)域范圍進(jìn)行人工標(biāo)定，當(dāng)目標(biāo)識(shí)別結(jié)果位于標(biāo)定區(qū)域內(nèi)視為匹配成功。

用于算法測(cè)試的圖像序列1由660幀組成，圖像大小320×256像素，每隔50幀或輔助目標(biāo)位于圖像邊緣時(shí)重新選取輔助目標(biāo)。序列1包含目標(biāo)完全處于視場(chǎng)內(nèi)、部分處于視場(chǎng)內(nèi)及完全處于視場(chǎng)外3種典型情況，其中目標(biāo)部分處于視場(chǎng)內(nèi)及目標(biāo)完全處于視場(chǎng)外的情況共300幀，如圖11所示。

采用本文算法對(duì)上述紅外圖像序列進(jìn)行目標(biāo)定位，結(jié)果如圖12所示。圖12中包含了上述3種典型情況的目標(biāo)定位結(jié)果，其中第6幀處于跟蹤階段，目標(biāo)完整且與周圍背景具有較高對(duì)比度。第212幀、第517幀目標(biāo)位于圖像邊緣，只有部分出現(xiàn)在圖像中，其中第212幀處于跟蹤階段，第517幀目標(biāo)處于識(shí)別階段。第473幀處于識(shí)別階段，目標(biāo)位于圖像外。圖中十字叉標(biāo)記位置為目標(biāo)位置，帶十字叉方框標(biāo)記位置為輔助目標(biāo)位置。

圖11 紅外建筑序列1

圖12 紅外序列1目標(biāo)定位結(jié)果

圖12表明，第6幀、第212幀、第473幀及第517幀本文算法能正確定位目標(biāo)位置，而在第212幀、第473幀及第517幀文獻(xiàn)1與meanshift目標(biāo)跟蹤算法均無(wú)法準(zhǔn)確定位目標(biāo)，驗(yàn)證了本文算法在上述3種典型場(chǎng)景下的有效性，能夠解決目標(biāo)直接識(shí)別、跟蹤算法在目標(biāo)部分處于視場(chǎng)內(nèi)、目標(biāo)完全處于視場(chǎng)外這兩種情況下的失效問(wèn)題，避免虛警及目標(biāo)丟失。而第517幀定位結(jié)果位于目標(biāo)區(qū)域邊緣，產(chǎn)生了定位偏差，原因?yàn)椋耗繕?biāo)在第450幀到517幀長(zhǎng)時(shí)間處于圖像邊緣或處于圖像外，在無(wú)法直接識(shí)別得到目標(biāo)準(zhǔn)確位置對(duì)間接定位結(jié)果進(jìn)行修正的情況下，由于成像姿態(tài)參數(shù)誤差較大而導(dǎo)致了定位偏差。

用于算法測(cè)試的圖像序列2、序列3由820幀、450幀組成，圖像大小320×256像素，每隔50幀重新選取輔助目標(biāo)，序列中目標(biāo)完整，沒(méi)有處于圖像邊緣或視場(chǎng)外情況，但序列3中目標(biāo)灰度有突變情況，如504幀所示。

圖13 紅外序列2、序列3

本文算法結(jié)果如圖14所示。

圖14 紅外序列2、序列3本文算法目標(biāo)定位結(jié)果

圖14結(jié)果表明本文算法能夠正確選取輔助目標(biāo)區(qū)域，并在輔助目標(biāo)移出視場(chǎng)時(shí)能自動(dòng)更新輔助目標(biāo)，不會(huì)因輔助目標(biāo)出視場(chǎng)而丟失算法目標(biāo)間接定位的能力，保證了算法間接定位的有效性，在目標(biāo)尺度及灰度變化時(shí)也具有良好的效果，進(jìn)一步驗(yàn)證了本文算法在不同圖像序列上的有效性。對(duì)上述序列中算法定位結(jié)果進(jìn)行統(tǒng)計(jì)，結(jié)果如表1～表3所示。

表1 序列1算法結(jié)果比較

表2 序列2算法結(jié)果比較

表3 序列3算法結(jié)果比較

由表1、表2、表3可知，本文算法在序列圖像中相較于文獻(xiàn)1目標(biāo)識(shí)別及meanshift目標(biāo)跟蹤結(jié)合定位目標(biāo)的定位成功率有所提高，特別對(duì)于存在大量視場(chǎng)遮擋情況的序列1有很大提高，能夠在直接識(shí)別、跟蹤算法失效的情況下準(zhǔn)確定位目標(biāo)。

5 結(jié)論

針對(duì)目標(biāo)識(shí)別、跟蹤過(guò)程中出現(xiàn)的目標(biāo)不顯著、目標(biāo)被遮擋等造成丟失目標(biāo)的問(wèn)題，本文算法借鑒了間接定位的思想，在通過(guò)目標(biāo)識(shí)別算法確認(rèn)目標(biāo)位置后，通過(guò)算法選取紅外圖像中顯著、穩(wěn)定的區(qū)域作為輔助目標(biāo)，提取目標(biāo)與輔助目標(biāo)空間位置關(guān)系，采用間接定位的方式解決目標(biāo)識(shí)別、跟蹤過(guò)程中出現(xiàn)的虛警及目標(biāo)丟失問(wèn)題，有效提升算法識(shí)別概率。實(shí)驗(yàn)驗(yàn)證表明，該方法對(duì)于地面建筑物目標(biāo)在直接識(shí)別、跟蹤失效的情況下仍然可以通過(guò)本算法完成對(duì)目標(biāo)的準(zhǔn)確定位，但算法需要成像姿態(tài)參數(shù)作為保障，在目標(biāo)長(zhǎng)時(shí)間無(wú)法直接定位且成像姿態(tài)參數(shù)誤差較大的情況下會(huì)出現(xiàn)定位偏差，接下來(lái)會(huì)對(duì)此問(wèn)題進(jìn)行研究。且算法針對(duì)的是靜止的地面建筑物目標(biāo)，未來(lái)研究重點(diǎn)是地面運(yùn)動(dòng)目標(biāo)或天空及海面背景下的運(yùn)動(dòng)目標(biāo)的間接定位方法。