宋文姝，侯建民

（1.山西省無線電監(jiān)測(cè)中心，山西 太原 030009；2.晉西車軸股份有限公司，山西 太原 030027）

0 引 言

目前，精確打擊武器面對(duì)的典型目標(biāo)以車輛和導(dǎo)彈發(fā)射架等為主，而針對(duì)移動(dòng)目標(biāo)的打擊過程基于傳統(tǒng)的單一模式，如可見光和紅外等[1]，存在干擾和遮擋時(shí)，目標(biāo)容易丟失或難以正常跟蹤。傳統(tǒng)的成像模式間存在差異，如光電圖像對(duì)圖像色彩較為敏感，而紅外圖像主要表現(xiàn)目標(biāo)的熱輻射特性，不易受光照影響，但目標(biāo)細(xì)節(jié)往往不夠。在實(shí)際應(yīng)用中，依據(jù)兩者的互補(bǔ)特點(diǎn)，可從不同互補(bǔ)特征完成典型目標(biāo)特征互補(bǔ)，為目標(biāo)跟蹤提供更好的特征。多源圖像融合根據(jù)成像模式的不同構(gòu)建典型的信息互補(bǔ)特征，形成對(duì)典型目標(biāo)更顯著的決策意見。

基于可見光/紅外圖像的融合跟蹤能夠有效提高目標(biāo)的魯棒性，使得目標(biāo)跟蹤算法能夠適應(yīng)不同的作戰(zhàn)場(chǎng)景。然而，該算法對(duì)移動(dòng)目標(biāo)的精確打擊仍然有很多問題亟需解決，同一場(chǎng)景小角度差異的可見光/紅外圖像進(jìn)行融合，能夠完成典型目標(biāo)的細(xì)節(jié)信息收集，提升典型目標(biāo)的特征信息，從而確定典型目標(biāo)的打擊模式。從兩幅圖像中獲取互補(bǔ)的有用信息，形成統(tǒng)一更優(yōu)質(zhì)的圖像，完成典型目標(biāo)的特征凸顯。在實(shí)際應(yīng)用中，由不同種類傳感器獲得的多模態(tài)圖像由于成像機(jī)理不同，可以反映目標(biāo)場(chǎng)景不同側(cè)面的特性，后續(xù)討論中認(rèn)為視角一致（即同一角度下成像）。

1 相關(guān)工作

1.1 孿生網(wǎng)絡(luò)

孿生網(wǎng)絡(luò)是一種同時(shí)構(gòu)建2種不同網(wǎng)絡(luò)進(jìn)行權(quán)值共享的網(wǎng)絡(luò)模式，通過典型網(wǎng)絡(luò)的相似性比較，完成對(duì)同一目標(biāo)的達(dá)成度考核。孿生網(wǎng)絡(luò)于2016年首次應(yīng)用于基于圖像的目標(biāo)跟蹤。Bertinetto[2]等人在此基礎(chǔ)上提出了全卷積孿生網(wǎng)絡(luò)SiameseFC。SiameseFC網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)采用了AlexNet[3]，將上一幀圖像中的目標(biāo)作為模板，使用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)模板與當(dāng)前幀圖像分別卷積，將兩路卷積特征進(jìn)行相關(guān)計(jì)算，得到一個(gè)相關(guān)面圖，將相關(guān)面上最大響應(yīng)值的坐標(biāo)乘以步長(zhǎng)，即可得到目標(biāo)在當(dāng)前幀的位置。周正等人[4]利用SiameseFC網(wǎng)絡(luò)提出了一種能適用于嵌入式平臺(tái)的Siamese網(wǎng)絡(luò)匹配算法，具有很強(qiáng)的實(shí)時(shí)性，在SiameseFC的基礎(chǔ)上，提出了孿生區(qū)域選取網(wǎng)絡(luò)SiameseRPN[4]，SiameseRPN也采用AlexNet作為基礎(chǔ)網(wǎng)絡(luò)，并將區(qū)域選取網(wǎng)絡(luò)（Region Proposal Network，RPN）[5-6]與孿生網(wǎng)絡(luò)結(jié)合，使用模板的卷積特征作為卷積核在當(dāng)前幀圖像中進(jìn)行相關(guān)卷積運(yùn)算，輸出目標(biāo)的類別與位置，提升了定位精度，被大量用于目標(biāo)跟蹤領(lǐng)域。

1.2 融合跟蹤

紅外/可見光圖像目標(biāo)跟蹤在民用目標(biāo)檢測(cè)和救災(zāi)等領(lǐng)域具有重要應(yīng)用，國(guó)內(nèi)外開展了比較多的研究。一種時(shí)空卡爾曼濾波融合模型用于在時(shí)間和空間的融合，提高了多視角下的融合跟蹤效果。文獻(xiàn)[7]和文獻(xiàn)[8]提出聯(lián)合稀疏表示的目標(biāo)融合跟蹤算法，文獻(xiàn)[9]提出加權(quán)Mean-Shift紅外/可見光融合算法，以上兩種方法缺少模板更新，在速度運(yùn)動(dòng)快的情況下，跟蹤效果較差。

隨著深度學(xué)習(xí)的發(fā)展，采用深度學(xué)習(xí)完成目標(biāo)融合跟蹤成為重要的趨勢(shì)，2018年，自適應(yīng)協(xié)同分類器和不同模式的融合跟蹤算法用于協(xié)同跟蹤，支持對(duì)融合的目標(biāo)跟蹤[10-12]，2017年，李成龍[13]提出加權(quán)稀疏表達(dá)正則化的圖學(xué)習(xí)理論，同時(shí)采用支持向量機(jī)完成典型目標(biāo)的定位，并發(fā)布了RGB210數(shù)據(jù)庫。除了基于深度學(xué)習(xí)的方法，Bailer[14]提出一種融合不同跟蹤算法的綜合跟蹤模式，有效增強(qiáng)了跟蹤效果。Biresaw[15]提出多級(jí)融合跟蹤方法，通過融合不同跟蹤器的結(jié)果達(dá)到跟蹤效果?，F(xiàn)有的算法仍然無法準(zhǔn)確判斷圖像模態(tài)，采用紅外/可見光圖像融合模式，通過選擇合適參數(shù)可以達(dá)到最優(yōu)的跟蹤效果，但無法滿足現(xiàn)有的自主跟蹤模式。

2 基于柔性閾值的孿生網(wǎng)絡(luò)的多源圖像融合跟蹤

2.1 融合模式

針對(duì)典型打擊過程中目標(biāo)多源圖像融合跟蹤需求，開展多源圖像融合技術(shù)研究。針對(duì)典型跟蹤過程中兩種不同數(shù)據(jù)源存在的表征差異，考慮采用多源數(shù)據(jù)特征進(jìn)行融合。目前的融合有像素級(jí)、特征級(jí)以及決策級(jí)3個(gè)層次。像素級(jí)采用直接的圖像像素點(diǎn)進(jìn)行融合；特征級(jí)主要根據(jù)圖像整體特征，采用融合目標(biāo)特征信息，形成對(duì)目標(biāo)特征的持續(xù)跟蹤；決策級(jí)依據(jù)各圖像對(duì)目標(biāo)跟蹤信息進(jìn)行融合。由于特征級(jí)能夠有效利用不同成像機(jī)理的互補(bǔ)信息，因此本文考慮采用特征級(jí)融合模式。

針對(duì)不同成像特征，構(gòu)建其全連接的深度模型，形成對(duì)典型圖像的深度特征描述模式。具體特征表征結(jié)構(gòu)如圖1所示。

圖1 深度特征描述模式

2.2 柔性閾值設(shè)置

針對(duì)紅外和光電圖像特征級(jí)跟蹤結(jié)果實(shí)時(shí)調(diào)整，兩者的網(wǎng)絡(luò)采用共用閾值，傳統(tǒng)網(wǎng)絡(luò)的閾值設(shè)置為固定值，假設(shè)原來閾值設(shè)置為：

式中：n為個(gè)數(shù)。

兩個(gè)網(wǎng)絡(luò)采用典型融合模式，針對(duì)不同的圖像和不同的特征需求進(jìn)行共享參數(shù)的動(dòng)態(tài)調(diào)整。調(diào)整規(guī)則如下。

根據(jù)輸入圖像的特征，對(duì)共享的權(quán)重進(jìn)行調(diào)整：

式中：α為調(diào)整因子，初始值設(shè)為0.5，根據(jù)兩路網(wǎng)絡(luò)的檢測(cè)結(jié)果進(jìn)行調(diào)整，假設(shè)實(shí)時(shí)跟蹤準(zhǔn)確率為p1，p2，則：

通過式（3）調(diào)整后，形成新的共享權(quán)值：

2.3 基于柔性閾值的孿生網(wǎng)絡(luò)的多源圖像融合跟蹤

針對(duì)兩個(gè)不同數(shù)據(jù)源的融合模式，采用相同的孿生網(wǎng)絡(luò)分別進(jìn)行可見光與紅外圖像的目標(biāo)跟蹤，通過將兩者的跟蹤結(jié)果融合，進(jìn)一步獲得更精確的目標(biāo)跟蹤效果。

網(wǎng)絡(luò)融合跟蹤方法的流程如圖2所示。由于多源圖像的網(wǎng)絡(luò)架構(gòu)一致，因此，設(shè)置圖像模板為127×127，如果目標(biāo)在圖像邊緣而無法獲得目標(biāo)全部信息，則采用0值填充方式完成。

圖2 柔性閾值孿生網(wǎng)絡(luò)融合跟蹤方法流程

通過全卷積網(wǎng)絡(luò)特征關(guān)聯(lián)和目標(biāo)信息檢索，能夠獲得比較好的跟蹤結(jié)果，對(duì)于調(diào)整后獲得的目標(biāo)位置，通過采樣能夠在原圖中找到目標(biāo)位置。

可見光/紅外圖像的跟蹤結(jié)果通過標(biāo)記框進(jìn)行表征，通過比較兩者融合結(jié)果的有效性，提高典型融合跟蹤效果。如果出現(xiàn)某一組數(shù)據(jù)未檢測(cè)到目標(biāo)，則表示其共享的權(quán)重需要進(jìn)行調(diào)整。采用不同的權(quán)重進(jìn)行典型目標(biāo)跟蹤，針對(duì)兩者圖像跟蹤結(jié)果進(jìn)行比較，具體誤差分析如圖3所示。

圖3 跟蹤中心誤差示意圖

假設(shè)跟蹤中心誤差為d，則：

假設(shè)兩者跟蹤距離差d＜5，則認(rèn)為該次跟蹤有效，同時(shí)對(duì)以上區(qū)域形成融合架構(gòu)。如果不滿足該要求，則認(rèn)為其中一個(gè)通道目標(biāo)跟蹤失敗，則根據(jù)式（3）的結(jié)果確定選擇哪個(gè)通道作為此次跟蹤的結(jié)果。如果α＞0.5，則認(rèn)為可見光跟蹤可靠，否則則認(rèn)為紅外圖像可靠。

在d＜5時(shí)，采用中心幾何平均方法完成結(jié)果融合，具體融合方法為：

3 實(shí)驗(yàn)結(jié)果與討論

為驗(yàn)證本項(xiàng)目算法的有效性，本文采用6組可見光與紅外視頻進(jìn)行相關(guān)實(shí)驗(yàn)，同時(shí)為了驗(yàn)證本算法的可靠性，構(gòu)造典型的驗(yàn)證數(shù)據(jù)，有助于與數(shù)據(jù)進(jìn)行比較。在跟蹤過程中，主要針對(duì)地面車輛和空中飛機(jī)進(jìn)行實(shí)驗(yàn)，地面目標(biāo)遮擋最大為50%。

本研究采用跟蹤精度和成功率作為考核參數(shù)，比較不同算法的性能。跟蹤精度的定義為目標(biāo)跟蹤的像素標(biāo)記框與真實(shí)像素標(biāo)記框的比率。由于真實(shí)像素點(diǎn)無法進(jìn)行精確標(biāo)記，采用專家標(biāo)注的模式，形成真實(shí)目標(biāo)參考標(biāo)注數(shù)據(jù)。此時(shí)，可定義重合比例為跟蹤標(biāo)注框像素點(diǎn)與真實(shí)框像素點(diǎn)的重合比例。即：

式中：a、b分別表示跟蹤的像素標(biāo)記框與真實(shí)像素標(biāo)記框，∩表示交集，∪表示并集。跟蹤精度定義為跟蹤的像素標(biāo)記框與真實(shí)像素標(biāo)記框的中心位置誤差小于給定閾值的情況。精度反映了閾值變化對(duì)整體跟蹤精度的變化情況，成功率是只跟蹤像素框和真實(shí)像素框的重合比率大于閾值的情況，有效反映當(dāng)閾值從0到1變化時(shí)，整體跟蹤成功的情況。

將本文算法與單獨(dú)可見光圖像、紅外圖像跟蹤結(jié)果進(jìn)行對(duì)比，結(jié)果如圖4所示。可以看出，采用柔性閾值孿生網(wǎng)絡(luò)的多源圖像融合跟蹤算法精度最高可提高10%，而成功率則提高15%以上，說明本文算法具有一定的有效性。

圖4 融合跟蹤結(jié)果與單獨(dú)跟蹤圖像對(duì)比圖

對(duì)于地面車輛目標(biāo)存在遮擋跟蹤效果，圖4的跟蹤效果為最高遮擋50%左右的融合前后跟蹤效能?？梢钥闯觯趲缀跛械奶魬?zhàn)因素下，本文提出的決策級(jí)融合跟蹤算法都使跟蹤精度和成功率有了巨大的提升。唯一的例外是在發(fā)生嚴(yán)重遮擋的情況下，盡管融合跟蹤的結(jié)果較基于紅外的跟蹤結(jié)果有很大提升，但是較基于可見光的跟蹤結(jié)果尚有一些差距。這可能是目標(biāo)被嚴(yán)重遮擋，以至于算法對(duì)模態(tài)可靠性的判斷出現(xiàn)了問題，導(dǎo)致未能合理融合可見光和紅外的跟蹤結(jié)果。

4 結(jié) 語

針對(duì)精確制導(dǎo)武器打擊目標(biāo)存在的目標(biāo)跟蹤困難和典型目標(biāo)跟蹤難的問題，在傳統(tǒng)的孿生網(wǎng)絡(luò)基礎(chǔ)上，本文提出一種基于柔性閾值的孿生網(wǎng)絡(luò)架構(gòu)，分別根據(jù)不同的圖像特征，在傳統(tǒng)權(quán)重值上加入調(diào)整因子，從而提高目標(biāo)跟蹤的準(zhǔn)確率，完成對(duì)目標(biāo)的精確跟蹤。實(shí)驗(yàn)表明，提出的方法能夠滿足跟蹤實(shí)時(shí)性和性能要求，特別是在單一圖像源跟蹤不可靠的情況下。針對(duì)目標(biāo)更高比例的遮擋情況，下一步將繼續(xù)探索，以達(dá)到典型高遮擋情況下的目標(biāo)跟蹤效果，從而獲得更高精度的目標(biāo)跟蹤結(jié)果。