宋文姝，侯建民，崔雨勇

（1.山西省無線電監(jiān)測中心，山西 太原 030009；2.晉西車軸股份有限公司，山西 太原 030027；3.西南技術(shù)物理研究所，四川 成都 610041）

0 引 言

目標(biāo)檢測（object detection）作為計算機視覺的基本技術(shù)，在無人駕駛和行為識別等方面具有廣泛應(yīng)用[1]，是計算機視覺應(yīng)用的重要方向。傳統(tǒng)的檢測方法，特別是基于圖像的方法有基于特征的方法，如方向梯度直方圖（Histogram of Oriented Gradient，HoG）和尺度不變特征變換（Scale invariant feature Transform，SIFT）[2]，特征的人為選取往往需要經(jīng)驗，由于目標(biāo)的種類不同，因此特征構(gòu)建往往存在一定的差異。隨著深度卷積網(wǎng)絡(luò)技術(shù)的發(fā)展，當(dāng)前已經(jīng)能夠從更高層特征完成典型目標(biāo)的表征，同時具備更強的目標(biāo)細(xì)節(jié)表現(xiàn)能力。典型的IMGENet和COCO等標(biāo)準(zhǔn)庫[3]的構(gòu)建，在基于深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)檢測方面具有重要優(yōu)勢，主要表現(xiàn)在兩方面：一是由于其深度學(xué)習(xí)特征模擬人的理解過程，可完成物體特征的深層抽象；二是樣本庫的豐富程度對深度網(wǎng)絡(luò)架構(gòu)訓(xùn)練的結(jié)果影響比較大，由于深度網(wǎng)絡(luò)參數(shù)豐富，因此具備很強的學(xué)習(xí)能力。大量的數(shù)據(jù)訓(xùn)練有助于激活深度網(wǎng)絡(luò)的神經(jīng)元，使其可以從物體的形態(tài)、環(huán)境屬性及顏色等多維度對目標(biāo)進行深入認(rèn)知，因此深度網(wǎng)絡(luò)在目標(biāo)檢測中具有獨特的優(yōu)勢，且隨著樣本的豐富能夠獲得比普通方法更有效的檢測效果。

本文針對紅外和可見光獲取的不同目標(biāo)信息，采用two-stage模式，完成對同一目標(biāo)的不同成像條件下的深度特征提取，完成典型特征提取，并通過特征融合模式，形成深度學(xué)習(xí)網(wǎng)絡(luò)輸入，采用YOLOV3網(wǎng)絡(luò)思想，通過網(wǎng)絡(luò)的輕量化設(shè)計提升網(wǎng)絡(luò)訓(xùn)練和檢測效率，實現(xiàn)在機載平臺的應(yīng)用需求，最后通過典型實驗驗證，提高了多源圖像特征級融合的深度檢測網(wǎng)絡(luò)的效能。

1 相關(guān)工作

采用多源圖像特征完成典型目標(biāo)檢測具有重要的意義，特別是針對不同典型的目標(biāo)檢測。目前基于深度學(xué)習(xí)的目標(biāo)檢測已經(jīng)成為研究的熱點，依托深度卷積神經(jīng)網(wǎng)絡(luò)特征描述的優(yōu)勢，有效完成單一目標(biāo)或多種目標(biāo)的檢測，特別是在目標(biāo)受到干擾等情況下，具有一定的優(yōu)勢。當(dāng)前，two-stage系列算法有OverFeat[3]，Braham等利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）完成典型視頻序列目標(biāo)分析[4]，完成目標(biāo)訓(xùn)練，實現(xiàn)對背景與目標(biāo)的分離。文獻[5]提出一種深度自編碼網(wǎng)絡(luò)訓(xùn)練，設(shè)計一種代價函數(shù)，有效提高深度自編碼網(wǎng)絡(luò)提取背景效果。文獻[6]提出一種將視頻對比模式引入背景的高層特征，實現(xiàn)塊級別的快速運動目標(biāo)檢測。文獻[7]構(gòu)建多層自組織映射網(wǎng)絡(luò)完成背景模型訓(xùn)練，有效提高了目標(biāo)智能檢測效果。Fast R-CNN在R-CNN的基礎(chǔ)上，針對候選區(qū)域重疊問題，進行了多次特征迭代并多次參與卷積運算，造成資源浪費的情況，采用對特征一次提取并進行歸一化表示的思想，檢測效率得到大幅提高，文獻[8]提出一種采用LSSVM和多數(shù)投票原則的遙感影像道路提取技術(shù)，構(gòu)建典型特征金子塔有效提取目標(biāo)信息，從而形成特征空間和尺度上完全活躍的特征交互，從而提高目標(biāo)檢測準(zhǔn)確度[9-10]。

2 基于多源信息融合的智能目標(biāo)檢測技術(shù)

2.1 圖像的深度特征提取

基于典型的卷積神經(jīng)網(wǎng)絡(luò)模型，進行典型的特征分析，在大規(guī)模訓(xùn)練級的基礎(chǔ)上，采用AlexNet網(wǎng)絡(luò)的模型前5層特征進行典型圖像的深度特征提取。模型的初始參數(shù)通過訓(xùn)練傳統(tǒng)的數(shù)據(jù)集獲?。ū疚牟捎肐mageNet數(shù)據(jù)集）。通過對數(shù)據(jù)集的訓(xùn)練，可以對目標(biāo)模型進行深度特征提取，采用典型的池化和卷積操作，提高典型目標(biāo)的特征提取模式。通過取消典型網(wǎng)絡(luò)的全連接層和最后的卷積層，完成典型特征的提取。通過5層卷積模型，完成圖像特征的逐層分解，形成目標(biāo)多層特征模型。訓(xùn)練特征獲取如圖1所示。

圖1 紅外/光電圖像融合

通過對可見光圖像和紅外圖像分別進行特征提取，將圖像轉(zhuǎn)為3通道的7層金字塔圖像，針對典型圖像的特征訓(xùn)練，構(gòu)建如圖2的輸出圖像。由于傳統(tǒng)的網(wǎng)絡(luò)是224*224的，而本文圖像獲取的是512*512的，因此，為了能夠獲得其準(zhǔn)確數(shù)據(jù)，直接對其進行第一層的網(wǎng)絡(luò)參數(shù)提取。

采用典型的圖像和可見光的圖像融合模式，形成典型特征分析結(jié)果，由于采用特征級的融合，具體的融合模式在章節(jié)3.2中敘述。在原始圖像的基礎(chǔ)上，形成典型的單源圖像提取模式，具體提取模式采用本文方法進行。針對典型的飛機特征進行提取，形成對典型目標(biāo)特征的提取模式，如圖3所示。

圖3 目標(biāo)不同層次特征模型

根據(jù)不同圖像融合的深度特征，形成典型目標(biāo)特征表達。由于深度學(xué)習(xí)的本質(zhì)是通過目標(biāo)的混合組件進行檢測，通過訓(xùn)練得到最高得分的組件，形成典型的訓(xùn)練目標(biāo)特征，因此能夠針對不同目標(biāo)在不同數(shù)據(jù)源的特征表征，有效區(qū)分目標(biāo)和背景。

2.2 紅外/光電圖像特征深度融合模式

針對典型的打擊目標(biāo)和實際目標(biāo)信息特征的需求，需要根據(jù)不同的目標(biāo)特征進行特征的融合模式分析，構(gòu)建紅外/光電圖像融合模式，形成特征級融合模式。

針對兩者在特征級檢測的優(yōu)勢，采用典型的特征檢測融合模式，形成多級特征檢測深度融合模式。通過對于兩種圖像目標(biāo)的顯著性區(qū)域特征檢測和融合，可以有效地獲得感興趣區(qū)域，減少數(shù)據(jù)量，提高計算效率。現(xiàn)有的檢測顯著性目標(biāo)算法都取得了較好的效果，然而，由于融合影像中受到紅外圖像的信噪比低，邊緣擴散效應(yīng)明顯的特點使得傳統(tǒng)的基于邊緣提取的分割算法在顯著目標(biāo)的精確位置定位及目標(biāo)實際大小獲取上存在一定的局限。采用深度特征完成典型目標(biāo)提取，形成顯著性目標(biāo)特征。通過在不同特征層次上進行特征的融合，提升典型目標(biāo)的細(xì)節(jié)特征。這一過程不僅能準(zhǔn)確提取目標(biāo)的特征信息，同時有效處理包含多個顯著目標(biāo)的圖像，提高處理效率，而且能進一步去除偽裝目標(biāo)。具體如圖4所示。

圖4 顯著性特征提取深度融合圖

顯著目標(biāo)的提取主要采用不同的特征，在融合前通過配準(zhǔn)完成典型目標(biāo)的融合，形成對典型目標(biāo)特征的模式，提升目標(biāo)細(xì)節(jié)特征，有助于提高融合后的目標(biāo)檢測效果。

紅外圖像與可見光圖像的成像機理不同，融合模式設(shè)置中需要根據(jù)成像機理進行設(shè)置。針對同一層次的不同特征細(xì)節(jié)，采用多個特征關(guān)聯(lián)模式進行評價，采用如下評判規(guī)則：

式中：α是采用的兩個圖像關(guān)聯(lián)參數(shù)向量，F(xiàn)(a,b)表示兩者的融合模式。一般而言，對于不同的特征融合，需要根據(jù)其特征進行分選。因此，兩者的特征在互補時，特征向量可以認(rèn)為是稀疏的，構(gòu)建典型的特征融合模式，F(xiàn)(a,b)可以表示為：

式中：p(ai,j,bi,j)為兩者的特征關(guān)聯(lián)相關(guān)度量，用于衡量兩者圖像間的融合問題。

2.3 基于融合圖像的智能目標(biāo)檢測技術(shù)

針對典型融合圖像的智能目標(biāo)檢測問題，采用多源信息融合的智能目標(biāo)檢測模式，以紅外/可見光圖像深度特征融合為基礎(chǔ)，完成典型目標(biāo)檢測。如圖5所示。

圖5 基于多源信息融合的智能目標(biāo)檢測技術(shù)

根據(jù)紅外與可見光圖像的大小，假設(shè)原始圖像為Iop與IIR，由于圖像本身沒有大小和分辨率不一致，首先完成圖像的規(guī)則化處理：I′op=f(Iop)，I′IR=f(IIR)。其中：

在圖像處理過程中，均值采用紅外與光電圖像處理模式，δ為圖像的誤差值。在歸一化處理中，同時對圖像大小進行統(tǒng)一變換，形成512*512圖像，在特征融合過程中，采用章節(jié)2.2給出的方法，完成典型特征在不同層次的融合，形成典型目標(biāo)的特征表示模式。候選區(qū)位置預(yù)測的目標(biāo)是預(yù)測哪些區(qū)域應(yīng)該作為中心點來生成候選區(qū)，是一個二分類問題。形狀預(yù)測是給定候選區(qū)的中心點，預(yù)測最佳的長和寬，這是一個回歸問題。可以使用兩個分支網(wǎng)絡(luò)來分別對候選區(qū)的位置和形狀進行分類和回歸，生成候選區(qū)。通過采用融合特征進行訓(xùn)練，形成典型目標(biāo)的特征輸出，形成目標(biāo)檢測結(jié)果。

為了能夠?qū)δ繕?biāo)精確檢測，采用最優(yōu)置信度模式，假設(shè)IoU是目標(biāo)檢測的真實方框區(qū)域，0標(biāo)記為非目標(biāo)區(qū)域。

分表表示配準(zhǔn)的檢測集與真實的標(biāo)注集。

3 實驗和分析

3.1 實驗環(huán)境

本文基于嵌入式應(yīng)用平臺進行網(wǎng)絡(luò)模型結(jié)構(gòu)的設(shè)計，但由于嵌入式硬件平臺計算和存儲能力有限，難以實現(xiàn)在有效的時間內(nèi)完成模型的訓(xùn)練優(yōu)化任務(wù)。針對此問題，本文采用服務(wù)器與嵌入式協(xié)同的網(wǎng)絡(luò)模型進行訓(xùn)練和測試。先將上述網(wǎng)絡(luò)模型結(jié)構(gòu)在高性能服務(wù)器平臺進行訓(xùn)練，并在此硬件平臺上完成模型的實際性能測試，之后將模型導(dǎo)入到嵌入式硬件平臺上。實驗環(huán)境詳細(xì)信息如表1所示。

表1 實驗環(huán)境

3.2 實驗結(jié)果及分析

由于同一場景的紅外和光電圖像在打擊武器視角下獲取困難，同時為了測試本算法的有效性，采用COCO數(shù)據(jù)集作為可見光圖像的飛機數(shù)據(jù)，而相應(yīng)的紅外圖像采用仿真軟件生成。同時，數(shù)據(jù)集中加入實際采集數(shù)據(jù)，形成完整的測試數(shù)據(jù)，紅外和可見光圖像各10 000張。

3.2.1 模型性能對比

針對單源圖像和融合后圖像分別計算其檢測結(jié)果，采用典型的融合模式，針對飛機和艦船目標(biāo)進行多次實驗。在COCO數(shù)據(jù)集算法性能方面，采用同樣的模型對以上3種輸入數(shù)據(jù)進行訓(xùn)練，并完成性能測試，具體測試結(jié)果如表2所示。

表2 模型性能對比

考慮到本文算法的應(yīng)用背景，采用了一些原始數(shù)據(jù)，在COCO數(shù)據(jù)集飛機和艦船目標(biāo)的基礎(chǔ)上，對數(shù)據(jù)進行了綜合，同時采用8 000張圖像進行訓(xùn)練，2 000張圖像進行測試?？梢钥闯觯诤咸卣鳈z測模式下的檢測準(zhǔn)確率較高，這是因為，在具體的檢測中，目標(biāo)特征在深度特征提取后因池化操作而隱藏了很多關(guān)鍵點，但是特征融合又增強了池化特征的表征能力，因此獲得了較好的檢測效果。

3.2.2 模型復(fù)雜度對比實驗

由于武器系統(tǒng)往往存在硬件資源受限的情況，模型的評價不僅需要從準(zhǔn)確率方面進行判定，而且需要考慮資源和準(zhǔn)確度的關(guān)聯(lián)。因此針對本方法提取的模型的參數(shù)計算情況進行分析，具體實驗結(jié)果如表3所示。

表3 模型復(fù)雜度對比

可以看出，本文的特征融合算法在計算量方面相比單傳感器增加，同時，由于深度特征融合在特征層進行，需要根據(jù)典型的特征相似性計算，因此計算時間較長，但增加的時間在可控范圍內(nèi)。另外，由于特征需要同時存儲，因此內(nèi)存增加較多。

在模型準(zhǔn)確率方面，本文的特征融合算法相比單傳感器都有提高，相比紅外特征，增加了2.3%，而相比可見光則增加了3.4%，具體原因在于，目標(biāo)被遮擋和特征模糊時，由于紅外特征對可見光的補充性比較強，且由于選擇的目標(biāo)具有一定熱輻射，因此其紅外圖像單獨檢測準(zhǔn)確率略高于可見光圖像，針對典型目標(biāo)增加了可靠性，滿足精確打擊武器和相關(guān)車載目標(biāo)檢測的需求。

4 結(jié) 語

針對對地打擊的目標(biāo)檢測需求，提出一種紅外/可見光圖像融合算法，采用圖像深度特征融合模式，通過對紅外圖像和可見光圖像的深度特征融合，提升目標(biāo)深度特征的完整性，從而提升不同層次特征檢測的有效性，實現(xiàn)目標(biāo)的檢測，有效提升戰(zhàn)場目標(biāo)的發(fā)現(xiàn)和檢測概率。

本文通過在不同層特征的融合達到目標(biāo)檢測的目的，采用目標(biāo)深度特征融合檢測的模式，無法確定融合的層次或在哪個層次獲得的融合效果更佳，因此下一步將通過特征在不同層次的融合和對比，提高特征的利用率。