楊 濤，戴 軍，吳鐘建，金代中，周國家

基于深度學習的紅外艦船目標識別

楊 濤，戴 軍，吳鐘建，金代中，周國家

（西南技術物理研究所，四川 成都 610041）

本文采用深度學習技術中的YOLOv3（You Only Look Once Version 3）目標識別算法對紅外成像儀從海面采集的紅外圖像中艦船進行識別。紅外成像儀采集圖像的頻率高達50幀/s，為了能減少網(wǎng)絡計算時間，本文借鑒YOLOv3的一些思想，采用全卷積結構和LeakReLU激活函數(shù)重新設計一個輕量化的基礎網(wǎng)絡，以此加快檢測速度。輸出層根據(jù)采集回來的紅外圖像的特點采用Softmax算法回歸，在提高檢測速度的同時，也兼顧了檢測精度。

紅外圖像；目標識別；深度學習；YOLOv3

0 引言

近年來我國軍事實力取得了巨大的進步，尤其是從遼寧艦成功服役后，我國的海軍力量上了一個新的臺階，在現(xiàn)在的海上戰(zhàn)爭中，要有效地削弱敵方海軍的戰(zhàn)斗力，精確識別對方艦船并采用精確制導技術摧毀對方的艦船是現(xiàn)代戰(zhàn)爭常用的方式，但精確識別敵方艦船是一個難點，我們需要高效的目標識別算法才能準確地鎖定對方的艦船。不僅如此，我國海岸線長達18000多公里，不僅是防止敵人入侵的重點地帶，也是偷渡、走私、販毒等違法犯罪的高發(fā)場所，要在如此之長的海岸線上重點監(jiān)測海岸附近的海面船只也是一個難點，為了維護海洋資源的可持續(xù)發(fā)展，我國在1995年制定了“伏休制度”，在此期間，對海面船只的監(jiān)控也是一件非常棘手的事。為了解決這些問題，我國在一些海岸線上安裝了監(jiān)控攝像頭，但早期的攝像頭都是可見光成像，只能在白天才能有效工作。隨著紅外成像技術的發(fā)展，紅外成像由于其成像距離遠、不受白天和夜間限制等優(yōu)點得到了廣泛的應用，但是紅外成像只能得到灰度圖像，再加上海天線、魚鱗波、船只等目標航向姿勢狀態(tài)等干擾因素的影響，要在紅外圖像上高效地識別出艦船是行業(yè)一大挑戰(zhàn)。

為了解決這個難題，學者們進行了大量的研究，許多優(yōu)秀的目標識別算法被學者發(fā)明并得到了廣泛的應用，在這些目標識別算法中，大致流程可分為圖像預處理、圖像特征提取、使用分類器對特征進行分類。傳統(tǒng)的目標識別算法中，特征提取方法基本都是通過手工的方式設置參數(shù)提取特征，針對不同的圖像檢測任務，往往要設計許多不同的特征提取方法，如為了使檢測系統(tǒng)適應圖像尺度、旋轉的變化，尺度不變特征變換（scale-invariant feature transform，SIFT）[1]，方向梯度直方圖變換（Histogram of oriented gradient, HOG）[2]被學者提出并得以廣泛的應用。然而，這些傳統(tǒng)的算法往往是在某些特定的場景下能獲得很好的效果，但換一種場景可能就表現(xiàn)的很差。

隨著近幾年來神經(jīng)網(wǎng)絡的飛速發(fā)展，深度學習算法在計算機視覺領域得到廣泛的應用，特別是目標識別中，大量的算法被提了出來，從R-CNN[3]到Faster-RCNN[4-7]等一系列基于提取候選區(qū)域（region of interests）的算法到YOLO[8]（you only look once）、SSD[9-10]（single shot multibox detector）等端到端的檢測算法大量涌現(xiàn)。其中YOLOv3[11-12]以其速度快，準確率高得到了大部分人的青睞，在VOC2012數(shù)據(jù)集上，YOLOv3在網(wǎng)絡輸入為416×416，IOU閾值設置為0.5時，檢測平均精度值（mean average precision，mAP）達到了57.9，超越了傳統(tǒng)的目標識別算法。本次任務是要檢測海面上過往的船只，目標成像達到5×10以上分辨率的目標。由于目標像素分辨率較小且經(jīng)常存在一張圖上有多個小目標的情形，YOLOv3對小目標有良好的表現(xiàn)效果且計算開銷相對較小。但是YOLOv3計算開銷比較大，在嵌入式平臺上實現(xiàn)實時檢測成本太高，所以本次實驗選擇了YOLOv3作為基本算法進行改進。重新對YOLOv3提取特征的基礎網(wǎng)絡進行了設計，通過減少網(wǎng)絡層數(shù)，減少卷積核的大小，借鑒YOLOv3的思想，采用全卷積和LeakReLu激活函數(shù)，增強網(wǎng)絡擬合能力并減少計算開銷，實現(xiàn)高效的艦船識別。

1 YOLOv3檢測的原理

1.1 YOLOv3（You Look Only Once Version3）

YOLOv3把一張圖經(jīng)過一系列卷積或池化計算后，輸出3個不同感受野××[+(×5)]的特征圖。為輸出特征圖的長和寬，為預測類別數(shù)量，表示網(wǎng)格內是屬于哪一類物體的置信度，為每個網(wǎng)格最多預測目標的個數(shù)。5表示網(wǎng)格預測每個目標的位置信息和位置的置信度的參數(shù)個數(shù)：每個目標的信息應該包含目標位置的中心坐標和目標尺寸信息，這里用(,)（、）來表示，這4個參數(shù)可以得到一個框，得到目標所在的區(qū)域。在YOLOv3中，目標中心位置(,)是相對于當前網(wǎng)格左上角頂點的偏移值，而（、）則是相對于整幅圖像寬度和高度，都被歸一化到(0,1)區(qū)間。得到3個特征圖后，再把低分辨率的特征圖采樣到高分辨率的特征圖上，這相當于把圖片劃分為了×個網(wǎng)格，如果目標物體的中心落入了某個網(wǎng)格，則這個網(wǎng)格就負責檢測該物體。較高分辨率的特征圖用來檢測較小分辨率的目標，較小分辨率的特征圖主要負責檢測較大分辨率的目標，這大大提高了目標檢測的準確率，每個網(wǎng)格還要預測目標位置信息的置信度（Confidence），即預測的框的準確率通過公式(1)計算得到，之后通過圖像交并比（intersection-over-union, IOU）和非極大值抑制（non-maximum suppression, NMS）來排除重復的目標。IOU為預測區(qū)域與物體真實區(qū)域（ground truth）的交集與兩者并集之比。Confidence和IOU的計算公式如下：

式中：(Object)為預測邊界框包含目標物體的概率，如果目標中心落在邊界框之內，則置信度為1，相反，如果網(wǎng)格中不存在目標，則(Object)＝0；Areatruth為基于訓練樣本標注的目標真實區(qū)域的面積；Areapred為預測的目標物體的邊界框的面積。目標位置的置信度表示為預測目標與真實目標的IOU（檢測框和真實框的重疊程度）值乘以目標概率，最后再對輸出的目標框使用非最大值抑制得到最后的結果，YOLOv3實現(xiàn)了端到端的檢測。YOLOv3算法示意圖如圖1，YOLOv3的網(wǎng)絡結構如圖2。

YOLOv3的檢測速度在TitanX上圖像輸入分辨率為416×416時檢測幀率為35fps，在日常生活應用中，達到了實時性要求，但在普通計算芯片上，遠遠達不到這個速度。在檢測精度方面，以mAP為評價參數(shù)，YOLOv3達到了55.3%，已經(jīng)遠遠地高于傳統(tǒng)的算法。

1.2 改進YOLOv3的紅外艦船檢測

YOLOv3在目標檢測中表現(xiàn)出了非常好的性能，但是，其網(wǎng)絡結構比較復雜，卷積層數(shù)很深，這樣可以使網(wǎng)絡擬合能力大大增加，從而可以進行多種目標的檢測，原作者是在COCO數(shù)據(jù)集上設計的基礎網(wǎng)絡，總共需要檢測91種目標，計算開銷特別大，特別是在普通CPU上無法實現(xiàn)實時性，但是在本次實驗中，原則上只需要檢測艦船這一種目標，但是為了減少海天線和魚鱗波帶來的干擾，我們實際檢測了3種目標，即艦船、海天線、以及魚鱗波。由于檢測目標種類數(shù)變少了，所以網(wǎng)絡的擬合能力可以不需要那么強，本文將對YOLOv3網(wǎng)絡結構進行重新設計，使得在滿足檢測精度的同時，減少計算開銷。在YOLOv3網(wǎng)絡中，作者放棄了池化采樣計算，采用全卷積計算，在對特征圖下采樣時采用了步長為2的卷積計算，變成了全卷積網(wǎng)絡。本文擬借鑒原作者的思想，用全卷積網(wǎng)絡作為特征提取層，為了減小計算開銷，采用小卷積核，在13×13，26×26，52×52三種尺寸的特征圖上做預測。對采集回來的數(shù)據(jù)作分析，紅外艦船圖像背景相對比較簡單，除了海面，天空外，基本只有海天線和魚鱗波的干擾。在很多情形下，一張圖片上存在多個艦船目標的情況，目標大小相差很大而且還存在艦船之間相互遮擋的問題。針對本次數(shù)據(jù)的特性，在數(shù)據(jù)集中特意增加了海天線和魚鱗波類別，增強了該網(wǎng)絡在魚鱗波和海天線干擾下的魯棒性，減少了虛警率。改進網(wǎng)絡包括以下幾點：

圖1 YOLOv3算法示意圖

圖2 YOLOv3網(wǎng)絡結構圖（特征提取網(wǎng)絡為Darknet-53）

1）全網(wǎng)絡激活函數(shù)采用LeakReLU激活函數(shù)，其數(shù)學計算公式如下：

2）采用全卷積網(wǎng)絡

本文借鑒了YOLOv3的原理，網(wǎng)絡結構采用了全卷積和多尺度的思想，下采樣采用控制卷積步長的方法來實現(xiàn)，增加了網(wǎng)絡的擬合能力。

3）重新設計一個卷積網(wǎng)絡，使其在保證精度的情況下減少計算開銷，提高檢測速度。整個網(wǎng)絡的結構如圖3所示：其中Con2_BatNor_LR包含3個連續(xù)的算法，卷積（Convolutional）、Batch Normalization，Leak ReLU。

①卷積計算

對圖像進行卷積計算，提取圖像特征，其中fileter為卷積核的個數(shù)，Size為卷積核的尺寸，Stride為卷積計算式的步長，如圖3所示，本次采用1×1，2×2，3×3三種不同大小的卷積核，這3種卷積核尺寸都比較小，相比與5×5或7×7的卷積核，可以大大減小計算量。

②Batch Normalization

在訓練神經(jīng)網(wǎng)絡時，使用標準化輸入可以提高訓練的速度。方法是對訓練數(shù)據(jù)集進行歸一化的操作，把原來的數(shù)據(jù)減去其均值后，再除以其方差。這種標準化輸入只是對輸入進行了處理，中間的隱藏層沒有什么變化。在神經(jīng)網(wǎng)絡中，第層隱藏層的輸入就是第－1層隱藏層的輸出，如果對層的輸出進行標準化處理，從原理上來說可以提高l和l參數(shù)的訓練速度和準確度。這種對各隱藏層的標準化處理就是Batch Normalization。其計算公式如下：z表示層的輸出的第個參數(shù)，是為了防止分母為零，可設一個非常小的值，如10－10。Batch Normalization計算由以下3步完成：

1）計算輸出層輸出的均值，如式(4)：

2）計算層輸出的方差2￠，如式(5)：

3）歸一化輸出，如式(6)：

式中：表示層輸出參數(shù)的個數(shù)。

③Leaky Relu函數(shù)

在早期的神經(jīng)網(wǎng)絡中，激活函數(shù)多用ReLu函數(shù)，ReLu函數(shù)是將所有的負值都設為零，然而Leaky ReLu函數(shù)是給所有負值賦予一個非零斜率。LeakyReLU函數(shù)在ReLu的基礎上把小于零的數(shù)給一個很小的乘積因子，在近兩年新提出的網(wǎng)絡結構中，LeakyRelu被廣泛使用。其計算表達式如下：

式中：a是屬于(1，＋￥)上的常數(shù)。在輸出的處理中如圖3所示，依然拼接融合了3個不同尺度的特征層做最后的特征輸出。

2 檢測結果及性能分析

2.1 仿真平臺介紹

此仿真平臺操作系統(tǒng)為64位的Windows 7，采用了Tensorflow深度學習框架搭建的改進YOLOv3網(wǎng)絡，硬件方面CPU為Intel Pentium G2030，GPU采用了GeForce GTX 1050。本次實驗中紅外艦船的圖片數(shù)據(jù)共有1330張圖，其中1200張為訓練集，130張為驗證集。本次采用的損失函數(shù)為YOLOv3原有的損失函數(shù)，圖4為訓練過程中的損失下降過程，圖5為驗證集損失曲線圖，可以看到數(shù)據(jù)迭代到3000次左右時模型趨于穩(wěn)定，驗證方式為每訓練10次驗證一次。

圖3 改進YOLOv3的網(wǎng)絡結構圖

注：Type為計算流程，Con2_BatNor_LR前面有介紹，Size/Stride為卷積核的大小和卷積計算的步長，卷積步長為空是為默認值1，Output是卷積輸出的Feature Map的尺寸大小。

Note: Type is the computational process. It has been introduced before. Size/Stride is the kernel size of the convolution and step. Default value is 1 if the convolution step is empty. Output is the Feature Map’s size.

圖4 訓練損失下降曲線圖

圖5 驗證集損失下降曲線圖

2.2 測試結果

本次測試集總共有130張紅外圖片，包含248個艦船目標，還有一段視頻，用于測試該網(wǎng)絡的檢測幀率。如圖6、圖7所示，該網(wǎng)絡在該平臺上檢測視頻的速度高達18fps，而YOLOv3只有6fps，整整提高了3倍。該網(wǎng)絡對于海雜波遮擋和海天線的干擾也有很強的抗干擾性，圖8、圖9、圖10。對測試圖片檢測后部分統(tǒng)計結果如表1、表2所示，其中confidence是YOLOv3輸出時使用非極大值抑制的閾值，Total nums為模型檢測目標的總數(shù)，Ground True是測試數(shù)據(jù)上真實目標總數(shù)，True是檢測目標數(shù)和實際目標在能匹配上的數(shù)量，即可以認為檢測出的目標是真實目標的數(shù)量。

圖6 改進YOLOv3視頻檢測

圖7 YOLOv3視頻檢測

圖8 改進YOLOv3（左）和YOLOv3（右）對海雜波的抗干擾

圖9 改進YOLOv3（左）和YOLOv3（右）對遮擋情況下的抗干擾

圖10 改進YOLOv3（左）和YOLOv3（右）對海天線的抗干擾

表1 改進YOLOv3在IOU＝0.3測試數(shù)據(jù)

YOLOv3在測試集的統(tǒng)計結果如表3、表4所示。通過表1，表3對比，表2和表4的對比，我們可以看出，改進后的YOLOv3和YOLOv3檢測精度的差距很小，為了更為直觀地表達，我們使用表1和表3，的數(shù)據(jù)繪制了準確率（Precision）和召回率（Recall）的-曲線（IOU＝0.3），如圖11所示。從圖中我們可以看出，改進YOLOv3和YOLOv3在檢測精度上確實相差很小，大約只有1%的檢測精度損失。

表2 改進YOLOv3在IOU＝0.5測試數(shù)據(jù)

表3 YOLOv3在IOU＝0.3測試數(shù)據(jù)

表4 YOLOv3在IOU＝0.5測試數(shù)據(jù)

圖11 改進YOLOv3和YOLOv3的P-R曲線

3 結論

通過數(shù)據(jù)可以看出，改進YOLOv3的精度和原YOLOv3相差不大，改進YOLOv3比YOLOv3精度小于1%，相差不大，但是改進YOLOv3在此平臺上能實現(xiàn)18fps的速度，而原YOLOv3只有6fps，速度提升了3倍，模型參數(shù)從原YOLOv3的235MB減少到了23.5MB，這對于模型移植到嵌入式系統(tǒng)或者一個GPU實現(xiàn)多路視頻檢測非常有利。從結果來看，改進的YOLOv3在紅外艦船目標檢測應用中性能有了很大的改善，特別是速度和對硬件資源的要求方面有了很大的提升，對于工程化應用而言，在大大節(jié)約成本的同時，又可以提供可靠的實時性保障。此外，由于紅外艦船圖像數(shù)據(jù)稀缺，用于本文實驗的圖像數(shù)據(jù)總共只有1330張，這對于深度學習而言，實在是太少了，相信如果有足夠的數(shù)據(jù)來訓練網(wǎng)絡，實驗結果還會有所提升。

[1] ZHAN J P, HUANG X J, SHEN Z X, et al. Target tracking method based on mean shift and Kalman filter[J].: Science and Technology, 2010, 24(3):76-80.

[2] 張世博, 李夢佳, 李樂, 等. 基于方向梯度直方圖的行人檢測與跟蹤[J].北京石油化工學院學報, 2013, 21(4): 37-40.

ZHANG Shibo, LI Mengjia, LI Le, et al. Human detection and tracking based on HOG descriptor[J]., 2013, 21(4): 37-40.

[3] 張鵬. 基于卷積神經(jīng)網(wǎng)絡的光學遙感圖像中機場目標識別研究[D]. 長沙: 國防科學技術大學, 2016.

ZHANG Peng. Airport Detection in Optical Remote Sensing Images with Convolution Neural Network[D]. Changsha: National University of Defense Technology, 2016.

[4] Girshick R. Fast R-CNN[C]//, 2015: 1440-1448.

[5] REN S, HE K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//s, 2015: 91-99.

[6] 戴陳卡, 李毅. 基于Faster RCNN 以及多部件結合的機場場面靜態(tài)飛機檢測[J]. 計算機應用, 2017, 37(s2): 85-88.

DAI C K, LI Y. Aeroplane detection in static aerodrome based on faster RCNN and multi- part model[J]., 2017, 37(s2): 85-88.

[7] REN S, HE K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137-1149.

[8] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real- time object detection[C]//, 2015: 779-788.

[9] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//, Springer International Publishing, 2016: 21-37.

[10] CAO Shuo, ZHAO Dean, LIU Xiaoyang, et al. Real-time robust detector for underwater live crabs based on deep learning[J]., 2020: 172.

[11] Redmon J, Farhadi, A. YOLOv3: an incremental improvement[Z/ OL][2018-04]. https://www.researchgate.net/publication/324387691_ YOLOv3_ An_Incremental_Improvement.

[12] ZHANG Xiang, YANG Wei, TANG Xiaolin, et al. A fast learning method for accurate and robust lane detection using two-stage feature extraction with YOLOv3[J]., 2018, 18(12): 4308.

Target Recognition of Infrared Ship Based on Deep Learning

YANG Tao，DAI Jun，WU Zhongjian，JIN Daizhong，ZHOU Guojia

(,610041,)

In this study, the You Only Look Once Version 3 (YOLOv3) target recognition algorithm in deep learning technology is used to identify the ship in an infrared image collected using an infrared imager from the sea surface. The infrared imager captures images at a frequency of up to 50 frames per second. To reduce network computing time, a few ideas are generated based on YOLOv3; additionally, a full convolution structure and the LeakReLU activation function are used to redesign a lightweight basic network to accelerate detection. The output layer uses the softmax algorithm to regress according to the characteristics of the collected infrared images, which improves the detection speed and accounts for detection accuracy.

infrared image, target recognition, deep learning, YOLOv3

TN957.52，TP18

A

1001-8891(2020)05-0426-08

2019-06-18；

2019-07-22.

楊濤（1992-），男，碩士研究生，主要從事目標檢測、深度學習方面的研究。E-mail：304778654@qq.com。

吳鐘建（1967-），碩士，副研究員，碩士導師，主要從事目標跟蹤、目標檢測等方面的研究。E-mail：wjz209@126.com。