朱家輝，蘇維均*，于重重，黃俊卿

（1.北京工商大學，北京 100048；2.中國輕工業(yè)工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)重點實驗室，北京 100048；3.陸軍裝甲兵學院，北京 100072）

0 引言

隨著社會的發(fā)展和科技的進步，目標檢測技術(shù)在軍事領(lǐng)域有著重要的應(yīng)用價值與研究意義。軍事目標的檢測識別對于戰(zhàn)場監(jiān)視、偵查和損傷狀態(tài)評估具有重要作用，是現(xiàn)代高科技戰(zhàn)爭中贏得戰(zhàn)爭勝利的關(guān)鍵因素。然而，在目標檢測任務(wù)中，由于二維目標檢測只能回歸出目標的像素坐標，缺乏深度、尺寸等參數(shù)信息，在實際應(yīng)用中存在著一定的局限性。近年來，利用深度學習網(wǎng)絡(luò)解決復雜戰(zhàn)場環(huán)境下的三維目標檢測取得了較好效果。

三維目標檢測的研究早期主要是對單目圖像的三維信息進行粗略地快速估計，隨著深度神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，三維目標檢測的應(yīng)用范圍和精度都得到了提高。2014 年，GUPTAS 等提出基于RGB 圖像和深度圖來檢測圖像中的輪廓，利用CNN 進行特征提取，但網(wǎng)絡(luò)架構(gòu)無法高效利用反向傳播算法，難以進一步優(yōu)化結(jié)構(gòu)。2017 年，WADIM K 等提出SSD-6D 算法，基于RGB 數(shù)據(jù)擴展了流行的SSD 目標檢測模型，使其覆蓋整個三維空間，并在synthetic model 數(shù)據(jù)集上進行訓練。通過實驗證明，在多個挑戰(zhàn)性的數(shù)據(jù)集上，該方法精度超過同時期其他算法。2018 年，TRUNG P 等提出了一個端到端的深度學習框架Deep-6DPose，將Mask R-CNN 擴展為一個新的三維目標檢測分支，可以直接回歸出目標的三維框，不需要進行任何細化，簡化訓練過程。隨后，SIMON M 等提出Complex- YOLO 算法以及用于實時三維目標檢測的歐拉區(qū)域建議網(wǎng)絡(luò)（ERPN），其中，Complex-YOLO 采用了YOLOV2 網(wǎng)絡(luò)架構(gòu)，可直接針對RGB 圖像進行操作，實現(xiàn)三維目標多類邊界框的精確定位。2018 年，REDMON J 在YOLOV2 的基礎(chǔ)上提出了YOLOV3，其在小目標檢測中準確率具有顯著提升。因此，本文選擇使用YOLOV3 算法，實現(xiàn)對坦克及彈孔損傷的二維目標檢測識別，并在此基礎(chǔ)上引入九點法回歸三維目標檢測框的方法，使改進后的算法能夠在復雜戰(zhàn)場環(huán)境下更準確地檢測目標的三維信息，進而完成對坦克及彈孔損傷的三維目標檢測識別，對于現(xiàn)代化軍事領(lǐng)域的自動檢測技術(shù)應(yīng)用具有現(xiàn)實意義。

1 YOLOV3 模型

YOLOV3 借鑒了殘差網(wǎng)絡(luò)的做法，在一些層之間設(shè)置了快捷鏈路構(gòu)成殘差模塊，其具體結(jié)構(gòu)如圖1 所示，在增加了快捷鏈路后，學習過程從直接學習特征變成在已學習特征的基礎(chǔ)上添加某些特征，從而獲得更好的特征。因此，對于一個復雜的特征H（x），從獨立地逐層學習變成H（x）=F（x）+x，其中，x 是快捷鏈路初始特征，F(xiàn)（x）是對x 進行的填補與增加，稱為殘差。因此，學習的目標就從學習完整的信息變成了學習殘差，進而顯著降低了學習優(yōu)質(zhì)特征的難度。

圖1 殘差模塊結(jié)構(gòu)

YOLOV3 與Faster R-CNN 類似，也采用了先驗框的做法，但不同點在于YOLOV3 采用了K-means聚類的方式提取先驗框，聚類采用式（1）計算邊框之間的差異程度。

其中，d 表示差異度，centroid 表示聚類時被選作聚類中心的候選框，box 表示其他候選框，IOU 表示centroid 和box 兩個目標框交集與并集的面積比值。

YOLOV3 的損失函數(shù)由預測框IOU 置信度誤差、預測框與先驗框位置誤差、預測框位置誤差、預測框置信度誤差和對象分類誤差5 部分組成。

式（2）中的第1 項為預測框IOU 置信度誤差，代表預測框內(nèi)沒有檢測目標但IOU 值最大情況下所出現(xiàn)的誤差。具體指在預測框中與目標真實邊框最大但小于閾值時，此系數(shù)為1，計入誤差；否則為0，不計入誤差。式（2）中的第2 項為預測框與先驗框的位置誤差，1指此項只計算前128 000 次迭代的誤差，如此設(shè)置能使模型在早期訓練中更方便預測先驗框位置。式（2）中的第3 項～第5 項指在預測框內(nèi)存在檢測目標時，計算預測框與目標真實邊框的位置、置信度、分類誤差。

2 九點法回歸三維目標檢測框

三維目標檢測的現(xiàn)有方法中SSD-6D、Deep-6D、BB8和PoseCNN都是基于二維目標檢測框架實現(xiàn)的三維目標檢測，但這些算法在進行三維目標檢測時，需要預先提供物體精確的CAD 模型及大小，如圖2 所示，由于坦克數(shù)據(jù)的特殊性，無法獲得精確的CAD 模型及大小，文獻［9］提出在測試時可直接使用標記的數(shù)據(jù)信息，返回三維目標檢測中所需要的9 個點的三維坐標，即三維框的8 個角點和1 個目標中心點，其要達到的效果如圖3 所示。

圖2 物體CAD 模型

圖3 三維框九點圖例

在進行三維框回歸時，將坦克主體部分和彈孔損傷部分進行區(qū)分，采用兩種不同的方式進行三維建模。由于圖像中存在角度遮擋，無法準確標記9 個點的三維坐標，故需要進行一定的變型處理。

2.1 坦克主體

坦克主體作為圖像中的大目標，采用的三維建模方式為先確定三維框的底面3 個可視點坐標，從而形成三維框的底面再結(jié)合高度信息，最終確定坦克主體部分的三維框。如圖4（a）所示，取P1、P2、P3的中心點作為三維框的底面3 個可視點坐標，P2 與P4 的縱坐標插值用于取三維框的高度信息，具體數(shù)值信息如圖4（b）所示。

圖4 坦克主體三維建模

若圖像中包含多輛坦克，仍然按照該方法進行標定并將標定的坐標依次命名為P1'、P2'、P3'、P4、P1''、P2''，…，因此，會出現(xiàn)多個坦克目標及多個坐標值的情況，在對坐標進行目標歸屬劃分時，由于P2與P4 的橫坐標一致或極其相近，故本文采取的方法為先確定P2 與P4，再以P2 與P4 為基準點加之標定的坦克二維框，如圖5 所示，確定出在該坦克二維框內(nèi)的P1 與P3，最終通過4 個點的坐標即可得到每個坦克的三維框。

圖5 坦克二維框標定

2.2 彈孔損傷

彈孔損傷作為圖像中的小目標，無法使用坦克主體部分的方法進行三維建模，因此，彈孔損傷檢測直接通過二維框進行三維建模，并需要在訓練集中給定彈孔的入射深度及入射角度，采用的三維建模方式為使用標定的二維框作為三維框的底面，再假設(shè)子彈以垂直角度入射形成彈孔，加之給定的入射深度信息，形成垂直于坦克表面的彈孔三維框。最后利用給定的入射角度信息，將之前獲得的彈孔三維框按照角度信息進行旋轉(zhuǎn)，即可得到彈孔三維框，彈孔標定如圖6（a）所示，具體數(shù)值信息如圖6（b）所示。

圖6 彈孔損傷三維建模

3 優(yōu)化Complex-YOLO 網(wǎng)絡(luò)結(jié)構(gòu)

Complex-YOLO 網(wǎng)絡(luò)以RGB 圖像作為輸入，使用YOLOV2 的二維檢測架構(gòu)，提出一個特定的歐拉區(qū)域建議網(wǎng)絡(luò)（E-RPN），該網(wǎng)絡(luò)在嵌入端（NVIDIA Titan X）上能實現(xiàn)50 fps 的處理速度，其網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。

圖7 Complex-YOLO 網(wǎng)絡(luò)結(jié)構(gòu)

為了進一步提高網(wǎng)絡(luò)的精度，將Complex-YOLO中的二維檢測網(wǎng)絡(luò)YOLOV2 替換為YOLOV3，不僅提升了性能，而且保證了較快處理速度，尤其對于小目標具有很強的魯棒性，能夠提高彈孔損傷目標的檢測準確率。

三維目標檢測分支接收二維目標檢測得到的帶物體類別標簽的坦克損傷圖像，通過物體類別標簽識別圖像中坦克及彈孔的數(shù)量和類別，根據(jù)識別結(jié)果及兩類物體的特點，采用不同的三維建模方式分別建立三維模型，再對兩類三維目標識別結(jié)果進行整合。目前的三維目標檢測算法都需要物體精確的CAD 模型，然而對敵方坦克進行損傷檢測時，缺乏CAD 模型，所以把網(wǎng)絡(luò)中的三維目標檢測分支替換為九點法回歸三維目標檢測框，以解決缺乏CAD模型的問題。

模型在檢測RGB 圖像時，可以檢測到物體在二維平面中的坐標，以及物體相對于x 軸和y 軸的旋轉(zhuǎn)角，同時返回與x，y 平面的夾角信息，從而得到物體的深度信息（即z 的信息），以完成物體的三維目標檢測。但在檢測的過程中，缺失物體相對于z 軸的旋轉(zhuǎn)角度，使得物體的位置不確定，因此，將物體與z 軸夾角的標簽信息從網(wǎng)絡(luò)中返回，返回的Loss 信息如式（3）所示：

其中，α 表示更新后的學習率，0.9 為衰減率，epoch_num 表示代數(shù)表示衰減速度，α表示更新前的學習率。在訓練過程中，將學習率初值設(shè)為0.1，batch_size 即一次迭代使用的樣本量設(shè)為20，epoch即一個訓練輪次設(shè)為10，可以使網(wǎng)絡(luò)最大程度地學習圖像特征，提高網(wǎng)絡(luò)檢測的準確率。

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集與數(shù)據(jù)預處理

使用Python 網(wǎng)絡(luò)爬蟲，從公共圖像數(shù)據(jù)庫爬取坦克彈孔損傷圖像，對坦克損傷圖像進行篩選，剔除沒有彈孔損傷及坦克全貌的圖像，將選好的圖像數(shù)據(jù)按照坦克型號進行分類處理，04 步兵戰(zhàn)車、99坦克、96 坦克及59 坦克的數(shù)量如表1 所示。

表1 坦克型號及數(shù)量

由于神經(jīng)網(wǎng)絡(luò)需要大量參數(shù)，而使這些參數(shù)可以正確工作則需要大量的圖像數(shù)據(jù)進行訓練，但獲得的坦克損傷圖像數(shù)量難以完成訓練任務(wù)，為了使訓練數(shù)據(jù)更加完善，通過翻折、平移、旋轉(zhuǎn)的方法，對圖像進行數(shù)據(jù)增強，如圖8 所示，該方法產(chǎn)生了更多的坦克損傷圖片，增加訓練樣本的數(shù)量以及多樣性，提升模型魯棒性。

圖8 數(shù)據(jù)增強

在實際應(yīng)用中，由于圖像采集設(shè)備、自然環(huán)境因素等諸多原因，導致所處理的圖像和“本真”圖像存在一定差異，因此，需要在“本真”圖像上加上噪聲，才能達到類似于“實際”圖像的效果。本文對圖像進行兩種加噪方式——椒鹽噪聲、遮擋，如下頁圖9 所示，使輸出更加光滑，從而提升整個網(wǎng)絡(luò)的推理能力及模型的泛化能力。

圖9 圖像加噪

在進行數(shù)據(jù)增強及加噪后，04 步兵戰(zhàn)車、99 坦克、96 坦克及59 坦克圖像數(shù)量均為500 張左右，從每種型號中選取80 %作為訓練集，10 %作為驗證集，10%作為測試集。

4.2 數(shù)據(jù)處理

在進行三維標定時，由于彈孔損傷是小目標，坐標位置相對準確，直接使用二維框進行三維回歸，所以無需對彈孔損傷單獨進行三維標定；針對坦克車主體，使用labelImg 工具，將坦克底部3 個可視的參考點進行框選，并將框選的標簽名稱定義為P1、P2、P3，再框選坦克頂部一參考點，并將框選的標簽名稱定義為P4，如圖4 所示，將框選的矩形框中心作為參考點坐標Pc，將Pc 的坐標值按照式（5）進行歸一化處理，以消除奇異樣本數(shù)據(jù)導致的不良影響。

labelImg 工具的注釋格式保存為XML 文件，由于網(wǎng)絡(luò)訓練時，無法有效讀取XML 文件中的信息，需通過腳本文件，將坦克損傷訓練集中所有的圖像標定文件，轉(zhuǎn)換成TXT 格式，以便后續(xù)網(wǎng)絡(luò)訓練的使用。

4.3 實驗結(jié)果與分析

本文在進行三維目標檢測時，由于缺乏CAD模型，因此，使用回歸方法進行檢測，但受制于訓練樣本不多的情況，在進行檢測時，若訓練集中存在類似的損傷坦克，則檢測效果較好，如圖10 所示；若訓練集中存在該型號坦克但不存在該彈孔損傷，則檢測結(jié)果中可能包含檢測不到的彈孔，如圖11 所示，但坦克檢測效果較好；若訓練集中不存在該型號坦克，則檢測效果相對較差，如圖12所示。若能增加大量訓練集圖片，則準確率將會有進一步提升。

圖10 訓練集存在類似坦克及彈孔識別結(jié)果

圖11 訓練集存在類似坦克不存在類似彈孔識別結(jié)果

圖12 訓練集不存在類似坦克

在將改進網(wǎng)絡(luò)與原Complex-YOLO 網(wǎng)絡(luò)進行準確率比較時，由于本文使用的坦克損傷數(shù)據(jù)集中沒有CAD 三維模型，故使用三維目標檢測公共數(shù)據(jù)集——LineMod，在Complex-YOLO 網(wǎng)絡(luò)不使用CAD 三維模型細化的情況下進行比較，二維目標檢測準確率評價指標為IOU 即預測邊框和真實邊框的交集和并集的比值，兩種網(wǎng)絡(luò)的準確率如表2 所示；三維目標檢測準確率評價指標為ADD 得分，兩種網(wǎng)絡(luò)的準確率如表3 所示，通過實驗可以發(fā)現(xiàn)，改進后的網(wǎng)絡(luò)在二維檢測及三維檢測的準確率上均有提升，尤其三維檢測的準確率提升十分明顯。

表2 二維目標檢測準確率

表3 三維目標檢測準確率

5 結(jié)論

本文以復雜戰(zhàn)場環(huán)境下的坦克及彈孔損傷為研究對象，針對圖像目標小、特征信息少、目標間相互遮擋嵌入等問題，引入YOLOV3 和九點回歸的方法對Complex-YOLO 模型進行改進。實驗結(jié)果表明，通過結(jié)合以上兩種方法，使改進算法在坦克損傷數(shù)據(jù)集上取得了優(yōu)異的檢測效果，對于損傷目標特征識別具有更高的靈敏性，準確率也有了較大幅度的提升。在今后軍事領(lǐng)域的復雜戰(zhàn)場環(huán)境下，應(yīng)用該三維目標檢測方法具有現(xiàn)實意義。