沈嘉禾, 袁冬莉, 楊征帆, 閆建國, 肖冰, 邢小軍

(西北工業(yè)大學 自動化學院, 陜西 西安 710072)

隨著國際形勢的變化，空軍力量成為一個國家國力的標志。在執(zhí)行飛行任務(wù)途中，加油機可以使受油機在沒有條件降落時補充燃油，世界各個強國紛紛使用空中加油技術(shù)(aerial refueling)加強自己空軍力量的打擊半徑[1]?？罩屑佑图夹g(shù)在過去幾十年中，大都是高度依賴于飛行員的技術(shù)水平。隨著無人技術(shù)的發(fā)展，自主空中加油技術(shù)[2]也成為了一種重要的戰(zhàn)略部署方向。自主空中加油技術(shù)能夠提高無人機遠航航程以及作戰(zhàn)半徑，增加飛機的有效留空時間，提升飛機的有效載重，也可以輔助有人機飛行員進行復(fù)雜情況下的對接工作?；谖覈鴩?，改裝方便、技術(shù)簡單的軟式加油方法成為了主流選擇，大量應(yīng)用飛機上[3]。

在AAR中，判定錐套位置對加油活動十分重要。國內(nèi)外研究者對錐套的運動機理做了許多探索和研究，一般采用有限元思想，將錐套軟管看為質(zhì)點系或者多連桿系統(tǒng)來建模。Pollini等[4]將軟管劃分為有限個數(shù)的規(guī)則柱體，使用經(jīng)典力學進行建模；全權(quán)等[5]對軟管-錐套式加油方法進行了建模和控制綜述，對輸油管使用連桿建模方法進行物理建模；劉志杰等[6]使用偏微分方法描述了一個分布式參數(shù)模型，對加油軟管進行建模；Salehi等[7]在偏微分方程建模的基礎(chǔ)上考慮了軟管彎曲力的影響。盡管這些工作對錐套運動規(guī)律進行了物理建模，對識別錐套的位置規(guī)律做出了貢獻，但其都是基于實驗室條件下理想的數(shù)學模型，在復(fù)雜環(huán)境下不準確。

針對上述不足，識別真實錐套位置從而擬合錐套運動規(guī)律成為一種可能的研究路徑。近些年來，目標識別(target recognition)方法成為從圖片中獲取信息以及規(guī)律的一種重要方法。目標識別的發(fā)展經(jīng)歷了許多階段，最初使用人工設(shè)計特征，如HOG(histogram of oriented gradients)[8]、SHIFT(scale-invariant feature transform)[9]等。在使用滑動窗口時，會產(chǎn)生大量運算，時間和空間復(fù)雜度高，效果也不優(yōu)異。針對這些問題，1943年神經(jīng)科學家McCilloch等[10]發(fā)表的論文中提出MCP模型(McCulloch-Pitts mode)，即神經(jīng)網(wǎng)絡(luò)和數(shù)學模型，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)的先河。2012年，Krizhevsky等[11]提出了AlexNet方法，此后基于深度學習的目標識別方法大都參考經(jīng)典的卷積網(wǎng)絡(luò)方法。與此同時，深度學習在語音、圖像、自然語言處理等方面都有廣泛的應(yīng)用[12]。

深度學習方法可以針對具體應(yīng)用情景的不同，將訓練數(shù)據(jù)中獲取的深層、不可見的特征作為學習依據(jù)，與傳統(tǒng)方法相比，能夠自動生成特征并進行分類，泛化、魯棒性更強，適合目標背景復(fù)雜、尺度多變的情況。目前主流的檢測方法主要是TWO-STAGE(如R-CNN[13]、FastR-CNN[14])和ONE-STAGE方法(如YOLO[15]、SSD[16])。ONE-STAGE方法可以直接使用回歸，得出目標物體的類別概率和位置坐標，速度快，但精度較低。TWO-STAGE方法先生成一系列候選框，再進行樣本分類，速度慢，但是精度較高。2018年Redmon等發(fā)布了YOLO-v3[17]方法，該方法現(xiàn)已成為目標識別主流方法之一。該方法將目標檢測問題轉(zhuǎn)換為直接從圖像中提取邊界框和類別概率的單個回歸問題，從而檢測目標類別和位置。與文獻[18]類似，一些學者也將目標識別方法應(yīng)用在了空中加油任務(wù)中。李柱[19]提出了一種基于雙目視覺的無人機自主空中加油近距離對接導(dǎo)航方法，獲得錐套的位置與姿態(tài)，該方法使用了灰度化、二值分割等傳統(tǒng)圖像特征處理方法。徐小斌等[20]使用了基于深度學習的CNN方法獲得加油錐套位置，對復(fù)雜環(huán)境下的錐套進行檢測。然而之前基于深度學習的工作依賴于環(huán)境，且需要在GPU上進行訓練和預(yù)測，計算量大，難以真正應(yīng)用到實際活動中，有待進一步改進。

針對以上不足，本文擬提出一種新的基于YOLO的錐套識別方法，進一步減少計算量，并使其符合機載操作系統(tǒng)VxWorks的要求。與其他常規(guī)的典型網(wǎng)絡(luò)相比，YOLO網(wǎng)絡(luò)較小，速度較快，且有基于C語言的Darknet框架作為支撐。相比于解釋型語言(如Python)，C語言是編譯型基礎(chǔ)語言，更符合VxWorks系統(tǒng)的代碼要求。本文在常規(guī)卷積神經(jīng)網(wǎng)絡(luò)模型以及YOLO算法的基礎(chǔ)上，改變了anchor box、改進了網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)、優(yōu)化了損失函數(shù)，在提高識別率的同時，識別速度、網(wǎng)絡(luò)大小均有一定的改良，為神經(jīng)網(wǎng)絡(luò)能夠加載在普適性的硬件上提供了一種可行方案。

1 卷積神經(jīng)網(wǎng)絡(luò)理論

1.1 網(wǎng)絡(luò)的基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層(convolutional layer)，池化層(pooling layer)和全連接層(fully connected layer)交錯組合而成，如圖1所示。

圖1 典型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

其中，卷積處理是卷積層的核心，利用大小不一的卷積核就可以以不同的感受野去“讀取”圖像中隱含著的特征信息，學習數(shù)據(jù)特征；池化層增強了整個網(wǎng)絡(luò)的非線性，尋找特征的關(guān)聯(lián)；全連接層一般位于輸出部分，目的是將一系列經(jīng)過處理的數(shù)據(jù)進行分類與組合，以完成目標任務(wù)。

對于神經(jīng)網(wǎng)絡(luò)來說，感受野是十分重要的參數(shù)。在初始化處理時，一般會使用416×416或者512×512大小的輸入圖像。輸入圖片過小，則分辨率減小，對于小物體等目標的識別精度下降；輸入圖片過大，將導(dǎo)致運算需求猛增，對于性能優(yōu)化有負面的影響。

1.2 YOLO網(wǎng)絡(luò)的基本原理

與傳統(tǒng)的特征提取與識別方法不同，神經(jīng)網(wǎng)絡(luò)學習到的特征更具有代表性，能夠更好地區(qū)分目標物體與干擾項，魯棒性好，對于干擾不敏感，泛化性更優(yōu)異。網(wǎng)絡(luò)的層級與能提取到的特征有關(guān)，層級越深，特征越抽象。YOLO算法將圖片分為諸多窗口，當所識別的目標物體落入窗口內(nèi)部時，該窗口輸出多個預(yù)測框以及其置信度(confidence)和位置參數(shù)。

YOLO的骨架是Darknet網(wǎng)絡(luò)結(jié)構(gòu)，類似于VGG模型，但加入了殘差網(wǎng)絡(luò)，訓練收斂比起VGG更快。作為特征融合的主要骨干，Darknet網(wǎng)絡(luò)結(jié)構(gòu)占用了許多內(nèi)存，對硬件的計算能力提出了更嚴峻的挑戰(zhàn)。

2 錐套圖像識別卷積神經(jīng)網(wǎng)絡(luò)建模

現(xiàn)今存在的CNN網(wǎng)絡(luò)紛繁復(fù)雜，但沒有一種可以不經(jīng)過優(yōu)化直接應(yīng)用到實踐中去的。針對空中加油條件下錐套圖像的識別，需要結(jié)合應(yīng)用實際情況建立符合要求的神經(jīng)網(wǎng)絡(luò)模型。

特別地，小目標像素特征少、不明顯，因此和大目標相比，小目標的檢測率低，這在任何算法上都是無法避免的。對于卷積神經(jīng)網(wǎng)絡(luò)，檢測小目標需要很高的分辨率，但即便如此，識別框仍然存在漂移。

針對錐套圖片數(shù)據(jù)集所設(shè)計出的網(wǎng)絡(luò)模型結(jié)構(gòu)，為提高識別率在特征提取結(jié)構(gòu)、識別模塊和損失函數(shù)3個方面，做出了改進工作。下面對這三部分進行詳細闡述，給出設(shè)計思想與實現(xiàn)方法。

2.1 網(wǎng)絡(luò)模型的設(shè)計要求

網(wǎng)絡(luò)模型在設(shè)計之初就要考慮到實用因素，現(xiàn)將對網(wǎng)絡(luò)的要求進行匯總分析：

1) 硬件要求

本文選用TI TMS320C6678 DSP(digital signal processor)作為運算平臺。雖然該型芯片是商用芯片，但其具有通用性強、可移植性高的特點，同時符合國軍標對硬件芯片的性能要求。本文的實驗屬于神經(jīng)網(wǎng)絡(luò)布署于DSP的前瞻研究，若代碼成功運行并達到預(yù)期要求，代碼也可以移植到同類國產(chǎn)DSP芯片中。硬件平臺如圖2所示。

圖2 TMS320C6678型號DSP硬件平臺

由于該DSP緩沖區(qū)小，在運行過程中直接讀取weights文件會導(dǎo)致卡死。DSP的文件讀寫操作只能在編程軟件Debug模式下，需要與上位機進行通訊，在實際工作狀態(tài)下難以進行該操作。為了解決該問題，需要將網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)、訓練好的網(wǎng)絡(luò)權(quán)重等一系列數(shù)據(jù)集成在代碼內(nèi)部。這種離線式的檢測方法將代碼直接燒錄至DSP，避免了與上位機通訊，提升了運行速度。受限于硬件的計算能力，在保證識別進度的基礎(chǔ)上需要盡可能地減少網(wǎng)絡(luò)大小。在應(yīng)用過程中避免使用很大的卷積核，傾向于使用較少的卷積核個數(shù)以及1×1，3×3，5×5大小的卷積核去提取特征。與此同時，使用池化層以增強非線性、減少網(wǎng)絡(luò)參數(shù)。

使用C語言編寫代碼，內(nèi)部實現(xiàn)邏輯如圖3所示。圖像輸入后，經(jīng)過預(yù)處理再輸入經(jīng)過參數(shù)固化后的YOLO網(wǎng)絡(luò)，此時計時函數(shù)開始計時，網(wǎng)絡(luò)經(jīng)過非極大值抑制后輸出錐套的檢測位置。

圖3 C語言邏輯示意圖

2) 分類準確率和識別框準確率要求

網(wǎng)絡(luò)最后的輸出層輸出5個參數(shù),分別是Icof,x,y,w,h,分別代表識別結(jié)果的置信度、x方向坐標、y方向坐標、識別框?qū)挾?、識別框高度，這些參數(shù)在學習時遵循梯度下降和誤差反向傳播原則。要使網(wǎng)絡(luò)能檢出物體,就要使Icof至少大于網(wǎng)絡(luò)設(shè)定的檢出閾值;要使網(wǎng)絡(luò)輸出的位置精確,就需要x，y，w，h貼近真實框。影響這幾個參數(shù)準確度的主要因素是:模型結(jié)構(gòu)、anchor box基礎(chǔ)值以及損失函數(shù)。本文基于以上要求提出了一種新模型,模型使用了新的預(yù)設(shè)框,并將原始的損失函數(shù)進行了優(yōu)化。

2.2 特征識別模塊改進

YOLO網(wǎng)絡(luò)使用原始卷積網(wǎng)絡(luò)輸出層的全連接方法,利用回歸方法來預(yù)測圖像位置。由于網(wǎng)絡(luò)本身的anchor box擬合錐套數(shù)據(jù)集效果不佳,使用聚類方法更改anchor box以減少識別框的漂移情況。使用該方法有以下幾點考慮:

1) 針對錐套數(shù)據(jù)集的特殊情況,多尺度提取特征后特殊化的識別模塊,可以提高識別精度。

2) 由于本文只需要識別一個目標物體,更改后對于干擾項有較好的分辨能力。

本文針對錐套圖像數(shù)據(jù)集進行特化,將人工標注的近1 000張圖片標注框的長寬進行處理分析,得到圖4。不同尺度、不同角度下錐套的標注框位置存在一定的重合,這是由于錐套本身屬于規(guī)范的漏斗狀物體,直徑一般在18 cm左右,根據(jù)機型的變化有一定的浮動。針對錐套特征,本文使用k-means++[21]聚類方法和訓練集數(shù)據(jù)調(diào)整anchor box,減少網(wǎng)絡(luò)誤差,加快模型收斂,提高預(yù)測精度。

圖4 人工標注框大小分析

圖4分為2種圖,一種是散點圖,一種是柱狀圖，皆無量綱。散點圖中每一個散點對應(yīng)的坐標數(shù)字代表了一個標注框的長(寬)占原圖片長(寬)的比例。由于圖片大小為416×416像素,416乘以散點對應(yīng)的x,y坐標即可得到長寬的像素個數(shù)。柱狀圖為直方圖,橫坐標為標注框的長(寬)占原圖片長(寬)的比例,縱坐標為個數(shù)。分析人工標注框的大小,不難發(fā)現(xiàn),寬落在[0.1,0.15]范圍內(nèi)、長落在[0.2,0.25]范圍內(nèi)的點最為密集。這種情況適用于k-means++聚類。使用該聚類方法進行聚類時,需要先確定鄰近性度量SSE(sum of the squared errors)和計算簇的質(zhì)心位置αi。

(1)

式中:ci代表被分到第i個類的所有點的集合;k代表共需分為幾類,即聚類的簇總數(shù),本文中k取10。經(jīng)過100輪迭代,將經(jīng)過歸一化的聚類結(jié)果映射到416×416大小的輸入圖像上,得到網(wǎng)絡(luò)新的anchor box示意圖(見圖5)及具體數(shù)值(見(2)式)。請注意,本節(jié)中使用的Aanchor值的單位是像素,如果輸入圖片大小不同,需要根據(jù)實際情況進行修改。Aanchor矩陣中,第一列代表預(yù)選框的長,第二列代表預(yù)選框的寬。在YOLO網(wǎng)絡(luò)的預(yù)測過程中,會使用10個大小不同的anchor box進行識別，其長寬依照(2)式給出。

(2)

圖5 網(wǎng)絡(luò)新的anchor box示意圖

2.3 網(wǎng)絡(luò)結(jié)構(gòu)改進

本文的目的之一就是維持精度不變的情況下,減少大量的計算量,網(wǎng)絡(luò)更小。

網(wǎng)絡(luò)內(nèi)部的計算量大都來源于高維度的卷積核,加入1×1卷積核和池化層可以改善網(wǎng)絡(luò)大小。與此同時,網(wǎng)絡(luò)內(nèi)部使用不同大小的feature map,可以對尺度變換做出更好的應(yīng)答。

綜合以上的設(shè)計思想和設(shè)計方法,最終設(shè)計的錐套圖像識別卷積神經(jīng)網(wǎng)絡(luò)模型包括14個卷積層,4個池化層,輸出部分有3個全連接層。

網(wǎng)絡(luò)示意圖如圖6、表1所示,卷積模塊右下角三角形代表池化層。豎向的箭頭表示數(shù)據(jù)的傳輸方向,最終3個不同大小的特征圖輸入YOLO檢測層。網(wǎng)絡(luò)層內(nèi)部存在route單元,可以進行特征層的融合。網(wǎng)絡(luò)中不同大小的特征圖會經(jīng)過處理后,在網(wǎng)絡(luò)內(nèi)部進行融合,這樣網(wǎng)絡(luò)可以得到之前的信息,增加了訓練的非線性。

圖6 錐套圖像識別網(wǎng)絡(luò)結(jié)構(gòu)示意圖

表1 改進后的網(wǎng)絡(luò)結(jié)構(gòu)

訓練完成的網(wǎng)絡(luò)可以用于大、中、小3個尺度的預(yù)測,這是由于網(wǎng)絡(luò)內(nèi)部有3種不同大小的feature map,保證了識別多尺度目標物體時的精確度。

2.4 網(wǎng)絡(luò)損失函數(shù)改進

YOLO本身的損失函數(shù)策略基于均方誤差回歸算法(mean square error,MSE),即如(3)式所示

(3)

(3)式等號右邊第一項代表了預(yù)測框的中心坐標誤差(x,y),第二項代表了預(yù)測框的長寬誤差(w,h)，使用了算術(shù)平方根,減小了框尺度大小對誤差的影響,第三項和第四項代表了該框包含物體以及不包含物體時的置信度損失,第五項代表了該網(wǎng)格預(yù)測后類別損失。

本文中只識別空中加油的錐套一種物體,故第五項可以進行改進。將原來的類別損失改為GIOU[22](generalized intersection over union)損失,以改進網(wǎng)絡(luò)預(yù)測框的IOU(intersection over union)。與此同時,將第二項的損失函數(shù)(即長寬誤差)的權(quán)重進行更改,使網(wǎng)絡(luò)更快地貼近真實值。GIOU函數(shù)改進了IOU方法,改善了在預(yù)測時網(wǎng)絡(luò)的預(yù)測框如果沒有與真實框進行重合時IOU會一直為0的問題。但GIOU無法表示方位,本文中將其作為損失函數(shù)的一部分參與運算而非直接作為損失函數(shù)。

如圖7所示,令目標的真實框為A,網(wǎng)絡(luò)預(yù)測框為B,C為包含A,B框的最小框,那么GIOU可以表示為

(4)

圖7 GIOU示意圖

本文使用的損失函數(shù)為

(5)

3 實驗與分析

3.1 實驗平臺

硬件環(huán)境使用了Tesla K80作為GPU的工作站，操作系統(tǒng)為Windows，軟件環(huán)境為python3.8+C語言，網(wǎng)絡(luò)基于目標檢測框架darknet以及YOLOv3網(wǎng)絡(luò)進行構(gòu)建并訓練。訓練以及預(yù)測的具體架構(gòu)如圖8所示。離線訓練使用了Python方法，在線預(yù)測使用了C語言方法。

圖8 訓練、預(yù)測架構(gòu)圖

3.2 實驗數(shù)據(jù)

空中加油目前主流仍是人工操作，缺乏一個統(tǒng)一、有公信力的錐套圖像數(shù)據(jù)集。為了進行本文所述的表2改進模型與原始模型比較結(jié)果圖像處理和識別工作，需要一定數(shù)量的圖像結(jié)果作為數(shù)據(jù)支撐。本次訓練和測試使用了1 000張錐套圖像，分別來自于實驗室錐套地面試驗平臺和網(wǎng)絡(luò)視頻截圖。每一張圖片都會經(jīng)過前期的數(shù)據(jù)處理，如旋轉(zhuǎn)、模糊、加噪聲、改變色相等方法，以確保訓練網(wǎng)絡(luò)對干擾的魯棒性。該數(shù)據(jù)集分辨率高、尺度多樣、與航天應(yīng)用場景有極高的相似度。

表2 改進模型與原始模型比較結(jié)果

3.3 實驗內(nèi)容

本次實驗分別針對YOLO-v3、VGG+SSD-300、Inception-v3[23]以及改進后的new-YOLO 4種網(wǎng)絡(luò)進行訓練和預(yù)測，采用錐套圖像數(shù)據(jù)集作為訓練輸入，對數(shù)據(jù)完整迭代3 000次，基礎(chǔ)學習率為0.002，在訓練至第1 500,2 400次時衰減至1/10。

將所有圖片分為3組，按照4∶1∶1的比例隨機分給訓練集、測試集和驗證集，保證圖像數(shù)據(jù)盡可能少地暴露給測試集。

3.4 錐套圖像識別結(jié)果

本次實驗分別針對YOLO-v3、VGG+SSD-300、Inception-v3以及改進后的new-YOLO 4種網(wǎng)絡(luò)在錐套測試集上進行測試，對檢測結(jié)果進行處理，僅保留置信度大于閾值0.4的結(jié)果，并采用IOU閾值為0.5來計算平均精度和平均召回率，單位均為像素。表2展示了4種網(wǎng)絡(luò)的浮點操作數(shù)BFLOPs，平均精度、平均召回率?？梢姳疚奶岢龅木W(wǎng)絡(luò)對比原YOLO-v3網(wǎng)絡(luò)，檢測精度和召回率分別提升了6.24%,2.06%，BFLOPs降低了93.81%。相比于Inception-v3，VGG+SSD-300，檢測精度提升了14.46%，6.39%，召回率提升了10.33%，2.70%，BFLOPs降低了18.40%，86.84%。

改進后的new-YOLO在計算量減少了近94%的情況下，仍然有著優(yōu)于典型網(wǎng)絡(luò)6%的檢測精度。由于網(wǎng)絡(luò)準確率由IOU進行計算，IOU亦可以代表輸出結(jié)果的漂移程度，故訓練結(jié)果精度亦表明，網(wǎng)絡(luò)識別結(jié)果的漂移情況也得到了一定改善。

在訓練過程中，損失隨著網(wǎng)絡(luò)訓練輪次的進行整體上迅速下降。經(jīng)過3 000輪次的訓練迭代，網(wǎng)絡(luò)的損失函數(shù)趨于穩(wěn)定。訓練中損失函數(shù)最低為0.133 5，表明網(wǎng)絡(luò)訓練對目標圖片數(shù)據(jù)集的識別與泛化能力好。

3.5 錐套圖像測試結(jié)果

利用改進的算法對2個視頻進行了測試，分別為實驗室運行模型以及真實飛行視頻數(shù)據(jù)，測試結(jié)果如圖9所示。圖9a)～9d)為實驗平臺圖像，圖9e)～9f)是真實對接過程的一幀。檢測效果表示本文提出的基于YOLO算法的改進方法對錐套目標圖像有著較好的檢測效果。

圖9 測試結(jié)果示意圖

4 結(jié) 論

本文針對空中加油的錐套圖像特點，提出了一種基于YOLO網(wǎng)絡(luò)的空中加油錐套圖像識別方法，在原本深度學習框架的基礎(chǔ)上，實現(xiàn)了目標對象的有效識別。本文根據(jù)硬件實際情況，對網(wǎng)絡(luò)結(jié)構(gòu)進行了集成，使網(wǎng)絡(luò)運行脫離上位機；為了提高檢測精度以及檢測速度，使用了k-means++算法聚類人工標注真實框的長寬，使網(wǎng)絡(luò)內(nèi)部檢測層的anchor box更貼近真實情況，更容易達到精度要求；修改了網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)，使用3層不同大小的feature map分別對應(yīng)大、中、小3種尺度的待測物體，提高檢測精度，減少計算量，降低對硬件的要求；對網(wǎng)絡(luò)的損失函數(shù)進行了優(yōu)化改進，使用了新的回歸策略，進一步提高了檢測效率和精確度。實驗結(jié)果和測試結(jié)果表明，本文提出的new-YOLO算法相比于標準YOLO算法網(wǎng)絡(luò)檢測精度提升了約6%，計算量減少了近94%，且能夠布署在DSP上運行，為空中加油的智能化奠定了基礎(chǔ)。