王婷婷，劉環(huán)宇，李君寶

(哈爾濱工業(yè)大學 電子與信息工程學院，黑龍江 哈爾濱 150001)

0 引言

無人機由于體積小、運動速度快和覆蓋范圍廣等優(yōu)點，在地空拍攝領域得到了廣泛應用[1]。其中，利用無人機進行巡航、偵查和預警等是現代智能化應用的主流技術手段。地面重點目標實時檢測與識別是無人機視覺系統(tǒng)需要解決的重點問題。結合圖像處理技術和模式識別方法，對無人機視頻或圖像進行分析，實現快速、穩(wěn)定的目標檢測是后續(xù)環(huán)境感知和目標快速瞄準等高級任務的基礎。

現有目標檢測數據集目標特征顯著，細節(jié)清晰，而實際應用中，無人機圖像由于拍攝高度較高，目標尺寸相對于圖像過小，目標特征不完整；且受到拍攝角度的影響，目標發(fā)生一定程度的形變；目標與無人機之間的相對運動造成目標背景變化較大等，使無人機圖像目標檢測任務充滿挑戰(zhàn)[2]。

為滿足以上需求并解決無人機目標檢測技術難點，近年來，科研人員開展了一系列相關研究。傳統(tǒng)的無人機圖像目標檢測方法包括幀差法、背景減除法、基于滑動窗口的特征提取算法[3]、均值漂移算法和邊緣檢測算法[4]等。2013年，董晶、傅丹[5]等人實現了無人機對地運動車輛目標檢測，利用圖像配準完成前背景運動的分離，并結合幀差法準確檢測到目標區(qū)域。2017年彭博[6]等人實現的廣域車流目標檢測識別使用了幀間差分及背景減除的方法。傳統(tǒng)基于滑窗提取的特征通常為人工設計的梯度方向直方圖 (Histogram of Oriented gradient，HoG)特征[7]、SIFT(Scale-invariant feature transform)特征[8]和類Haar小波特征[9]等，此類實現特征表示的方法計算復雜度高，無法實時檢測。2012年，S.Jan[10]等人結合多尺度MeanShift算法與目標的邊緣信息解決了無人機拍攝圖像顯著性目標的檢測。另外還有顯著性圖檢測方法、差距圖以及金字塔直方圖[11]等多種檢測算法。這些方法計算速度慢、魯棒性弱，無法達到實時檢測的應用需求。

隨著卷積神經網絡、生成對抗網絡和深度傳輸網絡等多種深度網絡的興起及其在圖像處理方面的優(yōu)勢，無人機圖像的目標檢測也越來越多地開始使用深度學習[12]。2016年，Barrero[13]等人利用神經網絡從無人機飛行高度50 m的航拍圖像中檢測出稻田雜草。Zhang[14]等人根據相鄰平行線的特征搜索感興趣區(qū)域(ROIs)，通過AlexNet網絡上的轉移學習確定最終的機場區(qū)域。Xiao[15]等人使用新的GoogleNet-LF模型提取多尺度深度集成特征組合SVM進行檢測識別。2018年Wang[16]等人利用以RetinaNet作為主干網絡的卷積神經網絡(CNN)目標檢測器，在斯坦福無人機數據集[17]上進行行人檢測，驗證了基于CNN的目標檢測器在無人機圖像的目標檢測方面的優(yōu)勢。

無人機圖像目標檢測方面的研究已經取得了一定的成就，但仍處于初步發(fā)展階段。以上方法面對復雜多變的無人機圖像目標，始終無法達到檢測準確率與速度的平衡。如何能夠快速、準確地檢測無人機下視小目標仍然是當前研究的重點與難點。從實際應用的角度出發(fā)，本文設計并實現了一套用于無人機地面站的目標檢測系統(tǒng)。充分考慮深度學習在處理圖像方面的優(yōu)勢與缺陷，結合模板匹配算法，并加入局部與全局聯合檢測的策略，實現無人機對地目標實時穩(wěn)定且準確地檢測與識別。

1 系統(tǒng)流程

本文用于地面站的無人機目標檢測系統(tǒng)總體流程如圖1所示。系統(tǒng)分為3部分：數據傳輸至地面站、深度學習局部目標檢測以及全局目標穩(wěn)定顯示。

圖1 系統(tǒng)總體流程

系統(tǒng)的3部分之間運行相互獨立但數據信息相互關聯，即整個系統(tǒng)由4個進程構成，考慮系統(tǒng)整體要求實時性，各個進程之間相互通信使用共享內存的方式。進程間通信的方式通常包含4種：管道、信號量、消息隊列和共享內存。共享內存旨在解決進程間通信的運行效率問題，是最快的進程間通信方式。其基本通信原理如圖2所示。

圖2 共享內存基本通信原理

2個相互獨立的進程之間實現數據、圖像等信息的快速傳輸與共享的方法之一是可以使用同一段物理地址存儲信息，各個進程通過訪問此地址來獲取另一進程的信息。進程與共享內存的物理地址之間通過頁表來連接自己的虛擬地址空間和實際物理空間。由于數據直接存儲到內存之中，減少了普通數據傳輸多次數據復制的頻率，從而加快了傳輸速度，其存儲信息消耗的時間幾乎可以忽略不計?？紤]本系統(tǒng)的要求，信息的寫入與讀取應具有時序性，同一時刻應只有一個進程可以訪問共享內存，因此，本文加入互斥量鎖機制實現進程間訪問互斥。

本文4個進程之間共使用了4次共享內存方法進行信息傳輸。首先，無人機采集到的視頻數據與地面站實時共享使用了一塊用于存儲原始視頻流數據的內存空間。其次，原始視頻經過深度學習局部檢測后得到的目標初步位置信息以及目標切片信息保存在第二塊共享內存，與第一塊共享內存不同，用于存儲局部目標信息的一個共享內存根據圖像劃分的局部區(qū)域個數分解為相應多個子共享內存區(qū)域，具體形式如圖3所示。

圖3 共享內存具體形式

然后，考慮檢測結果的穩(wěn)定性與長時性，每個子共享內存的信息用于后續(xù)進一步補充、篩選與融合。最后，處理后存入一個完整的共享內存區(qū)域，用于全局目標檢測結果的顯示。

通過以上設計，實現了從獲取數據、目標檢測處理到最終檢測結果穩(wěn)定實時顯示的整個流程。搭建了一套可應用于實際無人機地面站目標檢測的完整系統(tǒng)。

2 全局與局部聯合目標檢測方法

2.1 基于深度學習的局部目標檢測方法

鑒于深度學習在圖像處理領域的優(yōu)勢以及目前目標檢測方向的發(fā)展，本文使用深度學習算法用于無人機圖像目標檢測初步處理。

現階段，用于目標檢測的深度學習網絡主要有2類，一是以特征提取和分類結合的2步目標檢測網絡RCNN系列，目前此類網絡效果最好的為Faster RCNN網絡[18]；二是采用回歸思想的單步目標檢測SSD[19]、YOLO[20]系列。Faster RCNN網絡創(chuàng)新性的將原始選用候選區(qū)域的暴力滑窗掃描方法如Selective search等替換成RPN網絡，其算法流程如圖4所示。

圖4 Faster RCNN算法流程

使用全卷積網絡提取到圖像的基本特征以后，使用構建的RPN網絡在特征圖上滑動窗口，用于物體前背分類和框位置的回歸，之后又經過進一步的精細化ROI池化處理得到框更精確的位置。Faster RCNN網絡具有很好的準確率，但是由于候選框數量較大等因素，處理速度十分緩慢，無法應用于實際視頻級處理，SSD基本網絡結構如圖5所示。

圖5 SSD基本網絡結構

SSD網絡利用錨點輸出一系列離散化的候選框，通過結合不同層次的特征圖，保證了SSD網絡可以充分提取特征目標；將不同尺度考慮進來，且由于錨點設計為多種不同的橫縱比，使SSD網絡可以適應多種尺度的目標。這種錨點結合特征金字塔的設計提高了網絡對不同目標檢測的準確率，回歸的思想使網絡檢測速度大大提高，是目前檢測準確率與速度良好折中的優(yōu)質選擇。

YOLO網絡與其他2種網絡采用的思想都不同，其算法更加直接和簡易。直接在輸出層回歸候選框的位置和對應所屬的類別，徹底將目標檢測的問題用回歸來解決。YOLO將目標區(qū)域預測和目標類別預測整合于單個神經網絡模型中，實現在準確率較高的情況下快速目標檢測與識別。YOLO網絡架構如圖6所示，YOLO網絡在目標檢測中具有極高的檢測速度，但是檢測準確率相對其他深度學習網絡較低。

圖6 YOLO網絡架構

表1列舉了3種網絡在PASCAL VOC數據集上驗證的目標檢測效果，主要從平均準確率和速度2個方面考慮。

表1 深度學習目標檢測網絡效果對比

網絡平均準確率/%速度/FPS·s-1Faster RCNN70.417SSD75.822YOLO69.040

由表1可以看出，目前識別率是Faster RCNN最好，SSD次之，YOLO的識別率較低；識別速度YOLO最快，其次是SSD，Faster RCNN最慢。為了驗證3種網絡在實際應用場景下的效果，本文使用自建的遙感圖像數據對3種網絡進行了對比，實驗平臺如表2所示。

表2 實驗平臺

名稱性能指標處理器Xeon E5-2630V4、2.2 GHz 10HE25M內存三星DDR4 RECC 2 400 MHz 32 GB系統(tǒng)盤INTEL SSD 3610 400 GB顯卡華碩STRIX-GTX1080TI O11G-GAMING

在以上平臺檢測6類目標包括港口、油罐、艦船、飛機、機場以及橋梁的具體檢測效果如表3所示。

表3 自建數據集目標檢測網絡性能驗證

目標類別圖片總數訓練圖片測試圖片識別率識別速度Faster RCNN/%SSD/%YOLO/%Faster RCNN/msSSD/msYOLO/ms港口1 121800120878578480225180油罐50035060848065650274210艦船780600120858470520215174飛機76064050918871540203194機場50042040908564600195178橋梁82874060888672580240215

綜合分析，SSD網絡性能最優(yōu)，既保證了與Faster RCNN差不多的精度，又達到了和YOLO網絡差不多的速度。因此，本文選擇SSD網絡作為無人機地面站目標檢測系統(tǒng)的檢測網絡。

高空無人機拍攝的目標尺寸最小倍距下小于40*40像素。SSD網絡對小目標檢測效果有限。由于特征提取網絡設計中卷積層與池化層結合并多次對圖像進行下采樣操作，會使圖像尺度大幅減小。經典SSD網絡的輸入尺寸為300*300，而無人機采集的圖像通常分辨率較高。本文采集到的圖像尺寸為1 920*1 080像素，而目標只占圖像中極小的一部分。使用SSD網絡首先要對圖像進行縮放處理，高分辨率的圖像經過縮放會損失大量信息，并造成目標嚴重形變，再經過網絡的多次下采樣，造成目標特征損失，最終用于檢測和識別的目標特征信息極少，嚴重影響檢測的準確率。為此，本文采用對圖像進行局部檢測的策略，先將圖像縮放為900*900像素，再將圖像由上至下、由左至右均勻劃分為300*300的九個子區(qū)域。SSD網絡對當前的視頻幀圖像只處理其中的一個子區(qū)域，經過9次局部處理，完成整個圖像的檢測。具體過程如圖7所示。

圖7 無人機圖像局部檢測過程示意

SSD目標檢測網絡按順序處理每一幀圖像的局部區(qū)域，如第1幀圖像處理檢測左上角第1塊300*300區(qū)域的目標、下一幀按順序處理第2幀左上第2塊局部區(qū)域…依次循環(huán)處理，直到完成第9幀圖像的局部區(qū)域檢測之后，重新開始計算下一次循環(huán)。即9幀完成一次全局檢測。

利用局部循環(huán)檢測的方式，從輸入開始避免了原始圖像的信息損失。尤其對小目標的信息保留具有重要的意義。每個局部區(qū)域檢測到的目標位置信息和切片信息存儲在與一塊共享內存對應的9個子共享內存中，以便于后續(xù)進一步整合檢測結果。這種策略可以大幅提高局部區(qū)域目標檢測的準確率，但卻丟棄了全局大部分信息，每一次循環(huán)結束整合顯示檢測結果時，大部分目標位置及類別信息屬于歷史幀。無人機機動性強，移動速度快造成目標與無人機之間相對運動較大，且載荷采集圖像的速度高于一次循環(huán)處理的速度，使顯示的目標位置信息滯后于當前幀圖像中包含的目標，視覺可見存在較大延遲。針對以上問題，本文提出基于模板匹配的全局目標檢測信息補償策略。

2.2 基于模板匹配的全局目標檢測信息補償

為了滿足無人機視頻檢測的視覺實時性要求，本文在以上研究的基礎上加入了多線程機制。同時，為了方便操控人員根據檢測信息進行后續(xù)高級命令操作，目標位置及類別等信息應能夠穩(wěn)定連續(xù)顯示，故需對以上每幀圖像未檢測的區(qū)域進行進一步的補償檢測處理?？紤]以上2點，本文結合多線程機制與模板匹配檢測算法，對SSD檢測到的目標信息進行精細化調整與補償。具體實現流程如圖8所示。

圖8 全局目標檢測信息補償流程

啟動n個多線程分別監(jiān)控n個共享內存。圖像劃分為9個局部區(qū)域，故啟動9個進程管理共享內存。每個線程相應地負責一個局部區(qū)域的信息補償，相應使用9個模板匹配對局部區(qū)域進行目標檢測。多線程模板匹配過程與SSD局部區(qū)域目標檢測過程運行相互獨立。但信息通過共享內存實現共享，主要包括目標的位置信息、類別信息以及目標切片等。

模板匹配算法是模式識別中最簡易快速的特定目標匹配技術[21]。已知目標匹配模板，在指定區(qū)域范圍內搜索并匹配，得到相似度最高的目標位置。具體匹配過程如圖9所示。

圖9 模板匹配過程示意

模板圖像T，原圖像為I，在圖像I中搜索與模板T最相似的區(qū)域，將最終匹配到的矩陣保存為R。本文選用的具體算法為歸一化相關系數匹配法。在位置(x，y)匹配得到的圖像矩陣為R(x，y)：

(1)

其中，模板圖像來自于2個部分：① SSD局部區(qū)域檢測結果；② 上一次匹配結果。局部區(qū)域檢測到的目標位置坐標為300*300范圍內的坐標，為了確定模板匹配搜索位置范圍，將局部坐標映射到1 920*1 080像素原圖的相應位置。模板匹配的搜索區(qū)域確定為以模板中目標全局坐標中心點位置為中心，長寬為原始模板5～8倍范圍。搜索范圍設置過大，會增加匹配時間，多目標匹配所造成的時間累積會引起系統(tǒng)延遲；由于無人機載荷與目標之間存在相對運動，搜索范圍過小時，目標不在指定搜索范圍內，匹配失效。本文的匹配范圍由多次試驗經驗確定，匹配相似度閾值設置為0.6。

多進程圖像模板匹配同步進行互不干擾，當SSD進行局部目標檢測時，9個進程同時監(jiān)控對應的9個共享內存子區(qū)域內信息的變化。當SSD局部檢測完成時，對應共享內存的信息更新為新檢測到的目標信息，監(jiān)測此共享內存區(qū)域的線程同步更新模板后繼續(xù)進行匹配。否則，模板圖像及位置信息不變，模板匹配連續(xù)進行。無論后續(xù)檢測是否成功檢測到目標，一旦第一次模板匹配開始便不會結束，直到整個系統(tǒng)檢測結束。SSD局部檢測只負責是否對相應線程模板匹配進行模板更新。

經過此操作后，每幀圖像的檢測結果包括當前進行的SSD局部檢測區(qū)域目標以及利用歷史幀模板進行模板匹配后的其他區(qū)域目標匹配結果。充分利用了每幀圖像的全部信息，使檢測結果更精細穩(wěn)定，并利用多線程機制提升了系統(tǒng)整體檢測速度，實現了檢測準確率與檢測速度的平衡。

2.3 全局信息整合及地面站顯示

不同局部區(qū)域之間的檢測與匹配結果存在大量重復，將9個線程的結果整合在一起后，使用非極大值抑制(Non-Maximum Suppression，NMS)處理濾除同一目標的多個重復框。對同一目標的多個定位框按照類別置信度排序，丟棄與最大置信度定位框IOU大于0.7的定位框。將重復框過濾后的剩余框信息送入共享內存。地面站顯示系統(tǒng)通過訪問共享內存對輸入視頻的目標檢測結果實時顯示。本文顯示界面設計如圖10所示。

圖10 無人機地面站顯示界面

3 算法性能實驗驗證

3.1 驗證條件

① 數據條件：本文所用數據為2018年9月于某試驗場地實際拍攝獲得。使用某小型旋翼無人機以載荷視場角20°、水平旋轉速度5°、無人機距地垂直距離100 m時對地拍攝的目標，獲得尺寸為1 920*1 080像素的高分辨率圖像。實驗所關注的待檢測目標為白底黑線或紅線的十字型靶布，靶布實際大小為3 m*3 m，統(tǒng)一識別為靶布。目標與無人機之間的相對運動由無人機勻速飛行產生，目標尺度變化由無人機載荷攝像機倍距變化產生，包含攝像機焦距1～10倍距變化情況下的靶布數據。具體目標外觀如圖11所示。

圖11 目標外觀

② 運行平臺：CPU：Intel(R) Core(TM) i7-6700 CPU @3.4 GHz；內存：16.0 GB；GPU：GeForce GTX 980；顯存：8.0 GB；系統(tǒng)版本：Windows 7專業(yè)版。

③ 深度學習框架：Caffe Windows版。

3.2 實驗流程

驗證試驗總體流程如圖12所示。

圖12 無人機地面站系統(tǒng)驗證試驗總體流程

試驗總體分為2個過程，分別為SSD目標檢測網絡模型訓練和利用此模型對完整視頻進行整體系統(tǒng)測試。其中，訓練模型之前需要構建訓練數據集。將訓練集樣本縮放至900*900尺寸后裁剪為均勻順序排列的9塊300*300像素的子區(qū)域樣本，對子樣本目標類別及位置信息進行標注，標注文本格式為標準Pascal VOC數據集所用的XML格式。目標類別為“target”。

實驗數據集包含14 817個樣本，按照8∶2的比例隨機分成訓練集和驗證集。訓練集數量11 854張，驗證集2 963張。數據涵蓋攝像機焦距1～10倍距的圖像以適應多種尺度的目標檢測。使用隨機梯度下降(Stochastic gradient descent，SGD)優(yōu)化方法求解最小損失函數?？傆柧毚螖禐?0 000次。學習率的初始值為0.001，經過40 000次訓練后學習率衰減為原來的1/10。每次批處理尺寸為16。

測試使用無人機采集的視頻作為輸入。選取一段包含1～10倍距勻速拍攝的視頻10 min共15 000幀圖像，同時啟動4個進程后，觀察實時視頻檢測效果，并將檢測結果保存到本地，用于后續(xù)結果分析。

3.3 實驗結果及分析

使用本文設計的無人機下視地面站檢測系統(tǒng)對連續(xù)視頻目標檢測結果如圖13所示。分別為1～10倍焦距變化下的檢測結果圖。

圖13 焦距變化下的目標檢測結果

由圖10所示的檢測結果來看，視場角為20°非垂直拍攝情況下，目標的形狀變化較大，載荷攝像機焦距放大到5倍以前，目標存在漏檢，尤其在目標外觀變化較大的情況下漏檢較大。焦距越小，拍攝視野內目標數量越多，背景干擾物也相對較多，發(fā)生誤檢的可能性較大。焦距增加到5倍以后，目標外觀逐漸清晰，特征愈加顯著，檢測準確率相對較高，發(fā)生漏檢和誤檢的可能性也較低。統(tǒng)計每種倍焦距下測試結果如表4所示。其中，5倍焦距以前目標檢測準確率小于80%，且誤檢出現頻率較高；7倍焦距以后目標檢測準確率高于95%，檢測效果較好。

表4 不同倍距圖像測試結果統(tǒng)計

倍距測試圖像數量測試目標數量檢測目標數量誤檢數量檢測準確率/%13752 0051 68420174.023752 6702 42634378.033751 8501 54910178.343752 2801 93513479.053752 1331 87911082.963751 1701 0302386.07375938892095.0837511751 126795.89375873847196.910375617598096.9

隨機選取視頻中3 750幀圖像的測試時間繪制如圖14所示。計算可知，一次測試的平均耗時為56.6 ms。系統(tǒng)處理時間波動較大時受到多線程調度的影響，大部分圖像的處理時間都處在75 ms以下，可以滿足實際視頻檢測的實時性要求。

圖14 目標檢測系統(tǒng)測試時間

4 結束語

本文針對無人機視頻目標檢測準確率低以及無法滿足時效性問題，設計了一套完整的可用于地面站的無人機目標檢測系統(tǒng)。該系統(tǒng)利用深度學習和傳統(tǒng)模板匹配相結合，充分挖掘了圖像的局部和全局信息，并巧妙地使用多進程、多線程等機制，完成了信息同步快速處理。檢測的平均準確率為86.1%，平均檢測時間為56.6 ms。無論從準確率還是處理速度，都可達到實際應用需求。