劉星，陳堅(jiān)，楊東方，賀浩，李永飛

(火箭軍工程大學(xué)，陜西 西安 710025)

0 引言

空對(duì)地目標(biāo)檢測(cè)具有視場(chǎng)范圍大、自主性要求高的特點(diǎn)，一直以來是軍事和民用領(lǐng)域的研究熱點(diǎn)[1-4]。在空對(duì)地目標(biāo)檢測(cè)領(lǐng)域，通過空中無人平臺(tái)(unmanned aerial vehicle,UAV)搭載的視覺傳感器獲取地面圖像信息，并從中檢測(cè)感興趣地面目標(biāo)(車輛、飛機(jī)等)，該功能在諸多軍事和民用領(lǐng)域中均具有較大的應(yīng)用前景。例如，在軍事領(lǐng)域，空對(duì)地目標(biāo)檢測(cè)能夠直接應(yīng)用于戰(zhàn)地偵查、戰(zhàn)場(chǎng)態(tài)勢(shì)分析、空對(duì)地目標(biāo)打擊、對(duì)敵目標(biāo)跟蹤等任務(wù)之中；在民用領(lǐng)域，空對(duì)地觀測(cè)也能夠直接應(yīng)用于地面交通監(jiān)控、大型自然災(zāi)情分析、農(nóng)牧業(yè)生態(tài)管理、人員搜救等任務(wù)之中。早期的對(duì)地目標(biāo)檢測(cè)大多集中在傳統(tǒng)計(jì)算機(jī)視覺和圖像處理的框架之內(nèi)，為了實(shí)現(xiàn)對(duì)目標(biāo)的特征描述，尺度不變特征[5](scale invariant feature transform，SIFT)、方向梯度直方圖特征[6](histogram of oriented gradient，HOG)、快速魯棒特征[7](speeded up robust features，SURF)等多種人工設(shè)計(jì)特征發(fā)揮了重要的作用。

近年來，隨著大數(shù)據(jù)和高性能計(jì)算硬件的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)在各類檢測(cè)挑戰(zhàn)任務(wù)中取得了巨大成功，深度學(xué)習(xí)作為目標(biāo)檢測(cè)的一種首選方案，得到了越來越多的關(guān)注。典型的深度學(xué)習(xí)目標(biāo)檢測(cè)算法包括基于區(qū)域建議卷積神經(jīng)網(wǎng)絡(luò)(RCNN)[8-10]的分步檢測(cè)算法和以YOLO(you only look once)[11]、SSD(single shot multiBox detector)[12]為代表的回歸檢測(cè)算法。其中RCNN框架的典型代表Faster R-CNN[10]通過利用多任務(wù)損失優(yōu)化和區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN)成功實(shí)現(xiàn)了端到端訓(xùn)練，使得在普通共性任務(wù)需求下的目標(biāo)檢測(cè)技術(shù)在檢測(cè)功能方面逐漸趨于完善。后續(xù)的YOLO,SSD等方法都是在檢測(cè)精度和檢測(cè)效率，以及小目標(biāo)檢測(cè)方面，進(jìn)行進(jìn)一步的提升。YOLO算法將檢測(cè)框的提取過程直接用回歸網(wǎng)絡(luò)來訓(xùn)練和預(yù)測(cè)，因此可以顯著提升目標(biāo)檢測(cè)的執(zhí)行速度，為實(shí)時(shí)檢測(cè)任務(wù)提供了重要的參考，但作為代價(jià)，該方法的檢測(cè)精度會(huì)受到削弱，尤其是在面對(duì)遠(yuǎn)視距小目標(biāo)的檢測(cè)任務(wù)時(shí)誤檢率明顯增高。SSD算法將Faster R-CNN的錨點(diǎn)(anchor)思想引入，在多個(gè)特征尺度上進(jìn)行邊框預(yù)測(cè)，提升了檢測(cè)精度，對(duì)小目標(biāo)檢測(cè)效果也有顯著提升。

得益于卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取和表示能力，目前深度學(xué)習(xí)在傳統(tǒng)目標(biāo)檢測(cè)領(lǐng)域已經(jīng)有了成熟的應(yīng)用條件。但在空對(duì)地場(chǎng)景下，目標(biāo)成像尺寸小，觀測(cè)視角單一。空中飛行平臺(tái)對(duì)地成像往往視距較遠(yuǎn)，視場(chǎng)較大，此時(shí)感興趣目標(biāo)區(qū)域在圖像中往往很小，檢測(cè)視角以單一俯視為主；此外，空對(duì)地成像受環(huán)境干擾影響較大。目標(biāo)檢測(cè)受到不同光照、疑似干擾(場(chǎng)景中的一些疑似目標(biāo)結(jié)構(gòu))、背景遮擋(城市中的樹木、建筑陰影等)等自然情況影響，檢測(cè)特征不明顯。此時(shí)，直接使用傳統(tǒng)的深度學(xué)習(xí)目標(biāo)檢測(cè)方法，往往會(huì)出現(xiàn)明顯的錯(cuò)檢和漏檢問題。而對(duì)于某些空對(duì)地檢測(cè)任務(wù)而言，例如高危場(chǎng)景的目標(biāo)檢測(cè)，災(zāi)情分析、空對(duì)地精確打擊等，這種錯(cuò)誤是不能容忍的。

為此，本文從空對(duì)地序貫圖像的尺度(目標(biāo)框所占像素大小)信息著手，利用同類目標(biāo)在某次序貫成像過程中的尺度一致性，以及目標(biāo)和場(chǎng)景的依賴關(guān)系，提出了尺度輔助的空對(duì)地目標(biāo)自主檢測(cè)新方法，通過引入改進(jìn)的邊框回歸損失函數(shù)，并在檢測(cè)后端結(jié)合目標(biāo)尺度信息，將貝葉斯理論[13]和深度學(xué)習(xí)目標(biāo)檢測(cè)進(jìn)行結(jié)合，有效提高了檢測(cè)精度和魯棒性。

1 邊框回歸優(yōu)化算法

鑒于深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的實(shí)際表現(xiàn)，本文仍然以典型深度學(xué)習(xí)框架為基礎(chǔ)，基于當(dāng)前最新的SSD目標(biāo)檢測(cè)模型，開展空對(duì)地目標(biāo)檢測(cè)技術(shù)的研究。SSD算法的基本結(jié)構(gòu)如圖1所示。

該算法屬于一步檢測(cè)算法，在YOLO基礎(chǔ)上引入Faster R-CNN的anchor檢測(cè)機(jī)制，分別在不同特征層上提取目標(biāo)特征信息。SSD的結(jié)構(gòu)主要由兩部分組成，前端以VGG16作為特征提取網(wǎng)絡(luò)，后端加上額外的特征層用來在多特征和多尺度上獲取預(yù)測(cè)框。每類目標(biāo)總共產(chǎn)生8 732個(gè)不同尺度大小的先驗(yàn)框，然后把先驗(yàn)框與標(biāo)記框進(jìn)行匹配，將與標(biāo)記框有最大交并比和交并比超過給定閾值的先驗(yàn)框視為正例。這些匹配到的正例進(jìn)行邊框的回歸計(jì)算。這種多尺度多特征的目標(biāo)檢測(cè)過程大大提升了算法的準(zhǔn)確性，實(shí)時(shí)性也得到了很好保證。

SSD模型的多任務(wù)損失函數(shù)定義如下：

圖1 SSD目標(biāo)檢測(cè)模型[12]Fig.1 Object detection model of SSD

(1)

目標(biāo)分類采用softmax損失函數(shù)：

(2)

式中：c指目標(biāo)類別；0代表背景類。

邊框回歸損失采用L1范數(shù)：

(3)

本文首先將SSD用于常規(guī)視場(chǎng)目標(biāo)檢測(cè)過程，由于常規(guī)視場(chǎng)角度多，目標(biāo)特征信息豐富，利用SSD算法進(jìn)行檢測(cè)效果較好，能夠適應(yīng)目標(biāo)尺度的劇烈變化，如圖2所示。

然而，在進(jìn)行空對(duì)場(chǎng)景實(shí)時(shí)檢測(cè)中發(fā)現(xiàn)，由于訓(xùn)練數(shù)據(jù)視角單一，大量樣本提供的目標(biāo)描述信息往往非常有限。另外，SSD采用L1范數(shù)進(jìn)行邊框回歸，這種損失優(yōu)化重點(diǎn)考慮的是預(yù)測(cè)框的4個(gè)坐標(biāo)值分別與標(biāo)記框4個(gè)坐標(biāo)值的距離盡可能的接近。優(yōu)化過程雖然使預(yù)測(cè)框接近標(biāo)記框，但4個(gè)坐標(biāo)值的獨(dú)立計(jì)算，導(dǎo)致預(yù)測(cè)框極易產(chǎn)生形變，導(dǎo)致最終的預(yù)測(cè)結(jié)果邊框尺度發(fā)生劇烈變化，如圖3所示。

圖2 常規(guī)視場(chǎng)下的目標(biāo)檢測(cè)結(jié)果Fig.2 Object detection results in the normal field of view

圖3 無人機(jī)航拍檢測(cè)圖像Fig.3 Aerial image of drones

對(duì)此，本文首先將檢測(cè)函數(shù)優(yōu)化目標(biāo)從4個(gè)坐標(biāo)值轉(zhuǎn)化為邊框的交并比(IOU)，即預(yù)測(cè)框與標(biāo)記框的交集(I)和并集(U)的比值。考慮到0≤IOU≤1，該文將邊框回歸損失看作以IOU為輸入的交叉熵?fù)p失：

Lloc(l,g)=-pln(IOU)-(1-p)ln(1-IOU).

(4)

由于期望的輸出IOU=1和p(IOU=1)=1，式(4)可以簡化為

Lloc(l,g)=-ln(IOU).

(5)

(6)

(7)

2 時(shí)域尺度輔助的貝葉斯估計(jì)算法

目標(biāo)檢測(cè)是在目標(biāo)分類的基礎(chǔ)上進(jìn)一步找到目標(biāo)的位置，并且位置信息通常以方形框表示。在實(shí)際測(cè)試中，應(yīng)用場(chǎng)景轉(zhuǎn)為空對(duì)地視角，檢測(cè)精度開始下降，并且出現(xiàn)許多錯(cuò)檢。分析這類現(xiàn)象，一方面源于空對(duì)地視場(chǎng)訓(xùn)練數(shù)據(jù)不足和檢測(cè)模型本身對(duì)小目標(biāo)檢測(cè)性能不好導(dǎo)致漏檢等原因，另一方面受到背景噪聲信息的干擾，將出現(xiàn)許多錯(cuò)檢現(xiàn)象。通過觀察空對(duì)地場(chǎng)景下的目標(biāo)發(fā)現(xiàn)，在較大視距情況下，同一高度相同目標(biāo)尺度變化不劇烈。在利用深度學(xué)習(xí)算法在實(shí)時(shí)空對(duì)地目標(biāo)檢測(cè)過程中，在受到例如城市這類復(fù)雜背景環(huán)境干擾，常常將一些尺度較大或較小物體錯(cuò)檢為目標(biāo)?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)過程沒有將物體的尺度信息(這里指檢測(cè)框的面積)考慮進(jìn)來，例如在實(shí)際空對(duì)地檢測(cè)過程中,將一些受到環(huán)境噪聲干擾的建筑物誤認(rèn)為車輛，將樹木誤認(rèn)為行人，如圖4所示。錯(cuò)檢目標(biāo)的面積尺度遠(yuǎn)遠(yuǎn)大于正常目標(biāo)尺度。于是考慮在改進(jìn)邊框回歸損失函數(shù)后，將尺度信息引入目標(biāo)檢測(cè)過程，在檢測(cè)后端結(jié)合樸素貝葉斯思想，將類別尺度限制在該視場(chǎng)下的特定范圍，超過這個(gè)范圍可以視為錯(cuò)檢,利用先驗(yàn)信息更好的輔助目標(biāo)檢測(cè)。

圖4 空對(duì)地檢測(cè)產(chǎn)生誤檢結(jié)果Fig.4 Air-to-ground detection producesfalse positive results

SSD在進(jìn)行目標(biāo)檢測(cè)時(shí)，預(yù)測(cè)過程利用softmax函數(shù)(式(8))計(jì)算出每類概率后，利用最大后驗(yàn)概率(式(9))得出最終分類結(jié)果。

(8)

(9)

(10)

式中：r={Ac1,Ac2,…,Acm}為類別平均尺度；m為類別總數(shù)?；跇闼刎惾~斯推導(dǎo)，得出了最終的尺度信息輔助目標(biāo)檢測(cè)的算法：

(11)

(12)

式中：Aci為該視場(chǎng)下目標(biāo)類別i的平均尺度。在飛行初期對(duì)序貫圖不同幀時(shí)刻同類目標(biāo)的目標(biāo)尺度進(jìn)行采樣，通過聚類方式初始化得出。其后，Aci平均尺度采用滑動(dòng)平均算法進(jìn)行動(dòng)態(tài)更新。整個(gè)過程如圖5所示。

圖5中σ為尺度容納因子，不同目標(biāo)尺度容納因子大小不同，對(duì)于真實(shí)尺度變化不大的目標(biāo)(例如人)尺度容納因子越小，即對(duì)尺度越敏感；真實(shí)尺度變化較大的目標(biāo)(例如：船舶、大船和小船尺度變化范圍大)尺度容納因子越大，即對(duì)尺度越不敏感(圖5b))。同時(shí)注意到尺度容納因子與檢測(cè)目標(biāo)種類豐富度成反比，即隨著數(shù)據(jù)集目標(biāo)種類的不斷豐富(例如當(dāng)目標(biāo)由船舶細(xì)分為游艇、郵輪)，各類尺度容納因子會(huì)逐漸縮小。

網(wǎng)絡(luò)課堂的教學(xué)模式可以使用家長管理系統(tǒng)，即學(xué)生在觀看網(wǎng)絡(luò)視頻中不能操作其他界面，或是長時(shí)間沒有對(duì)電腦進(jìn)行操作時(shí)，實(shí)施相應(yīng)的鎖屏辦法。要求學(xué)生必須通過完整的網(wǎng)絡(luò)課堂學(xué)習(xí)而取得相應(yīng)的網(wǎng)絡(luò)教學(xué)學(xué)分。

圖5 尺度輔助流程圖Fig.5 Scale module

由于預(yù)測(cè)是基于已檢測(cè)到的目標(biāo)，因此P(c)=1，最終網(wǎng)絡(luò)的softmax預(yù)測(cè)函數(shù)為

(13)

整個(gè)預(yù)測(cè)模型構(gòu)成如圖6所示，首先SSD網(wǎng)絡(luò)對(duì)視頻進(jìn)行逐幀檢測(cè)；其后經(jīng)過尺度信息庫對(duì)檢測(cè)目標(biāo)類別進(jìn)行搜索，如果庫中無該類別尺度信息，則進(jìn)行尺度初始化，如果信息庫中有該類別尺度信息，則進(jìn)行滑動(dòng)平均，動(dòng)態(tài)更新該類平均尺度；其后對(duì)該類別進(jìn)行尺度輔助建模，并進(jìn)行貝葉斯推斷，最終得出檢測(cè)結(jié)果。

圖6 尺度輔助目標(biāo)檢測(cè)模型示意圖Fig.6 Schematic diagram of scale-assisted object detection model

3 實(shí)驗(yàn)

本次實(shí)驗(yàn)所用空對(duì)地?cái)?shù)據(jù)集包括公開數(shù)據(jù)集和自制數(shù)據(jù)集2部分。其中公開數(shù)據(jù)集主要來自3K Vehicles[14]，自制數(shù)據(jù)集利用大疆無人機(jī)進(jìn)行航拍采集。數(shù)據(jù)集目標(biāo)類別包括轎車、貨車、行人、艦船這4類，共計(jì)10 000張。標(biāo)注采用Pascal VOC[15]格式。實(shí)驗(yàn)平臺(tái)基于ubuntu16.04操作系統(tǒng)，顯卡采用Nvidia GTX1080(11G)。

本文基于Pascal VOC2010[15]驗(yàn)證標(biāo)準(zhǔn)，采用平均正確率(average precision，AP)和精度(mean average precision，mAP)指標(biāo)。其中AP值表示pr曲線與橫軸的積分面積：

(14)

精度的定義為多個(gè)類別的平均AP：

(15)

SSD檢測(cè)模型訓(xùn)練采用adam[16]優(yōu)化算法和遷移學(xué)習(xí)策略。因?yàn)镃OCO[17]數(shù)據(jù)集檢測(cè)類別多，復(fù)雜干擾多，小目標(biāo)數(shù)量多，因此利用原始SSD檢測(cè)模型在COCO數(shù)據(jù)集訓(xùn)練下獲得的預(yù)訓(xùn)練權(quán)值作為模型初始化參數(shù)有利于空對(duì)地模型。對(duì)實(shí)驗(yàn)室整理搜集制作的數(shù)據(jù)集進(jìn)行200輪訓(xùn)練輪數(shù)后(如圖7所示)，最終得到的驗(yàn)證精度為87.5%，如表1所示。

將訓(xùn)練得到的模型在圖片驗(yàn)證集上進(jìn)行驗(yàn)證，從實(shí)際效果可以看出，該邊框回歸損失函數(shù)使得目標(biāo)檢測(cè)框擬合標(biāo)記框更好，更緊湊。

圖7 驗(yàn)證精度曲線Fig.7 Verification accuracy curve

模型精度(%)平均交并比(IOU)(%)汽車卡車行人傳統(tǒng)SSD84.986.387.684.1本文方法87.593.195.391.4

從實(shí)驗(yàn)效果看出，通過改進(jìn)邊框損失函數(shù)，將獨(dú)立優(yōu)化邊框4個(gè)坐標(biāo)值改為整體優(yōu)化目標(biāo)框，使得邊框回歸結(jié)果更加緊密，尺度一致性好(如圖8，9所示)，能更好反映目標(biāo)的真實(shí)尺度，為尺度約束輔助模型提供準(zhǔn)確依據(jù)。

圖8 改進(jìn)邊框回歸損失函數(shù)檢測(cè)效果Fig.8 Improved locate regression loss function detection effect

圖9 實(shí)際視頻檢測(cè)汽車對(duì)比Fig.9 Comparison of actual video detection

其后利用尺度約束輔助目標(biāo)檢測(cè)算法對(duì)原始視頻再次進(jìn)行實(shí)驗(yàn)，SSD算法實(shí)時(shí)檢測(cè)速度為20 fps。當(dāng)檢測(cè)到新目標(biāo)(汽車)后，利用之后的10幀目標(biāo)尺度數(shù)據(jù)進(jìn)行初始聚類，并將聚類后得到汽車的初始平均尺度，并將尺度信息存入尺度信息庫，當(dāng)遇到尺度信息庫沒包含的目標(biāo)(卡車)類別時(shí)，再次對(duì)產(chǎn)生目標(biāo)后的10幀尺度數(shù)據(jù)進(jìn)行初始聚類。本視頻最終得到表2所示的尺度信息庫數(shù)據(jù)。當(dāng)空基無人平臺(tái)進(jìn)行智能巡航時(shí)，動(dòng)態(tài)更新目標(biāo)信息庫平均尺度數(shù)據(jù)。

將SSD目標(biāo)檢測(cè)出的檢測(cè)框面積尺度信息與先驗(yàn)聚類和滑動(dòng)平均獲得的尺度信息庫信息進(jìn)行判斷得出尺度概率值，其后利用樸素貝葉斯推斷對(duì)SSD目標(biāo)檢測(cè)結(jié)果進(jìn)行決策判斷。

在空對(duì)地這一特殊視場(chǎng)中，由于目標(biāo)視場(chǎng)占比小，容易受到背景信息干擾，將大樹檢測(cè)為行人，將房屋檢測(cè)為卡車，將人群檢測(cè)為汽車(如圖10a))所示)。從實(shí)驗(yàn)結(jié)果可以看出，通過利用尺度約束輔助傳統(tǒng)深度學(xué)習(xí)目標(biāo)檢測(cè)模型，該方法能夠有效降低空對(duì)地目標(biāo)檢測(cè)的錯(cuò)檢率，如圖10b)所示。實(shí)驗(yàn)結(jié)果也證明了本文所提出的方法，能夠?yàn)闊o人空中平臺(tái)更好執(zhí)行空對(duì)地任務(wù)提供重要支撐。

表2 本文涉及的不同目標(biāo)尺度描述參數(shù)Table 2 Different target scale description parametersinvolved in this paper

圖10 原始SSD檢測(cè)與尺度輔助效果對(duì)比Fig.10 Comparison of original SSD and scale assistance

4 結(jié)束語

空對(duì)地目標(biāo)受成像視距影響，成像尺寸小，觀測(cè)視角單一。同時(shí)受環(huán)境干擾影響較大，不同光照、疑似干擾(場(chǎng)景中的一些疑似目標(biāo)的結(jié)構(gòu))、背景遮擋(比如城市中的樹木、建筑陰影等)等自然情況影響，使得檢測(cè)特征不明顯，存在大量的錯(cuò)檢情況，無法保證實(shí)際應(yīng)用的可靠性。本文結(jié)合SSD目標(biāo)檢測(cè)提出一種尺度約束輔助的序貫圖像空對(duì)地目標(biāo)檢測(cè)算法。首先改進(jìn)了邊框回歸損失優(yōu)化函數(shù)，其次在目標(biāo)檢測(cè)末端添加決策推斷過程，利用尺度信息，對(duì)檢測(cè)結(jié)果進(jìn)行判斷，有效降提高了檢測(cè)的魯棒性。