劉宜成,廖鷺川,張 勁,吳 浩,何 凌,戴弘寧,張 晗,楊 剛

(1.四川大學(xué) 電氣工程學(xué)院 自動化系,成都 610065; 2.成都空御科技有限公司,成都 610213; 3.澳門科技大學(xué) 咨訊科技學(xué)院,澳門 999078)

0 概述

民用無人機因體型小、易操作、機動性強等特點已被廣泛應(yīng)用到消防、勘察、農(nóng)業(yè)發(fā)展等領(lǐng)域,但其也給群眾隱私、公共設(shè)施和軍事安全構(gòu)成了巨大威脅[1]。因此,有效的無人機檢測方法對解決無人機“黑飛”問題具有重要意義。由于無人機體型小,遠處目標體現(xiàn)在圖像中呈斑點狀,具有較少的外形信息,且在自然場景下存在大量噪聲和干擾,如晃動的樹葉和水波以及飛行的鳥類,這些因素都給無人機檢測帶來巨大困難。目前,基于可見光圖像檢測無人機的方法主要有深度學(xué)習(xí)方法和傳統(tǒng)特征提取方法兩大類。

深度學(xué)習(xí)方法已被廣泛應(yīng)用在無人機檢測領(lǐng)域[2-3]。文獻[4]利用殘差網(wǎng)絡(luò)和多尺度融合方法對原始的YOLOv3[5]網(wǎng)絡(luò)進行優(yōu)化,提出了改進的YOLOv3網(wǎng)絡(luò),實現(xiàn)了低空無人機的檢測。文獻[6]設(shè)計出具有多通道和多隱藏層的檢測模型,提取無人機圖像的多尺度特征和深度信息用于無人機檢測。文獻[7]利用幀差法和區(qū)域生成法[8]檢測移動目標,然后運用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)分類器識別目標圖像。上述方法均要求無人機圖像具有一定的外形信息,而且基于深度學(xué)習(xí)的檢測方法一般難以滿足實時性要求[9]。

在圖像分辨率低和目標特征不明顯等情況下,傳統(tǒng)特征提取方法通常更適用于小目標檢測。文獻[10]利用全景圖像實現(xiàn)360°全方位的小目標檢測,能夠發(fā)現(xiàn)遠處的點狀無人機。文獻[11]提取了圖像中的天際線后,運用圖像差分法檢測移動目標,然后根據(jù)目標的運動特征和連通域信息來判別目標屬性。文獻[12]根據(jù)視覺注意機制,將多特征融合成視覺顯著圖像,實現(xiàn)了小目標無人機的檢測。文獻[13]通過聚類算法獲取目標軌跡,然后提取軌跡綜合特征,最后運用隨機森林[14](Random Forest,RF)識別出無人機軌跡。以上方法能夠檢測出視頻中的點狀無人機,但視頻中有大量飛鳥的情況下容易產(chǎn)生誤報。

針對無人機檢測過程中易出現(xiàn)誤報的問題,本文根據(jù)飛鳥和無人機的軌跡和形態(tài)差異性,提出一種基于軌跡和形態(tài)識別的無人機檢測方法。

1 無人機檢測追蹤系統(tǒng)

無人機檢測追蹤系統(tǒng)的硬件主要由相機、轉(zhuǎn)臺和無線電干擾器三部分組成,如圖1所示。相機包含可見光鏡頭(幀率為25 frame/s)和紅外鏡頭;轉(zhuǎn)臺位于相機正下方,能夠聯(lián)動相機追蹤目標;無線電干擾發(fā)射器位于轉(zhuǎn)臺兩側(cè),能夠發(fā)射無線電波去干擾無人機信號。

圖1 硬件設(shè)備示意圖Fig.1 Schematic diagram of hardware equipment

在靜態(tài)背景下,本文采用自適應(yīng)背景更新算法檢測移動物體,若環(huán)境中存在物體干擾或非目標飛行物,則該方法會在干擾物體附近和非目標飛行物處產(chǎn)生大量虛警。若目標圖像中包含足夠的細節(jié)信息,可以運用圖像識別方法[15]來排除干擾,但是當(dāng)目標圖像呈點狀時,該方法并不適用。為解決上述問題,本文提出的基于軌跡和形態(tài)識別的無人機檢測方法能夠有效抑制自然噪聲,并快速識別出無人機和飛鳥軌跡。首先利用自適應(yīng)背景更新算法檢測移動物體,然后采用軌跡聚類算法獲取潛在目標軌跡,繼而根據(jù)飛鳥和無人機飛行姿態(tài)的差異性提取軌跡特征和形態(tài)特征,接著運用人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)識別目標,最后利用小范圍目標匹配算法跟蹤無人機,同時發(fā)射無線電定向干擾無人機的通信信號,持續(xù)打擊入侵無人機。系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 無人機檢測追蹤系統(tǒng)結(jié)構(gòu)Fig.2 Structure of UAV detection and tracking system

2 目標檢測與跟蹤

2.1 目標檢測

為加速圖像處理,本文采用自適應(yīng)背景更新算法[16]檢測移動物體。首先以視頻前N幀圖像建立平均背景模型bg,并用bg初始化輔助背景sbg,計算公式如式(1)所示:

(1)

其中,fi(x,y)是第i幀圖像(x,y)坐標處的灰度值,bg(x,y)是平均背景模型(x,y)處的灰度值,N是用于背景建模的幀數(shù)。其次當(dāng)前圖像f分別與bg和sbg做差,若同時滿足式(2)則為前景目標。

(2)

其中,fdif是差分圖像,th和ths是檢測閾值,通常th

(3)

bg′(x,y)=(1-α)bg(x,y)+α×f(x,y)

(4)

其中,α(0≤α≤1)是背景更新因子,α值越大則模型對背景變化的適應(yīng)能力越強。

2.2 軌跡聚類算法

軌跡聚類算法[17]是一種根據(jù)自然噪聲與移動目標的時空特征差異性來聚合目標軌跡的算法。該算法以第1幀差分圖像的所有前景檢測點作為各條軌跡的起始點,并根據(jù)一定規(guī)則把后續(xù)圖像中符合條件的軌跡候選點加入軌跡序列,然后篩除噪聲軌跡,最后獲得連續(xù)的目標軌跡。

假設(shè)第n幀差分圖像有若干軌跡候選點pi(i=0,1,…,n),且已經(jīng)存在多條軌跡Ti(i=0,1,…,n)。為加速軌跡聚類過程,軌跡Ti僅在其搜索框Si(xi±w,yi±h)內(nèi)搜索距離坐標(xi,yi)最近的候選點加入軌跡,其中w和h分別是搜索框的寬和高。本文根據(jù)下面的3條規(guī)則完成軌跡聚類和噪聲篩除,最后獲得潛在目標軌跡。

點間位移的平均值。在一次軌跡聚類過程中,若某候選點最終未被關(guān)聯(lián)到現(xiàn)有軌跡,則以該候選點為起始點新建一條軌跡,并參與下次軌跡聚類。

2)與飛行物相比,樹枝和水波等干擾形成的噪聲呈現(xiàn)出不規(guī)則運動,其軌跡在水平方向上來回波動,且軌跡段外接矩形的縱橫比異于飛行物。如果軌跡段不滿足條件Snum<4或IFAR

3)由于檢測不穩(wěn)定性和短時間遮擋等原因,目標軌跡可能在連續(xù)多幀圖像中關(guān)聯(lián)不到候選點,為增強軌跡的連續(xù)性,本文將連續(xù)6幀沒有關(guān)聯(lián)到候選點的軌跡定義為短軌跡。

軌跡聚類流程如圖3所示。

圖3 軌跡聚類流程Fig.3 Procedure of trajectory clustering

2.3 特征提取

鳥類在飛行時存在展翅動作,而大部分無人機依靠四旋翼飛行,由于飛行姿態(tài)的不同,它們的飛行軌跡和形態(tài)變化存在較大差異,因此本文從軌跡和形態(tài)兩個方向提取特征。

2.3.1 軌跡特征提取

圖4(a)記錄的是飛鳥和無人機的飛行軌跡,其中,T1、T2、T3是飛鳥軌跡,T4、T5、T6是無人機軌跡,圖4(b)是圖4(a)中矩形框的放大圖,圓點連線表示無人機軌跡,三角連線表示飛鳥軌跡,虛線框是軌跡段選取框。為加速軌跡特征提取,本文把整條軌跡劃分成若干軌跡段,每段包含n個軌跡點,其長度由軌跡選取框確定(見圖4(b)),其中包含6個軌跡點。從圖4(b)可以看出,與無人機軌跡相比,飛鳥軌跡在水平方向(X方向)上間距分布不均,豎直方向(Y方向)上存在較大波動,且相鄰三點構(gòu)成的角度明顯更加尖銳。為此,本文根據(jù)上述3個差異性來提取軌跡特征。

圖4 軌跡特征提取結(jié)果Fig.4 Extraction results of trajectory characteristics

在X方向上,特征f1和f2分別是相鄰兩點間水平距離的標準差和極值比:

(5)

(6)

為突出飛鳥軌跡短時間內(nèi)在Y方向上的波動,本文將長度為n的軌跡段拆分成k個長度為m的子軌跡,然后運用最小二乘法[18]擬合子軌跡的直線方程,最后以坐標點到擬合直線的垂直距離為基礎(chǔ)提取Y方向特征:

(7)

(8)

(9)

其中:

(10)

(11)

(12)

在式(7)～式(12)中,rj表示第j個子軌跡擬合直線的線性程度,其絕對值越接近1,擬合直線的線性關(guān)系越好,a和b分別為擬合直線的斜率和截距,di是子軌跡中第i個點到擬合直線的垂直距離。

假設(shè)軌跡中相鄰三點構(gòu)成夾角的角度為θ,從圖4(b)可以看出,短時間內(nèi)無人機軌跡的角度波動較小,飛鳥軌跡角度大部分小于無人機軌跡角度。因此,使用θ的標準差f6來描述角度變化的穩(wěn)定性,并通過角度增強f7來突出飛鳥軌跡的差異性,由此得到以下兩個角度特征:

(13)

(14)

其中:

(15)

2.3.2 形態(tài)特征提取

如圖5所示,圖5(a)和圖5(b)分別是飛鳥和無人機連續(xù)6幀的形態(tài)變化,其中數(shù)字表示相應(yīng)連通域的像素點數(shù)(δ)。

圖5 飛鳥與無人機形態(tài)變化Fig.5 Morphologic changes of birds and UAVs

從圖5可以看出,相比于無人機,飛鳥的形態(tài)變化更加劇烈,從而導(dǎo)致δ波動較大。因此,本文采用δ的標準差(f8)來衡量目標形態(tài)變化的劇烈程度。

(16)

(17)

其中,δi表示軌跡段內(nèi)第i個坐標點對應(yīng)的連通域像素點數(shù)。

2.4 基于人工神經(jīng)網(wǎng)絡(luò)的軌跡識別

人工神經(jīng)網(wǎng)絡(luò)[19]是一種模仿人類神經(jīng)元結(jié)構(gòu)發(fā)展而來的監(jiān)督學(xué)習(xí)算法,其結(jié)構(gòu)主要有輸入層、隱藏層和輸出層3個部分,如圖6所示,每層由若干神經(jīng)元組成。

圖6 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Structure of artificial neural network

神經(jīng)元節(jié)點將其所有輸入分別與不同權(quán)重相乘,然后相加并做一次偏移運算,最后通過非線性運算得到該神經(jīng)元的輸出:

(18)

(19)

其中,WT是權(quán)重向量的轉(zhuǎn)置。為評估網(wǎng)絡(luò)訓(xùn)練效果,網(wǎng)絡(luò)采用對數(shù)損失函數(shù)計算預(yù)測值與期望值的偏差:

cost(g(x),y)=-yloga(g(x)-1)-

(1-y)loga(1-g(x))

(20)

其中,y是輸入實例x的真實類別。

如果偏差值大于預(yù)期值,則利用反向傳播算法(Back Propagation,BP)[20]更新網(wǎng)絡(luò)的權(quán)重矩陣W,經(jīng)過若干次迭代后得到軌跡分類模型。

2.5 目標追蹤和打擊

為預(yù)防目標飛出相機視場,系統(tǒng)會根據(jù)目標坐標自動調(diào)節(jié)轉(zhuǎn)臺追蹤目標,使目標保持在屏幕中心附近。根據(jù)生物視覺機制原理[12],短時間內(nèi)無人機的形態(tài)和灰度信息相對穩(wěn)定,且偏移量較小,所以本文采用小范圍目標搜索算法來追蹤目標,算法步驟如下:

1)根據(jù)圖像灰度梯度變化來檢測R′區(qū)域內(nèi)的高頻信號,然后以高頻信號的極值點作為候選目標坐標。

2)根據(jù)高頻信號外接矩大小初步篩除噪聲點。

3)以候選坐標為中心截取相同大小區(qū)域用于統(tǒng)計灰度直方圖,然后對候選直方圖和目標直方圖進行歸一化,通過計算巴氏距離[21]來衡量它們的相似性,最后得出目標坐標。

4)更新目標坐標、外接矩大小和灰度直方圖。

2015年3月,工業(yè)和信息化部規(guī)定了在國內(nèi)生產(chǎn)或進口到國內(nèi)銷售的無人機的無線電頻段范圍[22],這極大地促進了我國的民用無人機監(jiān)管和發(fā)展,同時也為無人機防御提供了一種可靠的途徑。因此,本文根據(jù)不同頻段定制了相應(yīng)的干擾無線電,并利用干擾無線電迫使入侵無人機返航或迫降,從而達到防御的目的。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)處理和實驗參數(shù)

本文實驗的數(shù)據(jù)來源是20個包含飛鳥和無人機的視頻,它們均由固定相機拍攝得到,拍攝環(huán)境是存在較多飛鳥的湖面,天氣包含陰天(能見度約300 m)和晴天(能見度約800 m)。其中12個視頻包含8 900幀1 280像素×720像素分辨率圖像,記錄了大疆無人機(型號:DJI Phantom 3)在不同距離下的各種飛行狀態(tài),其他8個視頻包含9 205幀1 280像素×720像素分辨率圖像,記錄了各種飛鳥在自然環(huán)境下的飛行狀態(tài)。

在獲取視頻后,采用2.1節(jié)描述的自適應(yīng)背景更新算法檢測前景目標,設(shè)置背景更新閾值th和ths分別為10和15,背景更新因子α為0.7。然后根據(jù)軌跡聚類算法得到3 516個無人機軌跡段和3 805個飛鳥軌跡段,并對其進行人工標注(標簽為0表示飛鳥軌跡,標簽為1表示無人機軌跡)。由于軌跡特征和形態(tài)特征不屬于同一量綱,為提高特征的識別率和加速計算,本文實驗對所有特征集做均值為0方差為1的歸一化處理。最后隨機抽取70%特征集作為訓(xùn)練樣本,30%作為測試樣本。

根據(jù)特征維度大小,本文實驗設(shè)置網(wǎng)絡(luò)輸入層節(jié)點數(shù)為8,包含3個隱藏層,每層有64個節(jié)點,采用Relu[23]作為激活函數(shù),網(wǎng)絡(luò)的初始學(xué)習(xí)率為0.000 1,正則化系數(shù)為0.001,一階和二階矩向量的指數(shù)衰減速率分別為0.9和0.999,采用Adam[24]優(yōu)化算法訓(xùn)練神經(jīng)網(wǎng)絡(luò),最后經(jīng)過約150次迭代計算后得到軌跡預(yù)分類模型。

3.2 結(jié)果分析

本文主要通過精準率(Precision,PR)、召回率(Recall,RE)和綜合評價指標(F1_score,F1_s)3個指標來衡量識別表現(xiàn),計算公式如下:

(21)

(22)

(23)

其中,真正例(True Positive,TP)是預(yù)測為正的正樣本,假正例(False Positive,FP)是預(yù)測為正的負樣本,假負例(False Negative,FN)是預(yù)測為負的正樣本。

圖7是視頻中第57幀(左)、第364幀(中)、第379幀(右)的目標檢測結(jié)果,其中圖7(a)是自適應(yīng)背景更新算法檢測得到的前景目標,可以看出,除了包含飛行物目標外還存在大量噪聲;圖7(b)是經(jīng)過軌跡聚類和目標識別后的結(jié)果,可以看出,原來的噪聲點已經(jīng)被全部清除,而且準確地識別出圖中的無人機和飛鳥,其中深色圈表示無人機,淺色圈表示飛鳥。

圖7 目標檢測結(jié)果Fig.7 Result of target detection

軌跡長度和分類器模型的不同可能會給識別準確率帶來影響。在相同計算環(huán)境下,分別用隨機森林、支持向量機(Support Vector Machine,SVM)[25]和人工神經(jīng)網(wǎng)絡(luò)對不同長度軌跡的特征進行訓(xùn)練和測試。表1記錄了各分類器對不同長度的無人機軌跡的測試結(jié)果,表中數(shù)據(jù)是6次測試結(jié)果的F1_s均值,加粗數(shù)據(jù)是當(dāng)前行的最大值。從表1可以看出,軌跡長度達到24之前,隨著長度的增長各分類器模型的F1_s分數(shù)逐漸增加,當(dāng)長度為24時表現(xiàn)最好,F1_s分數(shù)均達到0.993 1。但是,隨著長度的繼續(xù)增長,F1_s分數(shù)并沒有明顯提升,反而略微下降,其原因可能是隨著長度增加某些特征對識別效果產(chǎn)生負面影響。總體而言,ANN的表現(xiàn)略優(yōu)于其他兩種方法,當(dāng)軌跡長度為24時F1_s分數(shù)達到了0.996 9。

表1 各分類器對不同長度軌跡的識別結(jié)果Table 1 Recognition results of different lengthtrajectories by each classifier

表2記錄了以ANN為識別模型時,不同特征集對長度為24時的無人機軌跡判別表現(xiàn),其中FX(f1,f2)是X方向特征集,FY(f3,f4,f5)是Y方向特征集,FA(f6,f7)是角度特征集,Fδ(f8)是形態(tài)特征,加粗數(shù)據(jù)是當(dāng)前行的最大值。從表2可以看出,FY特征集3項指標值最大,表現(xiàn)明顯優(yōu)于其他特征集,Fδ特征集的F1_s和RE最小,表現(xiàn)最差。這說明飛鳥和無人機軌跡的差異性主要體現(xiàn)在Y方向的波動,而形態(tài)特征表現(xiàn)差的原因可能是某些點狀目標的像素點數(shù)波動不明顯。

表2 不同特征集識別結(jié)果的定量分析Table 2 Quantitative analysis of recognition resultof different feature sets

為進一步說明本文方法的有效性,本文還與文獻[13]方法進行性能對比實驗。實驗采用相同視頻獲取無人機和飛鳥軌跡,軌跡段長度設(shè)定為24。表3是文獻[13]方法與本文方法的性能對比,可以看到,本文方法在PR、RE、F1_s這3項指標上分別提高了0.077 0、0.128 5、0.103 6。

表3 本文方法與文獻[13]方法的性能對比Table 3 Performance comparison between the proposedmethod and the literature[13] method

本文實驗在Windows 10系統(tǒng)計算機上完成,其配置為Inter?CoreTMi7-8550U CPU,8 GB內(nèi)存。算法實現(xiàn)環(huán)境是Microsoft Visual Studio 2015,算法實現(xiàn)語言是C++。通過實驗驗證,本文算法處理一幀1 280像素×720像素圖像的平均時間約為27.7 ms。

4 結(jié)束語

本文針對在復(fù)雜環(huán)境下通過圖像序列難以發(fā)現(xiàn)小目標無人機的問題,提出一種基于軌跡和形態(tài)識別的無人機檢測方法,并搭建無人機檢測追蹤系統(tǒng)。通過軌跡聚類算法排除自然物干擾,根據(jù)飛鳥和無人機飛行軌跡和形態(tài)的差異性提取判別特征,并運用神經(jīng)網(wǎng)絡(luò)進行判別。實驗結(jié)果表明,該檢測系統(tǒng)準確率達到99.53%,能準確檢測出視頻中的點狀無人機,且在發(fā)現(xiàn)無人機后,系統(tǒng)控制轉(zhuǎn)臺追蹤目標,同時運用無線電定向干擾無人機的通信信號,從而達到反制目的。該系統(tǒng)綜合檢測、識別、追蹤和反制于一體,能夠在復(fù)雜環(huán)境下迅速發(fā)現(xiàn)遠處的無人機,具有較好的應(yīng)用前景。雖然本文方法能較早發(fā)現(xiàn)遠處的無人機,但檢測距離和效果容易受到天氣影響,且飛鳥在滑翔狀態(tài)下飛行軌跡和形態(tài)變化與無人機很相似,容易導(dǎo)致誤判,下一步將引入圖像識別模塊確認目標的屬性,從而降低誤判率。