(南京航空航天大學(xué) 航天學(xué)院，南京 210016)

0 引言

隨著無人機(jī)的飛速發(fā)展，無人機(jī)的飛行、導(dǎo)航和執(zhí)行有用任務(wù)的能力是卓越的，而且比起有人機(jī)來說，體積小，成本低，使用靈活，還能完成一些有人機(jī)無法完成的任務(wù)。因此近年來無人機(jī)受到了世界各國的重視，紛紛研制各種各樣類型的無人機(jī)應(yīng)用于軍用領(lǐng)域和民用領(lǐng)域[1-7]。民用無人機(jī)主要包括消費(fèi)級與工業(yè)級兩類，消費(fèi)級無人機(jī)側(cè)重于航拍，而工業(yè)級無人機(jī)則大量使用于植保、安防、勘測等各個(gè)行業(yè)[8-9]。2016年全球無人機(jī)統(tǒng)計(jì)數(shù)據(jù)表明，民用無人機(jī)與軍用無人機(jī)的占比分別為11%和89%。隨著無人機(jī)在民用領(lǐng)域的迅速發(fā)展，預(yù)計(jì)在2024年，民用占比可達(dá)到14%。無人機(jī)在民用領(lǐng)域的應(yīng)用的迅速發(fā)展意味著在人類活動(dòng)的區(qū)域中飛行的無人機(jī)越來越多，更多的無人機(jī)與有人機(jī)共享同一片國家空域。但是與此同時(shí)，無人機(jī)數(shù)量的躍增使國家空域變得逐漸擁擠，空域安全性正在逐漸降低。

歐洲航空安全局(The European Authority for aviation safety, EASA)截至2016年的統(tǒng)計(jì)報(bào)告表明，歐洲范圍內(nèi)由無人機(jī)導(dǎo)致的危險(xiǎn)事件高達(dá)1000起，造成了不同程度的飛機(jī)損壞和經(jīng)濟(jì)損失。從2014年到2016年8月，美國聯(lián)邦航空局(Federal Aviation Administration, FAA)的統(tǒng)計(jì)報(bào)告指出，由無人機(jī)引發(fā)的安全事故呈現(xiàn)出上升趨勢，多達(dá)650起。

隨著國內(nèi)無人機(jī)行業(yè)的迅速發(fā)展，國內(nèi)同樣發(fā)生了多起無人機(jī)入侵機(jī)場的危險(xiǎn)事件。據(jù)統(tǒng)計(jì)，自2017年以來，杭州、南京、成都等多個(gè)國內(nèi)大型機(jī)場曾多次因?yàn)闊o人機(jī)飛入機(jī)場凈空保護(hù)區(qū)干擾機(jī)場航班運(yùn)行，導(dǎo)致了重大的經(jīng)濟(jì)損失。為了消除無人機(jī)頻繁入侵對國家空域系統(tǒng)造成的不良影響，探索實(shí)現(xiàn)無人機(jī)與有人機(jī)安全地共享國家空域是目前的迫在眉睫的關(guān)鍵問題。感知與規(guī)避(Sense and Avoid, SAA)是將無人機(jī)集成到國家空域的最大關(guān)鍵技術(shù)，該技術(shù)是實(shí)現(xiàn)無人機(jī)和有人機(jī)安全共享空域的重要手段。

感知與規(guī)避技術(shù)是指無人機(jī)通過機(jī)載設(shè)備在件事空域范圍內(nèi)檢測是否存在其他入侵目標(biāo)，通過分析入侵目標(biāo)和自身無人機(jī)的運(yùn)動(dòng)狀態(tài)，判斷感知與規(guī)避機(jī)動(dòng)的必要性，再進(jìn)行分析和決策，最后無人機(jī)通過適當(dāng)?shù)囊?guī)避機(jī)動(dòng)來解除入侵目標(biāo)對自身的威脅。如圖1所示，感知是規(guī)避的前提，規(guī)避是感知的歸宿和目的[10]。無人機(jī)感知指的是利用機(jī)載傳感器實(shí)現(xiàn)入侵目標(biāo)的檢測識別，為規(guī)避提供參考。無人機(jī)感知技術(shù)可分為協(xié)同式與非協(xié)同式兩類[6]。由于協(xié)同式感知存在高成本、高負(fù)荷、應(yīng)用范圍有限等缺陷，使用非協(xié)同式感知技術(shù)完成無人機(jī)感知入侵目標(biāo)成為了當(dāng)前的趨勢。在非協(xié)同感知技術(shù)中，機(jī)器視覺相比于合成孔徑雷達(dá)[11]、激光探測系統(tǒng)[12]、紅外傳感器[13]在負(fù)載、成本、能耗和自主性上有一定的優(yōu)勢，而且生成的光學(xué)圖像直觀易理解，空間分辨率比較高，圖像內(nèi)容豐富，目標(biāo)結(jié)構(gòu)特征明顯，因此視覺的入侵目標(biāo)檢測與識別成為感知與規(guī)避技術(shù)中研究感知部分的熱點(diǎn)課題。

圖1 感知與規(guī)避系統(tǒng)的功能模塊

1 基于機(jī)器視覺的感知與規(guī)避

無人機(jī)所需感知的目標(biāo)是各類存在潛在威脅的飛行器，由于無人機(jī)的負(fù)載約束，難以配備在有人機(jī)上應(yīng)用的交通碰撞規(guī)避(Traffic Collision Avoidance System, TCAS)[17]及自動(dòng)相關(guān)監(jiān)視(Automatic Dependent Surveillance-Broadcast, ADS-B)[18]。為了彌補(bǔ)這一不足，以機(jī)器視覺為代表的非協(xié)同傳感器為實(shí)現(xiàn)無人機(jī)感知規(guī)避提供了一條行之有效的思路[19]。感知與規(guī)避技術(shù)中的入侵目標(biāo)視覺檢測與識別有如下特點(diǎn)：1)圖像數(shù)據(jù)量大：隨著無人機(jī)機(jī)載視覺傳感器技術(shù)的發(fā)展，光學(xué)機(jī)載圖像分辨率的提高，使得光學(xué)機(jī)載圖像的數(shù)據(jù)量越來越大;2)光學(xué)機(jī)載圖像的獲取過程中受到許多條件影響，比如獲取圖像的機(jī)載視覺傳感器性能、圖像分辨率、外部條件(天氣、光照等)、無人機(jī)飛行速度等，這些因素都會(huì)影響光學(xué)機(jī)載圖像的成像效果。3)入侵目標(biāo)的類型不同、顏色、尺寸、形狀、紋理等特征不同，使得無人機(jī)獲取的光學(xué)機(jī)載圖像中的入侵目標(biāo)所呈現(xiàn)出來的特征也有所不同。

目前感知與規(guī)避技術(shù)中的對入侵目標(biāo)視覺檢測與識別的研究一般采取面向?qū)ο蟮母拍?，而且光學(xué)機(jī)載圖像中的背景對很多入侵目標(biāo)檢測方法造成比較大的影響，因此可以將基于機(jī)載圖像對入侵目標(biāo)檢測識別方法分為兩類：基于天空背景下的入侵目標(biāo)檢測識別方法，如圖2所示；基于天地背景中的入侵目標(biāo)檢測識別方法，如圖3所示。

圖2 基于天空背景的入侵目標(biāo)檢測與識別方法

圖3 基于天地背景的入侵目標(biāo)檢測與識別方法

圖1的基于天空背景的入侵目標(biāo)檢測與識別方法的主要包括對獲取的機(jī)載圖像進(jìn)行預(yù)處理，對機(jī)載圖像中的空中入侵目標(biāo)進(jìn)行檢測，并對其分類識別。對機(jī)載圖像中的入侵目標(biāo)檢測和入侵目標(biāo)分類識別是最關(guān)鍵的兩個(gè)部分，入侵目標(biāo)檢測部分還包括了空中入侵目標(biāo)感興趣區(qū)域的提取和入侵目標(biāo)的確認(rèn)組成。然而圖2的基于天地背景的入侵目標(biāo)檢測與識別方法除了預(yù)處理之外還包括了對機(jī)載圖像進(jìn)行天地分割、入侵目標(biāo)檢測和分類識別。其中入侵目標(biāo)檢測由空中入侵目標(biāo)感興趣區(qū)域的提取、地面入侵目標(biāo)感興趣區(qū)域的提取和入侵目標(biāo)確認(rèn)組成。空中入侵目標(biāo)感興趣區(qū)域是指無人機(jī)在飛行過程中遇到處于天空背景的入侵目標(biāo)可能存在的區(qū)域；地面入侵目標(biāo)感興趣區(qū)域即無人機(jī)在低飛過程中遇到的入侵目標(biāo)處可能存在地面背景中的區(qū)域；對光學(xué)機(jī)載圖像中的入侵目標(biāo)確認(rèn)主要對入侵目標(biāo)感興趣區(qū)域所包含的潛在入侵目標(biāo)進(jìn)行識別確認(rèn)，去掉錯(cuò)誤的潛在目標(biāo)，找到正確的入侵目標(biāo)，從而降低因?yàn)樘摷倌繕?biāo)引起的預(yù)警機(jī)動(dòng)概率，即降低虛警率。對機(jī)載圖像的入侵目標(biāo)分類識別部分主要對確認(rèn)的入侵目標(biāo)進(jìn)行分類識別，通過不同的特征(比如尺寸大小、顏色、紋理等)來判斷入侵目標(biāo)的類型。

下面從天地分割、入侵目標(biāo)檢測和入侵目標(biāo)分類識別三個(gè)方面進(jìn)行梳理和分析技術(shù)發(fā)展現(xiàn)狀。

2 天地分割

由于地面背景信息多樣化，而且同一個(gè)背景也存在變化，因此基于地面先驗(yàn)信息的方法是不適用與天地分割的，常常采用圖像分析方法提取天空或者地面圖像區(qū)域，完成天地分割。一般在分辨率不太高的光學(xué)機(jī)載圖像中，相對于地面的灰度值而言，天空的灰度值比較低，而且分布比較均勻，一般利用灰度閾值分割的方法可以有效地將天空分割出來。但是在分辨率較高的光學(xué)機(jī)載圖像中，天空的灰度值就沒有那么均勻了。因?yàn)樘鞖?、云朵和視角等因素，?dǎo)致天空灰度值變得復(fù)雜，而且入侵目標(biāo)因?yàn)榉N類不同形狀不同所表現(xiàn)的灰度值也有所不同。如果采用一般的閾值分割方法可能會(huì)降低分割效果甚至出現(xiàn)錯(cuò)誤的分割結(jié)果。下面歸納用于天地分割的一些方法。

1) 閾值法。閾值法是圖像分割方法中最基本最經(jīng)典的方法。通過計(jì)算圖像中的灰度值或者梯度直方圖，并根據(jù)天空和地面的灰度特性，設(shè)定合適的閾值將天空和地面分割開來。因此天地分割部分最為關(guān)鍵的因素是設(shè)定一個(gè)合適的分割閾值，而常用的閾值設(shè)定方法有：大津算法[20]、最大熵法[21]等。

2) 基于聚類的方法?；诰垲惖姆椒ㄒ话愣际峭ㄟ^一定的規(guī)則將屬性相似的圖像塊或者是近似的像素點(diǎn)聚集起來，完成基于聚類的圖像分割。由于天空背景比較簡單，像素也相近，因此可以通過聚類的方法將簡單的天空背景和復(fù)雜的地面背景分割開來。一般常用的基于聚類的方法有K-Means聚類、區(qū)域生長法、分裂合并法等[22-23]。

3 入侵目標(biāo)檢測

入侵目標(biāo)檢測的技術(shù)思路主要分為兩類，一類是增強(qiáng)目標(biāo)特征；另一類是抑制背景噪聲和雜波。

基于光流的目標(biāo)檢測通過光流技術(shù)計(jì)算每個(gè)像素點(diǎn)的速度矢量[24]，借助運(yùn)動(dòng)模型估計(jì)獲取光流場的運(yùn)動(dòng)，若光流矢量恒定則沒有目標(biāo)，反之光流矢量異常的區(qū)域則可能出現(xiàn)目標(biāo)。光流法的缺點(diǎn)在于實(shí)時(shí)性較差，且對于光照變化十分敏感?；陔[馬爾可夫?yàn)V波(Hidden Markov Model, HMM)通過在檢測之前設(shè)定閾值，從而實(shí)現(xiàn)初始目標(biāo)檢測[25]。HMM濾波的缺陷在于檢測閾值的選取對于最終的檢測結(jié)果有著至關(guān)重要的作用[26]，為了克服這一不足，HMM一般與檢測前跟蹤技術(shù)相結(jié)合[27]，提出了一種HMM組合濾波方法，實(shí)驗(yàn)結(jié)果表明HMM組合濾波比單一的HMM濾波器性能更為優(yōu)越。然而，由于HMM濾波器與HMM濾波器組均難以實(shí)現(xiàn)識別功能，因此無法避免虛警發(fā)生率?；陬A(yù)訓(xùn)練分類器的形態(tài)學(xué)濾波方法對于降低虛警率效果顯著[28]，然而與此同時(shí)付出的代價(jià)是復(fù)雜分類器帶來的計(jì)算資源消耗[29]?；趨^(qū)域建議的目標(biāo)檢測方法在平衡檢測率與虛警率方法有著較好的效果[30-32]，在輸入圖像確定的情況下，輸出可能包含目標(biāo)的潛在區(qū)域。

3.1 入侵目標(biāo)感興趣區(qū)域提取

提議區(qū)域的檢測方法一般可以分為兩種類型：分組法和窗口打分法。分組法的提出基于早期提出的分割搜索法[33]，常用的算法有SelectiveSearch[33]，MCG[34]等。窗口打分法的提出是基于早期提出的似物性提議區(qū)域方法[29]，常用的算法有Edge-Boxes[35]，Objectness[29]，Bing[36]等。

3.2 入侵目標(biāo)候選區(qū)域篩除

入侵目標(biāo)確認(rèn)主要是對入侵目標(biāo)感興趣區(qū)域所包含的潛在目標(biāo)進(jìn)行排查確認(rèn)，去掉錯(cuò)誤的潛在目標(biāo)，找到正確的入侵目標(biāo)，從而降低虛警率。入侵目標(biāo)一般包括不同類型的飛行器、鳥類、地面障礙物(無人機(jī)低空飛行時(shí)的山丘和樹木等)，入侵目標(biāo)的特征一般有灰度、尺寸、形狀和紋理等特征。在對入侵目標(biāo)進(jìn)行確認(rèn)過程中,通常采用提取特征和分類器結(jié)合來識別出真正的入侵目標(biāo)，降低虛警發(fā)生率。在進(jìn)行入侵目標(biāo)確認(rèn)的過程中需要描述入侵目標(biāo)感興趣區(qū)域包含的潛在目標(biāo)的特征。由于入侵目標(biāo)具有灰度、尺寸、形狀、紋理等特征，因此常用的一些圖像特征有：尺寸統(tǒng)計(jì)特征、紋理特征、邊緣特征、形狀特征、小波變換特征[37]、Hough變換特征[38]等。

4 入侵目標(biāo)分類與識別

視覺感知與規(guī)避的難點(diǎn)在于檢測率太低而虛警率太高。如何在確保檢測率的同時(shí)降低虛警率是視覺感知規(guī)避的關(guān)鍵。入侵目標(biāo)檢測部分主要是確定入侵目標(biāo)的位置和大小，而入侵目標(biāo)識別部分主要是確定入侵目標(biāo)的類型。識別模塊的引入主要是為了降低虛警發(fā)生率。

4.1 特征提取

基于光學(xué)機(jī)載圖像的入侵目標(biāo)識別分為在線識別和離線訓(xùn)練兩階段。離線訓(xùn)練又可分為特征提取與分類器訓(xùn)練兩個(gè)步驟，通過特征提取獲取目標(biāo)的特征描述，再通過分類器訓(xùn)練獲取目標(biāo)在特征空間上的分界面。在線識別同樣需要提取目標(biāo)的特征描述，在此基礎(chǔ)上通過計(jì)算出目標(biāo)相對于分界面的位置獲取入侵目標(biāo)的類型。因此特征提取是入侵目標(biāo)識別部分的核心。

入侵目標(biāo)分類識別中一般用到的特征包括：顏色特征、形狀特征、梯度特征和模式特征，梯度特征通過對圖像塊提取方向和梯度來描述目標(biāo)特征，包括尺度不變特征[39]以及梯度方向直方圖[40]等。模式特征通過分析圖像中局部區(qū)域之間紋理信息的區(qū)別獲得特征描述。與梯度特征相比，紋理特征的缺點(diǎn)在于特征維度較高，為后續(xù)的分類帶來的較大的計(jì)算負(fù)荷[41-43]。形狀特征通過提取目標(biāo)的輪廓信息獲得目標(biāo)的特征描述，該特征的優(yōu)點(diǎn)在于尺度、旋轉(zhuǎn)和平移不變特性，但是缺乏目標(biāo)的顏色與紋理特性[44-45]。顏色特征通過計(jì)算圖像灰度與顏色分布來獲取目標(biāo)的特征描述，該類特征的穩(wěn)定性較差，因此應(yīng)用受到了限制[46]。

4.2 分類器設(shè)計(jì)

在對入侵目標(biāo)進(jìn)行分類識別之前一般需要訓(xùn)練合適的分類器，在識別過程中通過訓(xùn)練得到的分類判別條件將入侵目標(biāo)提取出來。選擇一個(gè)合適的SVM核函數(shù)則是保證SVM分類器良好性能的關(guān)鍵因素。常用的SVM核函數(shù)有Linear、Sigmoid、RBF、GussianRBF等[48]。

由于需要檢測與識別的入侵目標(biāo)是各類飛行器、飛鳥、地形障礙(無人機(jī)低空飛行時(shí)的山丘和樹木等)，具有類內(nèi)差異與類間相似性。其次，由于無人機(jī)與待檢測的入侵目標(biāo)之間存在相對運(yùn)動(dòng)，因此目標(biāo)的背景變化同樣會(huì)增加識別的難度，因此傳統(tǒng)的單個(gè)分類器已經(jīng)難以滿足入侵目標(biāo)識別的要求。為了解決這個(gè)問題，

可以取長補(bǔ)短地選擇多個(gè)不同的分類器，并有規(guī)則地聯(lián)合起來成為一個(gè)滿足需求的優(yōu)良分類器。如何選擇聯(lián)合的子分類器，聯(lián)合分類器的規(guī)則如何設(shè)定都是影響著聯(lián)合分類器性能的關(guān)鍵因素。因此如何訓(xùn)練一個(gè)好的分類器是入侵目標(biāo)分類識別的一大難點(diǎn)問題。

5 總結(jié)

目前由于無人機(jī)的廣泛應(yīng)用，人們對無人機(jī)的感知與規(guī)避技術(shù)進(jìn)行了研究和發(fā)展，其中對于入侵目標(biāo)檢測與識別方面也做了很多研究工作，取得了一些研究成果。但是目前關(guān)于入侵目標(biāo)檢測與識別的方法還存在很多問題沒有得到解決，很多方法都是處于理論階段，離真正應(yīng)用于軍用領(lǐng)域和民用領(lǐng)域還有很長的路要走。

1) 地面背景的入侵目標(biāo)檢測

由于地面背景一般都比較復(fù)雜，包含不同顏色、不同形狀、不同大小、不同紋理的對象，同時(shí)入侵目標(biāo)是多種類型具有不同的形狀大小、顏色紋理特征，因此入侵目標(biāo)有可能與地面對象特征相似，難以將入侵目標(biāo)從復(fù)雜的地面背景檢測出來。因此如何選擇合適的入侵目標(biāo)特征表示方法成為了入侵目標(biāo)檢測一個(gè)難點(diǎn)。

2) 具有通用性的入侵目標(biāo)檢測方法

目前的入侵目標(biāo)檢測算法一般都是針對特定入侵目標(biāo)或者特定環(huán)境場景，但是實(shí)際上光學(xué)機(jī)載圖像的成像過程是復(fù)雜多變，天氣條件、光照條件、視角條件、入侵目標(biāo)運(yùn)動(dòng)特性等多種因素的影響，使得光學(xué)機(jī)載圖像存在著許多干擾。因此研究具有通用性、克服不同干擾因素的入侵目標(biāo)檢測方法是目前感知與規(guī)避技術(shù)中的入侵目標(biāo)檢測技術(shù)需要解決的難點(diǎn)問題。

3) 入侵目標(biāo)分類識別

天氣條件、光照條件、視角條件、入侵目標(biāo)運(yùn)動(dòng)特性等多種因素的影響，導(dǎo)致光學(xué)機(jī)載圖像中的入侵目標(biāo)呈現(xiàn)的特征有所偏差，可能出現(xiàn)入侵目標(biāo)被遮擋、輪廓?dú)埲?、形變、模糊等問題，為后續(xù)的分類識別工作增添難度。

隨著圖像處理技術(shù)、模式識別技術(shù)的發(fā)展，感知與規(guī)避技術(shù)中的入侵目標(biāo)檢測與識別呈現(xiàn)出如下的研究熱點(diǎn)：

1) 基于多源圖像融合的入侵目標(biāo)檢測與識別

一般每一種傳感器獲取目標(biāo)圖像都是在特定的某些方面有著良好的效果，但是在另一方面則會(huì)存在著缺陷。比如合成孔徑雷達(dá)(SAR)圖像雖然不受天氣變化影響，但是機(jī)載圖像的分辨率很低；紅外圖像中對于運(yùn)動(dòng)的入侵目標(biāo)有著很好的獲取效果對云層也有著穿透作用，但是分辨率也不高；而光學(xué)圖像對入侵目標(biāo)有著良好的描述作用，可以提高豐富的圖像信息，分辨率高，但是容易受到天氣影響。

融合不同機(jī)載傳感器獲得的圖像來檢測和識別入侵目標(biāo)，可以取長補(bǔ)短從而提高入侵目標(biāo)檢測概率。結(jié)合合成孔徑雷達(dá)的全天候性、紅外圖像對運(yùn)動(dòng)目標(biāo)的敏感性、光學(xué)圖像對入侵目標(biāo)具體描述性等優(yōu)點(diǎn)，對于光學(xué)圖像檢測出來的入侵目標(biāo)感興趣區(qū)域進(jìn)行下一步的確認(rèn)和識別。

2) 特征融合的入侵目標(biāo)分類識別

描述入侵目標(biāo)的特征有很多，但是不同特征具有不同的特點(diǎn)，對入侵目標(biāo)的描述效果以及耗費(fèi)的時(shí)間也有所不同，因此為了得到更好的特征描述效果，可以通過融合不同特點(diǎn)的特征，優(yōu)先使用時(shí)間短的特征進(jìn)行粗略區(qū)分，再利用時(shí)間長的特征詳細(xì)描述入侵目標(biāo)，既能綜合不同特征描述的優(yōu)點(diǎn)，又能提高特征提取的時(shí)間效率，大大保證了入侵目標(biāo)識別的良好性能。