一諾
智能無人機目標(biāo)跟蹤系統(tǒng)是一個傳感器、飛行器姿態(tài)、目標(biāo)以及環(huán)境不斷變化的動態(tài)系統(tǒng)。而動態(tài)數(shù)據(jù)驅(qū)動系統(tǒng)(DDDAS)概念就是集成各種資源的實時動態(tài)系統(tǒng)。本文詳細(xì)介紹了智能無人機目標(biāo)跟蹤系統(tǒng)的技術(shù)組成,給出了一種基于DDDAS概念的智能無人機目標(biāo)跟蹤系統(tǒng)設(shè)計框架。
移動目標(biāo)的自動識別與跟蹤技術(shù)是無人機自主進(jìn)行環(huán)境感知以及實現(xiàn)自主指揮控制的基礎(chǔ)。通常,無人機通過搭載傳感器設(shè)備或者借助地面部署的傳感器設(shè)備對探測區(qū)域環(huán)境進(jìn)行數(shù)據(jù)采集,機載計算平臺通過對目標(biāo)區(qū)域的數(shù)據(jù)信息進(jìn)行融合并分析,然后借助于相關(guān)的視覺算法以識別目標(biāo),并通過目標(biāo)軌跡預(yù)測算法不間斷地跟蹤目標(biāo),為后續(xù)的任務(wù)提供信息。顯然,提升目標(biāo)識別和跟蹤技術(shù)的自主性與穩(wěn)定性,對于保障無人飛行器完成任務(wù)的精準(zhǔn)度以及自身存活率都至關(guān)重要。目前,目標(biāo)識別與跟蹤技術(shù)已廣泛用于美軍無人機中。
美軍“捕食者”無人機(左)和“全球鷹”無人機(右)。
無人機實施目標(biāo)識別跟蹤任務(wù)從系統(tǒng)角度出發(fā)可以分為設(shè)備層、數(shù)據(jù)層、信息層和指控層四個層面。其中,設(shè)備層是指無人機集成系統(tǒng)的所有設(shè)備,包含傳感器系統(tǒng)、計算處理系統(tǒng)、飛控系統(tǒng)以及其他一些平臺;數(shù)據(jù)層包含對傳感器采集的數(shù)據(jù)進(jìn)行轉(zhuǎn)換/存儲、融合等預(yù)處理操作;信息層是指通過一定的算法對多源異構(gòu)數(shù)據(jù)進(jìn)行分析和理解,從時間、空間等方面與目標(biāo)進(jìn)行關(guān)聯(lián);指控層則是指基于目標(biāo)識別信息,對設(shè)備層進(jìn)行控制使其不間斷的跟蹤目標(biāo)。由于地面目標(biāo)以及飛行器自身始終處于不斷移動過程中,因此用于識別的傳感器系統(tǒng)以及飛行器飛控系統(tǒng)需要不斷調(diào)整觀測方位以提高跟蹤的精度。當(dāng)前,超光譜成像技術(shù)被用來提高目標(biāo)跟蹤的精度,致使數(shù)據(jù)總量大幅提升,帶來數(shù)據(jù)傳輸、存儲的時間消耗增加,跟蹤應(yīng)用模型則需要花費更多的時間來對目標(biāo)的運動軌跡進(jìn)行預(yù)測,往往會導(dǎo)致圖像的跳動、模糊或者目標(biāo)丟失等問題。
動態(tài)數(shù)據(jù)驅(qū)動應(yīng)用系統(tǒng)(DDDAS)概念的出現(xiàn)使得傳感器平臺與計算處理平臺的集成得以實現(xiàn)。DDDAS創(chuàng)新了一種新的模式,即通過動態(tài)回路將測量數(shù)據(jù)應(yīng)用于仿真模擬的同時控制應(yīng)用系統(tǒng)設(shè)備執(zhí)行數(shù)據(jù)的測量。換句話說,傳感器被安排在目標(biāo)區(qū)域執(zhí)行偵察任務(wù)并且傳感器的姿態(tài)會跟隨飛行器和目標(biāo)的位置變化而變化。通常情況下,傳感器感知外部環(huán)境數(shù)據(jù),然后經(jīng)過數(shù)據(jù)預(yù)處理后,進(jìn)行信息融合,以得到當(dāng)前目標(biāo)的狀態(tài)信息。然后,控制平臺按照內(nèi)置的策略數(shù)據(jù)庫的內(nèi)容通過內(nèi)置的算法對資源進(jìn)行管配和任務(wù)規(guī)劃,因此,無人機目標(biāo)跟蹤系統(tǒng)適用于DDDAS框架。一個智能化的跟蹤系統(tǒng)是由自動目標(biāo)識別系統(tǒng)(ATR)、目標(biāo)的軌跡預(yù)測模型以及聯(lián)合觀測與計算的智能無人機控制算法組成。
(上)智能無人機目標(biāo)跟蹤體系框架。
(中)一般DDDAS框架圖。
(下) ATR系統(tǒng)組成。
無人機中的自動目標(biāo)識別(ATR)系統(tǒng)是無人機光學(xué)系統(tǒng)的核心部分,為無人機實現(xiàn)目標(biāo)探測、偵察監(jiān)視提供了有力支持。ATR技術(shù)的水平很大程度決定了無人機的智能水平。當(dāng)前無人機自動目標(biāo)識別系統(tǒng)主要由信息采集設(shè)備、信息存儲設(shè)備和信息處理機組成。
ATR系統(tǒng)的信息采集設(shè)備主要是光學(xué)圖像采集設(shè)備(如高頻成像設(shè)備、紅外成像設(shè)備等)實現(xiàn)對目標(biāo)圖像的采集。ATR核心部分主要是圖像識別算法,它通過對圖像中物體提取的特征與待識別目標(biāo)的特征進(jìn)行匹配來檢測出目標(biāo)并進(jìn)行跟蹤。常用的目標(biāo)識別方法有以下幾種:
(1)經(jīng)典的統(tǒng)計模式識別方法
該方法主要是利用目標(biāo)特性的統(tǒng)計分布,依靠目標(biāo)識別系統(tǒng)的大量訓(xùn)練和基于模式空間距離度量的特征匹配分類技術(shù),可在較窄的場景定義域內(nèi)獲得較有效的識別。該方法是早期使用的方法,僅在很窄的場景定義域內(nèi),且在目標(biāo)圖像和周圍背景變化不大的情況下才比較有效,難以解決姿態(tài)變化、目標(biāo)污損變模糊、目標(biāo)部分被遮蔽等問題。
(2)基于知識的自動目標(biāo)識別方法,
20世紀(jì)70年代末,人工智能專家系統(tǒng)開始應(yīng)用到ATR的研究,形成了基于知識的ATR,即知識基(Knowledge Based,KB)系統(tǒng)?;谥R的算法在一定程度上克服了經(jīng)典統(tǒng)計模式識別法的局限性和缺陷,該方法目前存在的主要問題是可供利用的知識源的辯識和知識的驗證很困難,同時難以在適應(yīng)新場景中有效地組織知識。
(3)基于模型的自動目標(biāo)識別方法
模型基(Model Based,MB)的方法首先是將復(fù)雜的目標(biāo)識別的樣本空間模型化,這些模型提供了一種描述樣本空間各種重要變化特性的簡便途徑。典型的MB系統(tǒng)抽取一定的目標(biāo)特性,并利用這些特性和一些輔助知識來標(biāo)記目標(biāo)的模型參數(shù),從而選擇一些初始假設(shè),實現(xiàn)目標(biāo)特性的預(yù)測。MB系統(tǒng)的最終目標(biāo)是匹配實際的特性和預(yù)測后面的特性,若標(biāo)記準(zhǔn)確,匹配過程則會成功和有效。該方法目前尚限于實驗室研究階段。
(4)基于多傳感器信息融合的自動目標(biāo)識別方法
單一傳感器的導(dǎo)引頭在有光、電干擾的復(fù)雜環(huán)境中,目標(biāo)搜索和知識識別的能力、抗干擾能力及其工作可靠性都將降低。20世紀(jì)80年代興起的基于多傳感器信息融合ATR方法克服了單一傳感器系統(tǒng)的缺陷,每個傳感器將數(shù)據(jù)饋入各自的信號處理機,先分別進(jìn)行目標(biāo)檢測,得出有無目標(biāo)的判決以及目標(biāo)的位置信息或運動軌跡,然后將這些信息送入數(shù)據(jù)融合單元,對目標(biāo)位置或運動軌跡進(jìn)行關(guān)聯(lián)后再做進(jìn)一步的判決。
(左)四旋翼無人機自動跟蹤系統(tǒng)。
(右)基于DDDAS的智能無人機目標(biāo)跟蹤系統(tǒng)框架。
(5)基于統(tǒng)計學(xué)習(xí)的自動目標(biāo)識別方法
基于統(tǒng)計學(xué)習(xí)的方法是通過對大量目標(biāo)樣本和非目標(biāo)樣本的學(xué)習(xí)得到一系列的統(tǒng)計特征,然后根據(jù)這些特征構(gòu)建相應(yīng)的模型,用于檢測和識別目標(biāo)。與基于知識特征方法最大的不同就在于構(gòu)建模型的參數(shù)是從大量樣本中提取的統(tǒng)計特征,能夠更好地反映樣本間的本質(zhì)區(qū)別,具有更好的魯棒性。當(dāng)前,ATR的核心技術(shù)聚焦在如何有效的提取和選取識別目標(biāo)特征上,而基于深度學(xué)習(xí)的統(tǒng)計學(xué)習(xí)自動識別法因為算法的高效性以及魯棒性正在逐漸成為主流。
在復(fù)雜的環(huán)境下辨別出目標(biāo)之后,下一步就是對目標(biāo)的跟蹤監(jiān)視。智能無人機的地面目標(biāo)跟蹤系統(tǒng)分為兩個部分:第一部分由視覺信息處理和攝像機姿態(tài)控制器組成,控制器根據(jù)目標(biāo)圖像等信息調(diào)整攝像機的姿態(tài)使目標(biāo)始終位于攝像機的視野范圍內(nèi),實現(xiàn)視覺跟蹤;第二部分由無人機軌跡規(guī)劃和機載飛行控制器組成,即首先根據(jù)自身的飛行位姿和攝像機的姿態(tài)等信息估計目標(biāo)的位置,然后規(guī)劃飛行軌跡,最后控制無人機跟蹤該軌跡實現(xiàn)目標(biāo)跟蹤飛行。
目標(biāo)跟蹤的目的就是通過對攝像頭獲得的圖像序列進(jìn)行分析,計算出目標(biāo)在每一幀圖像上的二維位置坐標(biāo),并根據(jù)不同的特征值,將圖像序列中不同幀內(nèi)同一運動目標(biāo)關(guān)聯(lián)起來,得到各個運動目標(biāo)完整的運動軌跡,即在連續(xù)的視頻序列中建立運動目標(biāo)的對應(yīng)關(guān)系。簡單來說,就是在下一幅圖像中找到目標(biāo)的確切位置。這就涉及到攝像機姿態(tài)控制以提前預(yù)測目標(biāo)在下一時刻的運動軌跡。目前,目標(biāo)跟蹤方法大體上可以根據(jù)任務(wù)目標(biāo)的不同分為基于區(qū)域的跟蹤、基于輪廓的跟蹤、基于特征的跟蹤和基于運動特性的跟蹤。
(1)基于區(qū)域的跟蹤
依靠目標(biāo)區(qū)域的信息,如顏色、紋理或基于運動的屬性進(jìn)行跟蹤?;趨^(qū)域的跟蹤方法使用運動估計或分割的技術(shù),對目標(biāo)的跟蹤基于在不同時刻相關(guān)聯(lián)的目標(biāo)區(qū)域的對應(yīng)。這種操作通常非常耗時,需要對整個區(qū)域進(jìn)行點對點的相關(guān)計算,可以利用參數(shù)化的運動模型進(jìn)行加速,使用較小的參數(shù)集合來對目標(biāo)運動進(jìn)行描述,利用整個區(qū)域提供的信息而增加魯棒性?;趨^(qū)域的跟蹤法適用于剛體和非剛體運動,通過結(jié)合多種信息一般可得到較好的跟蹤效果。
(2)基于輪廓的跟蹤
基于輪廓的跟蹤思想是利用物體的邊界輪廓作為模板,在后繼幀的二值邊緣圖像中跟蹤目標(biāo)輪廓,并且該輪廓能夠自動連續(xù)地更新。相對于基于區(qū)域的跟蹤方法,輪廓跟蹤方法在計算量較小的情況下基本上可以達(dá)到較好的匹配效果,如果開始能夠合理地分開每個運動目標(biāo)并實現(xiàn)輪廓初始化的話,既使在有部分遮擋存在的情況下也能連續(xù)地進(jìn)行跟蹤,但是這種方法的一個主要問題是易受到噪聲的干擾,如果背景中出現(xiàn)和目標(biāo)的統(tǒng)計特性相近的區(qū)域,那么跟蹤就會失敗,并且目標(biāo)外輪廓的初始化也是比較困難的。
(3)基于特征的跟蹤
這種方法包括特征的提取和特征的匹配兩個過程,一般可供提取的特征包括角點、線段、紋理、質(zhì)心、小面或局部能量等。在基于特征的目標(biāo)跟蹤中,圖像特征的標(biāo)準(zhǔn)化和參考點的配準(zhǔn)對準(zhǔn)是很重要的,可能需要將圖像轉(zhuǎn)換到另一個空間中以處理亮度、大小和定向的變化。提取一個或一個以上的特征并根據(jù)這些特征對感興趣的目標(biāo)進(jìn)行模型化。其優(yōu)點是,即使場景中出現(xiàn)部分遮擋,只要有一些特征點可見,仍可以保持對運動目標(biāo)的跟蹤。采用基于特征的方法計算量明顯小于基于區(qū)域和邊緣輪廓的方法,較適用于實時系統(tǒng)中。但在跟蹤過程中,存在遮擋和噪聲等原因造成的特征消失或出現(xiàn)虛假特征以及消失的特征再現(xiàn)等問題。另外,該方法需要進(jìn)行特征聚類,從眾多的特征中分析出哪些是屬于同一個目標(biāo)的。因此選取出具有代表性的特征點也是這個算法的主要困難。
(4)基于運動特性的跟蹤
基于運動特性的目標(biāo)跟蹤算法復(fù)雜度比較低。一般可分為兩種:一種是依據(jù)目標(biāo)運動的連續(xù)性進(jìn)行關(guān)聯(lián)的算法,被用在多種跟蹤算法相融合的場合,只需要較少的運算就可以大大提高跟蹤的準(zhǔn)確性另外一種是運動預(yù)測跟蹤算法,可以估計目標(biāo)在下一時刻可能的位置,然后以這個估計的位置為中心,再擴展到一定的區(qū)域內(nèi)進(jìn)行目標(biāo)搜索,由于縮小了目標(biāo)的搜索范圍,從而提高了目標(biāo)的跟蹤速度。通過預(yù)測目標(biāo)位置來進(jìn)行跟蹤最大的特點是一方面可以減小搜索范圍,另一方面又可以在一定程度上解決了遮擋問題。在較多的場合中經(jīng)常使用濾波來實現(xiàn)目標(biāo)短暫丟失情況下的精確預(yù)測和縮小搜索范圍?;谶\動特性跟蹤方法的缺點是在處理非剛性運動或非剛性目標(biāo)時存在一定困難。
基于DDDAS的目標(biāo)跟蹤系統(tǒng)框架圖。
根據(jù)不同的目標(biāo)跟蹤算法預(yù)測出目標(biāo)的可能軌跡之后,需要調(diào)整飛行器的飛行狀態(tài)以及攝像頭的探測姿態(tài),該部分涉及多體系統(tǒng)的姿態(tài)控制,需要仔細(xì)設(shè)計智能無人機的目標(biāo)跟蹤控制系統(tǒng)。
無人機的觀測與其運動狀態(tài)(位置和方向)密切相關(guān)。但是,無人機只能在嚴(yán)格的物理約束條件下通過連續(xù)航跡調(diào)節(jié)自身位置、速度和方向。傳感器視野約束和平臺運動約束給信息處理和平臺控制帶來新的挑戰(zhàn),由此帶來兩個關(guān)鍵問題:(1)如何持續(xù)的維持對目標(biāo)狀態(tài)估計;(2)如何實時調(diào)整傳感器平臺位置保持對目標(biāo)覆蓋。目標(biāo)狀態(tài)估計要求基于觀測平臺自身的完全狀態(tài)(位置和速度),以及被觀測目標(biāo)的測量信息(相對位置、距離等),確定目標(biāo)對象在全局坐標(biāo)下的位置、速度和方向等信息。目標(biāo)狀態(tài)估計的意義在于:一方面,準(zhǔn)確估計目標(biāo)狀態(tài)是跟蹤任務(wù)的最終目的;另一方面,無人機運動控制模塊需要持續(xù)的目標(biāo)狀態(tài)估計以作為目標(biāo)函數(shù)。
觀測路徑指傳感器所在運動平臺的航跡。觀測路徑和傳感器觀測方向確定了傳感器觀測的覆蓋區(qū)域。傳感器觀測路徑優(yōu)化的意義在于目標(biāo)狀態(tài)估計性能依賴于特定的傳感器觀測路徑。目標(biāo)運動估計結(jié)果的準(zhǔn)確性與特定觀測路徑構(gòu)成因果關(guān)系,部分航跡可以獲得更好的性能。因此,在基于視覺的無人機目標(biāo)跟蹤中,一種思路是通過產(chǎn)生近似最優(yōu)的觀測路徑提高基于單目視覺的目標(biāo)狀態(tài)估計,再以提升的目標(biāo)狀態(tài)估計生成新的觀測路徑,最終實現(xiàn)對目標(biāo)的有效跟蹤。
一般的,設(shè)計人員會從三個方面設(shè)計智能無人機控制系統(tǒng):首先根據(jù)目標(biāo)的位置規(guī)劃無人機的理想飛行軌跡;然后設(shè)計飛行控制器使無人機跟蹤該軌跡,實現(xiàn)跟蹤目標(biāo)飛行;最后給出一種攝像機姿態(tài)控制方法使得跟蹤過程中目標(biāo)始終位于圖像中心,實現(xiàn)視覺跟蹤。因此,整個智能無人機基于DDDAS的目標(biāo)跟蹤系統(tǒng)框架就顯而易見了:機載攝像機不斷得到目標(biāo)區(qū)域的圖像,機載處理平臺根據(jù)視覺處理算法識別目標(biāo)并鎖定目標(biāo),之后根據(jù)目標(biāo)軌跡判斷目標(biāo)下一刻的位置,然后調(diào)整飛行器的姿態(tài)以及攝像機的姿態(tài)已保證目標(biāo)的不間斷跟蹤。需要指出的是整個過程是一個數(shù)據(jù)不斷注入計算模型的動態(tài)過程。
基于DDDAS的智能無人機目標(biāo)跟蹤系統(tǒng)要求真實的評估監(jiān)測區(qū)域所處的背景、環(huán)境以及情形。本文從原理上探討了DDDAS與無人機目標(biāo)跟蹤系統(tǒng)相互結(jié)合的可能性。然而,當(dāng)前DDDAS在目標(biāo)跟蹤系統(tǒng)上的應(yīng)用還主要受到以下的幾個限制:
(1)DDDAS表述了一種復(fù)雜的環(huán)境下各種資源之間相互協(xié)作集成的概念,這種復(fù)雜性涉及大量的數(shù)據(jù)的傳遞與計算,在一定程度上增加了計算平臺的處理耗時;
(2)DDDAS系統(tǒng)對傳感器精度以及控制算法模型的準(zhǔn)確度有較高的要求以幫助實時預(yù)測目標(biāo)的行動軌跡;
(3)DDDAS系統(tǒng)對于動態(tài)過程中大量數(shù)據(jù)不斷注入計算模型可能出現(xiàn)的算法不穩(wěn)定提出了要求。
由此可見,基于DDDAS的目標(biāo)跟蹤系統(tǒng)發(fā)展趨勢為:(1)高性能的機載計算處理平臺的開發(fā),已實現(xiàn)實時快速的計算;(2)多模塊傳感器數(shù)據(jù)融合技術(shù)的發(fā)展以實現(xiàn)目標(biāo)數(shù)據(jù)的準(zhǔn)確輸入;(3)控制算法模型精度的提高,以提高目標(biāo)預(yù)測精度;(4)計算模型穩(wěn)定性的提高,以抵御數(shù)據(jù)流注入帶來的算法不穩(wěn)定問題。因此,隨著大數(shù)據(jù)、云計算以及高性能計算技術(shù)的出現(xiàn),DDDAS作為一種實時快速準(zhǔn)確的方法會更加滿足智能化無人機目標(biāo)跟蹤系統(tǒng)的需求。 ■