房建武,李旭陽,杜 凱,薛建儒
(1.長安大學(xué)運(yùn)輸工程學(xué)院,西安 710061;2.長安大學(xué)電子與控制工程學(xué)院,西安 710061;3.西安交通大學(xué)人工智能學(xué)院,西安 710061)
利用無人機(jī)對地面目標(biāo)進(jìn)行觀測是當(dāng)前無人系統(tǒng)技術(shù)研究領(lǐng)域的重要任務(wù)。目標(biāo)的軌跡預(yù)測可以為目標(biāo)的運(yùn)動趨勢以及潛在碰撞風(fēng)險(xiǎn)提供線索,在軍事、農(nóng)業(yè)、交通等領(lǐng)域應(yīng)用廣泛。相較于車輛等地面設(shè)備,無人機(jī)在條件允許的情況下可以采集更大視野的復(fù)雜環(huán)境場景數(shù)據(jù)。由于無人機(jī)體積小、機(jī)動性高,增強(qiáng)了執(zhí)行任務(wù)的能力。同時(shí),由于無人機(jī)視角相對穩(wěn)定、視野內(nèi)目標(biāo)尺度變化小,可高精度提取動靜目標(biāo)軌跡數(shù)據(jù),進(jìn)而對目標(biāo)的未來軌跡做出預(yù)測。現(xiàn)有基于無人機(jī)視角的軌跡預(yù)測方法大多依賴單一無人機(jī)的固定視角,所觀測場景存在幅寬局限性,軌跡數(shù)據(jù)缺乏長時(shí)連續(xù)性。同時(shí)建筑物和大尺度障礙物的視野干擾因素制約著大范圍、精準(zhǔn)的地面目標(biāo)軌跡預(yù)測技術(shù)的發(fā)展。
近年來,基于無人機(jī)集群技術(shù)對目標(biāo)進(jìn)行聯(lián)合監(jiān)測的研究取得了一定的進(jìn)展,研究問題主要集中于多無人機(jī)對觀測目標(biāo)的跟蹤上。在目標(biāo)軌跡跟蹤方面,一般根據(jù)目標(biāo)歷史數(shù)據(jù),估計(jì)下一個(gè)時(shí)刻的目標(biāo)位置,進(jìn)而調(diào)整無人機(jī)集群策略。一些方法通過快速更新歷史數(shù)據(jù)、逐步預(yù)測的形式,提高了跟蹤的精確度和實(shí)時(shí)性。在長期觀測和追蹤時(shí),考慮動態(tài)避障所帶來的短時(shí)間目標(biāo)丟失問題,跟蹤器應(yīng)具有自檢測能力,能夠通過檢測器重新檢測到再次出現(xiàn)的目標(biāo),并繼續(xù)完成任務(wù)。此外,人工勢場法為多無人機(jī)下的目標(biāo)跟蹤提供了搜索范圍限制,能及時(shí)調(diào)整無人機(jī)姿態(tài)和飛行策略,從而實(shí)現(xiàn)長時(shí)間精準(zhǔn)跟蹤。例如,在人工勢場法的基礎(chǔ)上,基于模糊控制決策對動態(tài)目標(biāo)進(jìn)行預(yù)測跟蹤,通過設(shè)計(jì)無人機(jī)速度跟蹤控制器,依據(jù)目標(biāo)軌跡實(shí)現(xiàn)無人機(jī)集群的速度控制,完成持續(xù)目標(biāo)跟蹤。此外,各類通信設(shè)施的發(fā)展,提升了無人機(jī)的靈活性及環(huán)境適用性,從而為多無人機(jī)的集群策略提供了更多的可能性。地面目標(biāo)和多架無人機(jī)可以通過配備超寬帶(Ultra Wide Band,UWB)模塊,測量無人機(jī)間的相對距離,并將各無人機(jī)的定位信息發(fā)送至服務(wù)器,服務(wù)器依據(jù)跟蹤目標(biāo)的歷史數(shù)據(jù)對其未來軌跡做出估計(jì),并將目標(biāo)下一時(shí)刻的定位信息返回至各無人機(jī),使得無人機(jī)群可以形成固定隊(duì)列,如正多邊形,并將目標(biāo)對象置于多邊形的正中心。考慮到現(xiàn)實(shí)環(huán)境中存在大尺度障礙物或者大型建筑,在采用超寬帶模塊等通信技術(shù)的基礎(chǔ)上,文獻(xiàn)[5]將無人機(jī)對目標(biāo)監(jiān)測到的測量數(shù)據(jù)分為視距測量和非視距測量,通過測量來估計(jì)目標(biāo)位置,并對目標(biāo)未來短時(shí)軌跡做出預(yù)測,進(jìn)而提升跟蹤性能,此強(qiáng)化學(xué)習(xí)方法可使多無人機(jī)在不同環(huán)境下學(xué)習(xí)到最佳的集群策略。
上述研究成果促進(jìn)了無人機(jī)集群的發(fā)展,但沒有對環(huán)境的復(fù)雜性做出更深的探討,尤其是在對于目標(biāo)對象的穩(wěn)定軌跡預(yù)測以及未來長時(shí)間的位置估計(jì)上研究不足。為了更好地探討群體視角下的軌跡預(yù)測問題,本文通過多架無人機(jī)的不同觀測視角確定目標(biāo)位置,并對目標(biāo)未來軌跡做出長時(shí)預(yù)測。受無人機(jī)集群技術(shù)發(fā)展的啟發(fā),本文將討論無人機(jī)集群技術(shù)在軌跡預(yù)測領(lǐng)域面臨的挑戰(zhàn)和解決思路。
單無人機(jī)視角下的運(yùn)動目標(biāo)觀測,一般存在以下幾點(diǎn)問題:
1)受場景中障礙物影響嚴(yán)重。在無人機(jī)采集目標(biāo)軌跡數(shù)據(jù)集時(shí),一般將拍攝的圖像按幀抽取,并以一定的間隔提取參與者的坐標(biāo)信息。為了保證軌跡的連貫性,要求能夠持續(xù)地觀測參與者的活動,使得單一視角在執(zhí)行上述任務(wù)時(shí)需要選取足夠空曠的場景;而在有障礙物覆蓋的空域內(nèi),如樹木遮蔽,監(jiān)測性能受影響嚴(yán)重。由此,在類似場景下采集數(shù)據(jù)時(shí),單一視角存在兩個(gè)局限性:
a)受到地面建筑物和其他障礙物的影響,在城市等建筑高密度區(qū)域使用受限,對觀測行人這類目標(biāo),很容易受到遮擋干擾;
b)為保證數(shù)據(jù)質(zhì)量,往往需要降低無人機(jī)高度,這會減小拍攝范圍,不能長遠(yuǎn)地追蹤某個(gè)目標(biāo)。如圖1(a)所示,對于行人對象,右側(cè)無人機(jī)在單獨(dú)拍攝時(shí),會受到樹木遮擋嚴(yán)重影響;而對于無人機(jī)集群而言,左側(cè)的無人機(jī)可以很好地補(bǔ)充左側(cè)視野的盲區(qū),如圖1(b)所示。
(a) 存在障礙物遮擋示意圖
(b) 交叉視角觀測目標(biāo)示意圖圖1 障礙物存在遮擋及交叉視角觀測目標(biāo)示意圖Fig.1 Schematic diagram of obstacle presence with occlusion in the views of UAVs, and the observation by UAVs with cross views
2)對目標(biāo)位置的確定受視角傾斜及地面起伏影響較大。在無人機(jī)觀測視角與水平線夾角(定義為觀測夾角)較大時(shí)(垂直地面觀測具有最大的觀測夾角),由于圖像尺寸和縱深畸變,對于視野邊緣的目標(biāo)位置識別能力差;同時(shí),同類目標(biāo)中的不同個(gè)體,由于視角限制只能觀測到目標(biāo)局部,如行人頭部,不利于區(qū)分不同個(gè)體。當(dāng)觀測夾角較小時(shí)(與地面平行具有最小的觀測夾角),受環(huán)境變化和無人機(jī)動作調(diào)整等因素影響,會降低拍攝的目標(biāo)清晰度,或?qū)е履繕?biāo)尺寸在短時(shí)間內(nèi)急劇變化,從而影響對目標(biāo)的觀測。而當(dāng)不同無人機(jī)處于不同觀測夾角時(shí),如圖2所示,可以分別從多個(gè)側(cè)面對目標(biāo)進(jìn)行觀測,通過它們視野的交叉可以更精準(zhǔn)地確定目標(biāo)位置。
圖2 無人機(jī)的不同觀測夾角示意圖及觀測畫面案例,其中右側(cè)圖來自于文獻(xiàn)[10]Fig.2 Schematic diagram and typical observed examples of different observation perspectives, with image on the right adapted from reference NO.10
3)對目標(biāo)丟失情況的處理效果差。在對目標(biāo)進(jìn)行軌跡預(yù)測時(shí),需要控制無人機(jī)處于較好位置,以獲取清晰圖像。然而,由于環(huán)境復(fù)雜多變,在無人機(jī)規(guī)避障礙物時(shí),有可能丟失目標(biāo),且當(dāng)目標(biāo)有意識地?cái)[脫無人機(jī)時(shí),目標(biāo)丟失的概率急劇增大。在此情形下,采用無人機(jī)集群可以擴(kuò)大整體的觀測范圍,在目標(biāo)被遮擋時(shí)執(zhí)行不同的策略以降低風(fēng)險(xiǎn)。
相較于單無人機(jī)視角下的軌跡預(yù)測,在無人機(jī)群體視角下進(jìn)行軌跡預(yù)測時(shí),除了對移動目標(biāo)的軌跡預(yù)測外,還需要關(guān)注無人機(jī)集群的協(xié)同控制,以保持整個(gè)無人機(jī)集群的穩(wěn)定,規(guī)避碰撞等安全問題。近十年內(nèi),協(xié)同導(dǎo)航技術(shù)得到了快速發(fā)展,得益于多無人機(jī)定位精度的提高和多無人機(jī)編隊(duì)穩(wěn)定性的提升,無人機(jī)集群的應(yīng)用范圍得到了極大擴(kuò)展。無人機(jī)群在執(zhí)行觀測任務(wù)時(shí),各無人機(jī)處于不同的視角,能夠獲取的目標(biāo)特征也有所不同。因此,圖3所示為無人機(jī)群體視角下軌跡預(yù)測所面臨的問題和挑戰(zhàn),其中交叉定位基本原理中坐標(biāo)系的說明見2.1節(jié)。以下將問題進(jìn)一步細(xì)分為五點(diǎn)進(jìn)行闡述:1)交叉視角下目標(biāo)定位問題;2)多視角下目標(biāo)再關(guān)聯(lián)問題;3)無人機(jī)集群自身的軌跡預(yù)測問題;4)面向軌跡預(yù)測的集群感知問題;5)目標(biāo)軌跡預(yù)測問題。
傳統(tǒng)的單無人機(jī)一般結(jié)合角度測量和測距來獲取目標(biāo)的位置信息,而多無人機(jī)在觀測時(shí)則形成了一個(gè)基于集群的協(xié)同觀測系統(tǒng),具有多傳輸和多集合的特點(diǎn)。將各無人機(jī)作為不同的收發(fā)單元,由于收發(fā)單元的空間幾何結(jié)構(gòu),目標(biāo)坐標(biāo)的確定可以融合更多信息。如圖3所示,由無人機(jī)航拍圖像中的坐標(biāo)到具體目標(biāo)的坐標(biāo)之間,往往要經(jīng)過若干個(gè)坐標(biāo)系的轉(zhuǎn)換和輔助,例如,利用全球定位系統(tǒng)(Glo-bal Positioning System,GPS)進(jìn)行目標(biāo)定位時(shí),由緯度()、經(jīng)度()和距離地面高度()表征目標(biāo)空間位置;同時(shí),過渡到無人機(jī)機(jī)載相機(jī)坐標(biāo)系(,,),軸為視軸線方向,形成右手坐標(biāo)系法則;再過渡到圖像坐標(biāo)系(,,),其中圖像坐標(biāo)系原點(diǎn)為拍攝圖像左上方,、分別與、平行。在無人機(jī)群執(zhí)行觀測任務(wù)時(shí),由于其空間分布比較廣泛,各個(gè)無人機(jī)對目標(biāo)的觀測距離和視角皆不相同,獲取的圖像在尺寸和清晰度上也有區(qū)分。而由于集群協(xié)作的復(fù)雜性和目標(biāo)軌跡預(yù)測的實(shí)時(shí)性要求,為無人機(jī)集群執(zhí)行相應(yīng)任務(wù)帶來了挑戰(zhàn)。
圖3 多無人機(jī)面臨的挑戰(zhàn)問題Fig.3 Challenges faced by multi-UAVs
目前,關(guān)于無人機(jī)群協(xié)同觀測的研究并不多。從整體的地面目標(biāo)定位系統(tǒng)出發(fā),通過機(jī)載的光電測量系統(tǒng)可以實(shí)現(xiàn)基礎(chǔ)的定位功能,而進(jìn)一步的目標(biāo)定位則取決于傳感器的分辨率以及數(shù)據(jù)鏈的延遲和坐標(biāo)系變換等其他因素,在此基礎(chǔ)上,構(gòu)建多無人機(jī)偵察平臺對目標(biāo)進(jìn)行定位。該方法以及一些傳統(tǒng)方法依賴于光電測量系統(tǒng)獲取光測距信息,提高了無人機(jī)集群的整體成本。而隨著深度學(xué)習(xí)等技術(shù)的發(fā)展,可以通過基于深度學(xué)習(xí)的檢測網(wǎng)絡(luò)對無人機(jī)航拍的圖像進(jìn)行數(shù)據(jù)提取,獲取圖像坐標(biāo)系下的目標(biāo)位置信息,之后再進(jìn)行坐標(biāo)系轉(zhuǎn)換,從而能夠在不依賴光電測量系統(tǒng)的基礎(chǔ)上對目標(biāo)進(jìn)行定位。上述方法在進(jìn)行目標(biāo)坐標(biāo)系轉(zhuǎn)換時(shí),沒有進(jìn)一步探討對環(huán)境的約束。從環(huán)境的復(fù)雜程度出發(fā),在城市等多約束條件下,可以基于分布式無人機(jī)集群策略,結(jié)合多個(gè)優(yōu)化目標(biāo)的不同重要性,能夠獲得同時(shí)滿足目標(biāo)優(yōu)化和重要性等級要求的最佳無人機(jī)群路徑,從而更好地獲取目標(biāo)位置信息。此外,從檢測和定位算法出發(fā),將多機(jī)聯(lián)合最大似然估計(jì)算法應(yīng)用于分布式無人機(jī)集群協(xié)同檢測,可以降低定位的誤差。
無人機(jī)群在完成對目標(biāo)的定位之后,需要一定的評估方法對定位精準(zhǔn)度進(jìn)行評價(jià)。使用不同的設(shè)備組合進(jìn)行目標(biāo)定位時(shí),評估方法存在差異。無人機(jī)觀測對象的不同和場景的變化也會產(chǎn)生不同的評估指標(biāo)要求。因此,需要明確技術(shù)指標(biāo)要求,規(guī)范測試方法,使得無人機(jī)群在執(zhí)行不同的觀測任務(wù)時(shí),對目標(biāo)的定位具有更好的適用性。
當(dāng)目標(biāo)處于無人機(jī)群共同視野內(nèi)時(shí),可以通過交叉視角定位來鎖定目標(biāo);而當(dāng)各無人機(jī)的視野沒有重疊時(shí),判斷目標(biāo)從一個(gè)視野轉(zhuǎn)到另一個(gè)視野內(nèi),就需要應(yīng)用目標(biāo)檢測和目標(biāo)再關(guān)聯(lián)技術(shù)進(jìn)行同一目標(biāo)的重識別。隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展,行人和車輛再關(guān)聯(lián)問題在領(lǐng)域內(nèi)取得了優(yōu)異的成果。然而,當(dāng)無人機(jī)集群在野外場景下執(zhí)行任務(wù)時(shí),受到視角改變、光照等因素的影響,目標(biāo)前后的差異可能要大于不同目標(biāo)間的差異。在軌跡預(yù)測領(lǐng)域,目標(biāo)再關(guān)聯(lián)技術(shù)主要應(yīng)用于目標(biāo)丟失后的再次定位以及不同相機(jī)內(nèi)的模型遷移。
無人機(jī)集群主要通過通信的方式獲取彼此的實(shí)時(shí)位置,在規(guī)避障礙物或穿越復(fù)雜地形時(shí),集群的隊(duì)形會發(fā)生變化,而在環(huán)境惡劣時(shí),會導(dǎo)致通信能力下降。為了保證集群內(nèi)相對穩(wěn)定,避免部分無人機(jī)脫節(jié),在無人機(jī)群對目標(biāo)進(jìn)行軌跡預(yù)測時(shí),需要對其他無人機(jī)進(jìn)行軌跡預(yù)測,綜合之后做出路徑規(guī)劃。這時(shí)無人機(jī)集群的目標(biāo)觀測任務(wù)需要根據(jù)不同情形,在時(shí)間以及任務(wù)上進(jìn)行自主分配。而在對其他無人機(jī)觀測時(shí),勢必需要調(diào)整觀測視角,以免造成視角有限。此時(shí)需要根據(jù)無人機(jī)的主從關(guān)系進(jìn)行觀測視角層的協(xié)同,確保觀測全面。
無人機(jī)群在執(zhí)行觀測任務(wù)時(shí),往往處于未知的復(fù)雜環(huán)境,并且由于目標(biāo)活動的不確定性,觀測任務(wù)是高度動態(tài)的,即任務(wù)本身由對目標(biāo)和環(huán)境的感知需求而驅(qū)動。隨著集群技術(shù)的發(fā)展,無人機(jī)集群的應(yīng)用場景得到了擴(kuò)展,一些信號和光源缺失的惡劣環(huán)境對集群的感知提出了新的挑戰(zhàn)。視覺和激光雷達(dá)是常用的感知技術(shù)。基于視覺和激光雷達(dá)的環(huán)境感知、自主導(dǎo)航等技術(shù)存在著比較顯著的機(jī)理差異,傳感器的不同是產(chǎn)生差異的直接原因。早先的一些工作考慮了任務(wù)需求和傳感器的要求,對面向感知的多Agent(Perception Oriented Cooperation Agent,POCA)的概念和模型做出了闡述,主要包括多無人機(jī)感知規(guī)劃和調(diào)度Agent,但仍然缺乏能夠?qū)崿F(xiàn)以上功能的可靠機(jī)制。近年來的一些工作主要聚焦于環(huán)境重建、降維等方法,以感知充分的場景信息。無人機(jī)在執(zhí)行任務(wù)時(shí),由于機(jī)載傳感器的限制,獲取的環(huán)境信息以圖像為主,但高維的圖像數(shù)據(jù)不能直接作為環(huán)境狀態(tài)的直接表示,此時(shí),可以提取高維數(shù)據(jù)中的關(guān)鍵特征,實(shí)現(xiàn)數(shù)據(jù)降維,從而從原始的感知信號(圖像等)中學(xué)習(xí)到環(huán)境的狀態(tài)空間表示,通過結(jié)合自編碼結(jié)構(gòu),適應(yīng)更加復(fù)雜的環(huán)境。同樣地,基于降維的方法,可以通過雙目攝像頭實(shí)時(shí)重建環(huán)境外部的3D點(diǎn)云信息,進(jìn)而將3D信息映射到2D平面,提取平面mask,能夠更好地引導(dǎo)無人機(jī)群在特殊情況下(如目標(biāo)丟失、無人機(jī)故障等)進(jìn)行自主著陸。此外,當(dāng)面臨其他的一些特殊情況,如目標(biāo)丟失、無人機(jī)受到阻擋等時(shí),無人機(jī)群通過感知決策機(jī)制能夠識別周圍實(shí)時(shí)的障礙物空間,進(jìn)而設(shè)計(jì)出避讓路徑。
上述方法采用的感知機(jī)制都基于傳感器獲取不同的場景數(shù)據(jù),通過對數(shù)據(jù)做變換處理,以指導(dǎo)集群下一步的移動路徑。然而,不同的環(huán)境對各類傳感器的需求也有所不同,不同傳感器所獲取的數(shù)據(jù)也要做不同的處理。考慮到軌跡預(yù)測任務(wù)的實(shí)時(shí)性要求,如何設(shè)計(jì)無人機(jī)集群的感知機(jī)制既是重點(diǎn)也是難點(diǎn)。
近年來,關(guān)于目標(biāo)軌跡預(yù)測的研究主要集中在行人和車輛目標(biāo)上。受客觀環(huán)境的影響,行人、車輛以及其他交通參與者間的交互關(guān)系建模是軌跡預(yù)測所面臨的重點(diǎn)問題之一。隨著深度學(xué)習(xí)的發(fā)展,各類深度神經(jīng)網(wǎng)絡(luò)方法在軌跡預(yù)測領(lǐng)域取得了長足發(fā)展。長短期記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)和圖卷積網(wǎng)絡(luò)(Graph Convolution Network,GCN)成為軌跡預(yù)測建模的主要模型。
2.5.1 行人軌跡預(yù)測
針對行人軌跡預(yù)測的研究,主要關(guān)注于網(wǎng)絡(luò)設(shè)計(jì)和方法模型兩方面。在網(wǎng)絡(luò)模型的設(shè)計(jì)上,軌跡預(yù)測模型一般將行人歷史軌跡、場景語義信息或兩者結(jié)合作為模型的輸入。在方法模型上,針對行人軌跡的時(shí)序性特征,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networ-ks,RNN)以及其變體LSTM、門控循環(huán)遞歸單元(Gated Recurrent Unit,GRU)在序列學(xué)習(xí)上具有強(qiáng)大的適應(yīng)能力。早先在學(xué)習(xí)行人的社會行為時(shí),基于人群場景中的行人軌跡預(yù)測,一般采用數(shù)據(jù)驅(qū)動的社會交互建模方法,如采用交互關(guān)系優(yōu)化的LSTM網(wǎng)絡(luò)(State Refinement LSTM, SR-LSTM),在考慮臨近(一定半徑范圍內(nèi))行人的影響時(shí),引入了一個(gè)社會感知信息的選擇機(jī)制,以篩選更加有用的信息。而關(guān)于軌跡預(yù)測的合理性,在采用LSTM模型時(shí),可以考慮交互關(guān)系、區(qū)域交叉和場景語義三個(gè)因素對軌跡的影響,并采用多個(gè)池化機(jī)制以引入相應(yīng)的特征信息。此外,行人的潛在目的地對其運(yùn)動路徑選擇產(chǎn)生影響,按照路線類別(Routine Class,RC)對行人軌跡進(jìn)行分類,基于軌跡聚合得到的RC和LSTM模型,能夠分兩個(gè)階段先后預(yù)測目標(biāo)區(qū)域和相對應(yīng)的軌跡。
先前的大部分軌跡預(yù)測研究集中于預(yù)測一條輸出軌跡,由于軌跡預(yù)測的不確定性,多模態(tài)軌跡預(yù)測開始受到廣泛關(guān)注。在此情形下,一些研究采用GAN以展示所有可能的未來軌跡,克服了以往方法只預(yù)測一條軌跡的不足。將序列預(yù)測和GAN進(jìn)行結(jié)合,通過循環(huán)的序列到序列(Sequence to Sequence)模型觀察目標(biāo)過去的軌跡,通過對抗性訓(xùn)練生成多樣化的未來軌跡。但由于GAN不易收斂,當(dāng)生成器和判別器不平衡時(shí),其梯度會消失,且容易受到模型崩潰的影響。考慮到傳統(tǒng)GAN的上述局限性,J.Amirian 等實(shí)現(xiàn)了一個(gè)Info-GAN架構(gòu),基于學(xué)習(xí)數(shù)據(jù)輸入的解耦表示,并引入新的編碼變量作為輸入,通過真實(shí)和合成數(shù)據(jù)集驗(yàn)證,證明了Info-GAN在保持預(yù)測分布的基礎(chǔ)上,可以生成更多樣的樣本,而隨著圖注意力網(wǎng)絡(luò)(Graph Attention Network,GAT)研究的發(fā)展,發(fā)現(xiàn)其能夠更好地模擬行人間的復(fù)雜交互。因此,將GAN與GAT進(jìn)行結(jié)合,通過STI-GAN捕捉行人軌跡的不確定性,生成多模態(tài)樣本,并通過GAT對行人交互進(jìn)行建模,進(jìn)而考慮時(shí)空上的交互信息,顯著提升了軌跡預(yù)測的準(zhǔn)確度。
由于行人交互關(guān)系的復(fù)雜性,除了從時(shí)間上探索行人的運(yùn)動規(guī)律外,還需要考慮空間上的影響關(guān)系。為了更好地模擬行人在時(shí)間和空間兩個(gè)維度上的復(fù)雜交互,很多研究嘗試將時(shí)空圖應(yīng)用于行人軌跡預(yù)測領(lǐng)域。在考慮視覺注意力和軌跡多模態(tài)的基礎(chǔ)上,通過LSTM節(jié)點(diǎn)可以將人與環(huán)境交互的時(shí)空圖轉(zhuǎn)換為特征編碼,并通過全局節(jié)點(diǎn)來整合場景信息,從而獲取豐富的混合特征。先前的大多數(shù)研究往往采用聚合的方法對行人交互進(jìn)行建模,在社會時(shí)空圖卷積神經(jīng)網(wǎng)絡(luò)(Social Spatio-Temporal Graph Convolutional Neural Network,Social-STGCNN)中,則通過圖的方法代替聚合方法,在模型架構(gòu)中采用一個(gè)核函數(shù)將行人間的社交互動嵌入到鄰接矩陣中,繼承了行人軌跡間可以預(yù)期的行為。同時(shí),該模型僅采用20%的訓(xùn)練數(shù)據(jù),便可以超過現(xiàn)有大部分工作的平均位移誤差指標(biāo)。
從軌跡預(yù)測選用的模型來講,現(xiàn)有的大部分工作是基于LSTM模型的,但由于其迭代的訓(xùn)練方式,在對模型訓(xùn)練時(shí)不夠高效。近年來逐漸興起的Transformer模型由于其并行的訓(xùn)練方式,在軌跡預(yù)測研究中表現(xiàn)出良好的性能。STAR是一個(gè)時(shí)空圖Transformer框架,其僅通過注意力機(jī)制對行人交互進(jìn)行建模,并通過在時(shí)間Transformer和空間Transformer之間交錯以捕獲行人間復(fù)雜的時(shí)空交互,STAR在5個(gè)常用的行人軌跡預(yù)測數(shù)據(jù)集中實(shí)現(xiàn)了最先進(jìn)的性能。
2.5.2 車輛軌跡預(yù)測
與RNN應(yīng)用于行人軌跡預(yù)測所衍生的問題相似,在車輛軌跡預(yù)測問題上,許多研究采用LSTM解決RNN導(dǎo)致的梯度消失和梯度爆炸問題。但現(xiàn)有的LSTM模型在密集交通中進(jìn)行長期軌跡預(yù)測時(shí),不能描述不同車輛間的空間相互作用以及相應(yīng)軌跡間的時(shí)間關(guān)系。因此,戴盛哲等提出了基于時(shí)空關(guān)系的改進(jìn)LSTM模型(Spatial-Temporal-LSTM, ST-LSTM)。如圖4所示,一方面將空間交互嵌入到LSTM模型中,另一方面引入兩個(gè)連續(xù)的LSTM層處理梯度消失??紤]到一些特殊情況,如交通擁擠時(shí),處于擁堵中的車輛在相對較短的距離內(nèi),可能存在很多其他車輛,但只有一小部分會對其未來軌跡造成較大影響,因此將具有共享權(quán)重的LSTM對車輛動力學(xué)進(jìn)行編碼,同時(shí)用簡單的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)便可以提取交互特征。對于車輛運(yùn)動軌跡的預(yù)測研究,大部分工作聚焦于對交互關(guān)系進(jìn)行建模,而在車輛軌跡預(yù)測中嵌入駕駛意圖或行駛動機(jī),并通過LSTM開發(fā)預(yù)測網(wǎng)絡(luò),可以實(shí)現(xiàn)軌跡預(yù)測中的行駛區(qū)域上下文推理,并通過軌跡解碼器輸出非線性的軌跡。
圖4 車輛軌跡預(yù)測中的交互關(guān)系建模示意圖Fig.4 Schematic diagram of interaction relation modeling in vehicle trajectory prediction
對于車輛未來軌跡的多模態(tài)性質(zhì),近年來也引起了一定的關(guān)注。由于車輛更易受到場景約束,在不同的道路場景下,網(wǎng)絡(luò)設(shè)計(jì)的關(guān)注點(diǎn)也有所不同。在交叉路口等混合場景下,場景中的參與者交互十分復(fù)雜,對目標(biāo)車輛的軌跡預(yù)測需要充分考慮與其他參與者的交互關(guān)系。而在高速公路、環(huán)島等結(jié)構(gòu)化場景下,則以車輛間的交互為主,此時(shí)應(yīng)該更多地關(guān)注車輛間的超車、換道等行為。
在對行人及車輛的軌跡預(yù)測分析的基礎(chǔ)上,無人機(jī)集群視角下的行人及車輛的軌跡預(yù)測問題涉及目標(biāo)軌跡的跨視角聯(lián)動、運(yùn)動區(qū)域的多視野配準(zhǔn)及融合以及目的地等多視野內(nèi)上下文信息的綜合利用,這些問題都會催生新的理論以及研究方法。
依據(jù)觀測目標(biāo)的差異,群體視角下的軌跡預(yù)測大致可以分為兩類:1)以區(qū)域?yàn)閷?dǎo)向的巡航拍攝視角下的軌跡預(yù)測(無人機(jī)位置穩(wěn)定);2)以目標(biāo)為導(dǎo)向的追蹤拍攝視角下的軌跡預(yù)測(無人機(jī)位置機(jī)動)。
鑒于無人機(jī)集群的視野優(yōu)勢,其可以獲取地面目標(biāo)交互較為豐富的區(qū)域數(shù)據(jù),從而研究更加復(fù)雜的軌跡預(yù)測問題。在進(jìn)行巡航觀測時(shí),無人機(jī)群有如下特點(diǎn):1)無人機(jī)集群速度相對較慢,相機(jī)抖動幅度小,目標(biāo)尺寸變化較??;2)無人機(jī)集群可按照一定隊(duì)形進(jìn)行編隊(duì)飛行,集群內(nèi)的軌跡預(yù)測要求較低。
以行人軌跡預(yù)測為例,無人機(jī)在航拍行人軌跡數(shù)據(jù)時(shí),一般是統(tǒng)計(jì)行人在不同時(shí)間點(diǎn)的、坐標(biāo),以視頻幀ID的間隔表示相距的時(shí)間步長,用不同的ID進(jìn)行編號。為了減少位置標(biāo)注的誤差,要求圖像足夠清晰。對于未受遮擋的行人,可通過交叉定位以獲得更準(zhǔn)確的目標(biāo)位置。而當(dāng)目標(biāo)行人在部分無人機(jī)視野中被遮擋時(shí),可通過目標(biāo)再關(guān)聯(lián)技術(shù),將未受遮擋時(shí)無人機(jī)視野中的目標(biāo)軌跡與先前的軌跡進(jìn)行結(jié)合,以獲取完整的行人軌跡數(shù)據(jù)。
在此情形下,研究的側(cè)重點(diǎn)可以圍繞目標(biāo)再關(guān)聯(lián)問題和交叉定位問題展開。首先,依據(jù)場景特點(diǎn)做宏觀上的無人機(jī)集群路徑規(guī)劃。其次,設(shè)置合適的高度以獲取清晰圖像。當(dāng)行人消失后,對目標(biāo)的丟失程度進(jìn)行判斷,部分受遮擋時(shí),通過交叉定位繼續(xù)鎖定該行人;若行人丟失,則考慮目標(biāo)再關(guān)聯(lián)技術(shù)。無人機(jī)集群在進(jìn)行觀測時(shí),將各無人機(jī)拍攝的圖像按幀抽取并進(jìn)行畫面拼接,可得到集群下的大范圍參與者軌跡圖像。如圖5所示,在各無人機(jī)視野緊密貼合的理想情況下,通過圖像拼接技術(shù),集群能夠獲得更大的觀測視野。但實(shí)際中,各無人機(jī)的觀測視野會有或多或少的重疊,且視野重疊部分的形狀也會隨時(shí)發(fā)生改變。圖6所示為簡化了的無人機(jī)拍攝圖像重疊部分示意圖,通過將重疊部分作為錨點(diǎn),可以校正并匹配各無人機(jī)視野中目標(biāo)的相對位置,同時(shí)交叉視野中的目標(biāo)位置會更加精準(zhǔn)。當(dāng)行人消失在重合區(qū)域時(shí),其他無人機(jī)可以繼續(xù)觀測;當(dāng)行人消失在非重疊區(qū)域時(shí),該無人機(jī)需要通過再關(guān)聯(lián)算法保存其特征,通過目標(biāo)自檢測算法進(jìn)行目標(biāo)再現(xiàn)時(shí)的捕捉和識別。
圖5 無人機(jī)群采集的圖像Fig.5 Images collected by UAV group
圖6 圖像視野重疊示意圖Fig.6 Schematic diagram of vision view overlap of UAVs
以目標(biāo)為導(dǎo)向的無人機(jī)觀測是時(shí)下無人機(jī)領(lǐng)域的重點(diǎn)研究方向之一。具體而言,首先提取目標(biāo)特征,確定要觀測的目標(biāo)之后,對目標(biāo)未來軌跡做出預(yù)測。其中,保持對目標(biāo)的跟蹤是持續(xù)進(jìn)行目標(biāo)軌跡預(yù)測的前提。目前的跟蹤算法雖然在精度上有了較大的提升,但目標(biāo)丟失和遮擋仍是重要的挑戰(zhàn)因素。無人機(jī)集群的設(shè)置主要用于解決此類干擾因素。
3.2.1 主、次無人機(jī)的設(shè)置
在對目標(biāo)進(jìn)行軌跡預(yù)測時(shí),需要持續(xù)、穩(wěn)定地觀測。為了降低目標(biāo)丟失的風(fēng)險(xiǎn),需要盡可能地?cái)U(kuò)大集群觀測范圍。在為無人機(jī)集群設(shè)計(jì)策略時(shí),可將其中一架無人機(jī)作為主無人機(jī),其余無人機(jī)作為僚機(jī)。如圖7所示,在觀測目標(biāo)時(shí),主無人機(jī)應(yīng)盡可能從上空接近目標(biāo),而僚機(jī)則以一定的隊(duì)形排列在主無人機(jī)周圍,從側(cè)面觀測目標(biāo)。
圖7 無人機(jī)集群中主、次無人機(jī)示意圖Fig.7 Schematic diagram of the primary and secondary UAV in UAV Group
3.2.2 集群內(nèi)的軌跡預(yù)測
以目標(biāo)觀測為導(dǎo)向時(shí),無人機(jī)集群會存在協(xié)同移動問題,此時(shí),如果無人機(jī)集群內(nèi)的通信手段因?yàn)閺?fù)雜環(huán)境影響發(fā)生中斷或者失效時(shí),則需要為無人機(jī)布設(shè)對周圍其他無人機(jī)的軌跡預(yù)測方法。無人機(jī)集群內(nèi)的軌跡預(yù)測,主要是為了保證無人機(jī)集群內(nèi)相對穩(wěn)定。而無人機(jī)集群在進(jìn)行各自視野內(nèi)的軌跡預(yù)測時(shí),需要充分考慮無人機(jī)集群內(nèi)的協(xié)同定位問題。當(dāng)前利用衛(wèi)星導(dǎo)航系統(tǒng)(GPS)獲知無人機(jī)的精準(zhǔn)位置是重要的手段之一。通過將來自GPS的無人機(jī)位置導(dǎo)航解決方案組合在一起,再基于歐洲地球靜止導(dǎo)航重疊服務(wù)和色容差進(jìn)行定位融合,能夠顯著提升定位的準(zhǔn)確度,但衛(wèi)星導(dǎo)航系統(tǒng)也會導(dǎo)致成本過高。除此以外,可以通過基于數(shù)學(xué)模型的導(dǎo)航定位算法設(shè)計(jì)對無人機(jī)進(jìn)行定位。而由于無人機(jī)群具有共同的行為和動力學(xué),也可以對無人機(jī)集群之間的交互行為動力學(xué)方程進(jìn)行分析。在此基礎(chǔ)上,通過映射表建立無人機(jī)集群之間的交互關(guān)系,并結(jié)合神經(jīng)網(wǎng)絡(luò)關(guān)系推理模型,可以對無人機(jī)群未來軌跡進(jìn)行預(yù)測?;蛘?,采用誤差區(qū)間傳播方法計(jì)算飛行軌跡的置信區(qū)間,在飛行期間使用傳入的 GPS 測量值進(jìn)行更新,以完善其位置估計(jì)。
在完成無人機(jī)集群的定位問題后,需要依據(jù)各無人機(jī)的相對位置,對集群的未來路徑進(jìn)行規(guī)劃。目前仍然比較缺乏無人機(jī)群相對位置的算法,尤其是分布式相對位置估計(jì)。因此,文獻(xiàn)[36]設(shè)計(jì)了一種基于分布式超寬帶的相對定位框架,驗(yàn)證了影響相對定位估計(jì)與實(shí)際位置誤差的因素,對未來探討無人機(jī)協(xié)同飛行優(yōu)化位置具有重要的實(shí)用價(jià)值。此外,為了更加便捷地研究無人機(jī)群的集群策略,可以將集群間的運(yùn)動分為吸引力和排斥力,與主、次無人機(jī)設(shè)置原則相同,將集群中的一架視為領(lǐng)導(dǎo)者,其余無人機(jī)視為成員。同時(shí),在增設(shè)引力和斥力的基礎(chǔ)上,也可將無人機(jī)群的前置形心作為另一個(gè)引力源,以打破無人機(jī)的受力平衡,使無人機(jī)朝目標(biāo)的方向移動,在無人機(jī)群飛行過程中,前置形心可以依據(jù)障礙物的大小進(jìn)行調(diào)整,能夠較好地適用于障礙物環(huán)境。無人機(jī)群中,領(lǐng)導(dǎo)者與成員的關(guān)系并非固定。當(dāng)目標(biāo)短時(shí)間內(nèi)速度和方向大幅改變時(shí),以視野和距離為基準(zhǔn),更換主無人機(jī),原先的無人機(jī)變?yōu)榇螣o人機(jī)。如圖8所示,目標(biāo)汽車的速度在短時(shí)間內(nèi)大幅改變,主無人機(jī)由a號無人機(jī)變?yōu)閎號無人機(jī)。
圖8 主無人機(jī)變更示意圖Fig.8 Schematic diagram for the change of dominant right of UAV group
通常,在理想空曠場景下,無人機(jī)集群只需根據(jù)目標(biāo)在方向、速度上的改變,對自身做出同樣策略的調(diào)整。然而,實(shí)際情況中環(huán)境的復(fù)雜多變使得無人機(jī)群應(yīng)具備更智能的集群策略。集群策略的目標(biāo)為:在最短時(shí)間內(nèi),依據(jù)環(huán)境的實(shí)時(shí)變化改變策略,實(shí)現(xiàn)動態(tài)的集群穩(wěn)定,以穩(wěn)定持續(xù)地進(jìn)行目標(biāo)觀測。在現(xiàn)實(shí)情形下,環(huán)境對無人機(jī)的影響是多方面的。雨雪霧等天氣會削弱目標(biāo)的能見度,同時(shí)影響無人機(jī)的正常姿態(tài),造成相機(jī)抖動、機(jī)身失控等問題,天氣等帶來的影響主要可通過無人機(jī)自身對極端天氣的適應(yīng)性能提升來克服。此外,極端天氣下,場景中的障礙物和遮擋更為常見,目標(biāo)不可見會對后續(xù)的觀測任務(wù)造成影響。無人機(jī)集群相對于單一無人機(jī)設(shè)備能更好地處理目標(biāo)被遮擋的情況,但根據(jù)不同環(huán)境需要設(shè)計(jì)不同的集群策略。
3.2.3 依據(jù)目標(biāo)遮擋程度調(diào)節(jié)無人機(jī)集群策略
場景中障礙物的遮擋會使目標(biāo)外觀不完整,也可能給目標(biāo)區(qū)域帶來背景干擾。如何應(yīng)對由于障礙物遮擋導(dǎo)致的目標(biāo)丟失,是現(xiàn)有目標(biāo)跟蹤的主要挑戰(zhàn)之一。
1)當(dāng)目標(biāo)未受遮擋時(shí),無人機(jī)群的首要任務(wù)為追蹤。為了獲取較好的觀測視野,需要依據(jù)目標(biāo)運(yùn)動狀態(tài)規(guī)劃無人機(jī)的運(yùn)動路徑。Dubins曲線是常用的路徑規(guī)劃方法,可以對不同的地面移動目標(biāo)進(jìn)行仿真驗(yàn)證。而在觀測單個(gè)目標(biāo)的基礎(chǔ)上,考慮到協(xié)調(diào)多架無人機(jī)進(jìn)行觀測的問題,可以通過協(xié)作算法來預(yù)測目標(biāo)的軌跡。實(shí)際中的觀測目標(biāo)以行人和車輛居多,對于行人的觀測,如果可以獲取高精度的圖像,便可以將面部特征作為顯著的區(qū)分點(diǎn)。Quadrotor 無人機(jī)可以拍攝高清的人臉影像,將其發(fā)送至Wi-Fi連接的計(jì)算機(jī),通過Viola Jones算法檢測人臉,使得無人機(jī)可以繼續(xù)識別目標(biāo)的人臉特征。對于移動中的車輛,可以提煉出緊致表觀特征。例如,對于移動中的車輛,將汽車分割得到目標(biāo)的質(zhì)心作為追蹤的輸入,并通過卡爾曼濾波估計(jì)目標(biāo)的動態(tài)狀態(tài)。在完成對目標(biāo)的跟蹤后,即無人機(jī)群可以持續(xù)、穩(wěn)定地觀測目標(biāo)時(shí),就可以獲取目標(biāo)坐標(biāo)和實(shí)時(shí)的場景圖。在搭建軌跡預(yù)測模型時(shí),將目標(biāo)歷史軌跡和場景語義信息作為輸入,通過時(shí)空關(guān)系、語義信息及交互關(guān)系等對目標(biāo)的未來軌跡做出預(yù)測。因此,目標(biāo)未受遮擋時(shí),具體的方案設(shè)計(jì)可以分為以下幾個(gè)步驟:
a)集群內(nèi)通過協(xié)作算法以規(guī)避碰撞。次無人機(jī)根據(jù)主無人機(jī)的歷史軌跡數(shù)據(jù),對主無人機(jī)的未來軌跡做出預(yù)測,進(jìn)而修正自身的運(yùn)動狀態(tài)。
b)提取高保真及區(qū)分性強(qiáng)的目標(biāo)特征,保證無人機(jī)集群對目標(biāo)的跟蹤穩(wěn)定性。通過設(shè)計(jì)速度跟蹤器保證集群與目標(biāo)間相對位置穩(wěn)定,減少因相機(jī)抖動對于觀測質(zhì)量造成的影響。
c)通過目標(biāo)的觀測影像,獲取準(zhǔn)確歷史軌跡,進(jìn)而通過時(shí)空關(guān)系、語義信息及交互關(guān)系等建模,約束軌跡預(yù)測中的不確定性。將預(yù)測的目標(biāo)位置及時(shí)發(fā)送至主無人機(jī),主無人機(jī)根據(jù)預(yù)測結(jié)果調(diào)整自身運(yùn)動狀態(tài)。
2)當(dāng)目標(biāo)部分遮擋,即部分無人機(jī)視野中仍能正常觀測時(shí)。丟失目標(biāo)的無人機(jī)調(diào)整飛行策略,其余無人機(jī)繼續(xù)觀測,并將預(yù)測的軌跡共享給丟失目標(biāo)的無人機(jī)。先前大部分工作中,無人機(jī)通過基于視覺的障礙物識別來感知環(huán)境。一些研究嘗試直接使用場景深度圖,通過邊緣信息對原有的匹配方法進(jìn)行改進(jìn),能夠提升對于室內(nèi)多障礙物環(huán)境下的適應(yīng)性,但沒有考慮障礙物檢測失敗對無人機(jī)路徑規(guī)劃的影響。同樣基于立體視覺,可以引入多傳感設(shè)備,用于彌補(bǔ)單一傳感檢測失敗的情況,進(jìn)而更完整地獲取環(huán)境特征。從環(huán)境因素考慮,室內(nèi)的光照等條件較為簡單,而室外的復(fù)雜環(huán)境會對影像質(zhì)量產(chǎn)生較大影響,上述獲取場景立體深度的方法在更復(fù)雜的室外環(huán)境下受到限制?;诖祟悜?yīng)用場景,衍生了一種機(jī)載攝像機(jī)視覺目標(biāo)跟蹤算法,在無人機(jī)與目標(biāo)相對位置發(fā)生動態(tài)變化時(shí),生成偽濾波器,進(jìn)而提高無人機(jī)視覺追蹤的穩(wěn)定性。同時(shí),針對障礙環(huán)境下多無人機(jī)協(xié)同追蹤問題,可以通過無人機(jī)制導(dǎo)律控制無人機(jī)規(guī)避障礙物,并設(shè)計(jì)相位控制以保持對目標(biāo)追蹤的合適角度。而各無人機(jī)在規(guī)避障礙物時(shí)也存在碰撞的風(fēng)險(xiǎn),尤其是集群內(nèi)的無人機(jī)數(shù)目較多或者飛行區(qū)域比較狹小的情況下。因此,針對無人機(jī)間的協(xié)同避障問題,可以考慮將避障制導(dǎo)過程轉(zhuǎn)化為序列問題,由馬爾可夫博弈理論建立數(shù)學(xué)模型,基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)無人機(jī)自主避障。綜上,目標(biāo)部分受遮擋時(shí)的方案設(shè)計(jì)如下:
a)通過設(shè)計(jì)無人機(jī)制導(dǎo)律,控制受障礙物阻擋的無人機(jī)繞開障礙物;
b)正常觀測的無人機(jī)獲取觀測對象的特征信息,并發(fā)送至受阻擋無人機(jī),受阻擋無人機(jī)在繞開障礙物后通過目標(biāo)再關(guān)聯(lián)技術(shù)重新追蹤目標(biāo),并結(jié)合其他無人機(jī)觀測視野中的目標(biāo)位置,校驗(yàn)?zāi)繕?biāo)識別結(jié)果;
c)受阻擋無人機(jī)在規(guī)避障礙物時(shí),自身的高度、速度等會發(fā)生變化,由于目標(biāo)觀測需要良好的角度,因此可設(shè)計(jì)相位控制,在目標(biāo)再識別成功后,調(diào)節(jié)無人機(jī)的觀測角度;
d)當(dāng)觀測目標(biāo)不再受遮擋時(shí),依據(jù)無遮擋情形下的策略繼續(xù)對目標(biāo)做軌跡預(yù)測。
3)當(dāng)目標(biāo)完全被遮擋,即所有無人機(jī)均丟失目標(biāo)時(shí)。集群從原先的追蹤任務(wù),轉(zhuǎn)變?yōu)樗阉?再識別任務(wù),此時(shí)需要對區(qū)域搜索問題進(jìn)行研究。現(xiàn)有的方法以提升搜索的速度和精度為主。執(zhí)行任務(wù)時(shí),可將最后丟失目標(biāo)的無人機(jī)作為主無人機(jī),調(diào)整其余僚機(jī)的高度和相對位置。綜上,目標(biāo)完全被遮擋時(shí)的方案設(shè)計(jì)如下:
a)將最后失去目標(biāo)視野的無人機(jī)作為主無人機(jī),依據(jù)目標(biāo)最近時(shí)刻的速度和方向前進(jìn),其余無人機(jī)調(diào)整飛行策略,以主無人機(jī)為中心散開;
b)將對目標(biāo)的搜索問題轉(zhuǎn)化為代價(jià)函數(shù)的優(yōu)化問題,設(shè)計(jì)算法,輔助調(diào)整次無人機(jī)運(yùn)動狀態(tài);
c)當(dāng)某無人機(jī)視野中出現(xiàn)特征匹配度較高的對象時(shí),控制該無人機(jī)靠近目標(biāo)以獲取更好的觀測質(zhì)量,若目標(biāo)匹配程度高于一定閾值,則視為目標(biāo)再識別成功,此時(shí),將該無人機(jī)轉(zhuǎn)變?yōu)橹鳠o人機(jī),其余無人機(jī)以主無人機(jī)為中心,調(diào)整自身運(yùn)動狀態(tài);
d)當(dāng)觀測目標(biāo)不再受遮擋時(shí),依據(jù)最初策略繼續(xù)對目標(biāo)做軌跡預(yù)測。
通過本文的討論,針對無人機(jī)自身的性能和特點(diǎn),考慮其集群下的軌跡預(yù)測問題的各個(gè)環(huán)節(jié),結(jié)合可能存在的干擾因素,設(shè)計(jì)了相關(guān)解決思路?;诖耍瑢ξ磥硐嚓P(guān)的研究做出以下展望:
1)大規(guī)模無人機(jī)集群感知數(shù)據(jù)平臺開發(fā)?,F(xiàn)有研究中,無人機(jī)對地觀測的數(shù)據(jù)平臺已經(jīng)廣泛存在,但是公開、可用的多無人機(jī)集群數(shù)據(jù)集非常稀缺。近年來,關(guān)于多智能體感知的相關(guān)研究開始采用Airsim模擬器衍生無人機(jī)集群數(shù)據(jù)集,即通過飛行控制器和PX4進(jìn)行軟件和硬件的開發(fā),抓取攝像頭所拍攝的圖像信息。其中,Airsim-MAP數(shù)據(jù)集是近年規(guī)模最大的多無人機(jī)虛擬數(shù)據(jù)集。通過模擬仿真若干架無人機(jī),操縱無人機(jī)群進(jìn)行拍攝,并將各無人機(jī)拍攝的畫面同步顯示出來。如圖9所示,數(shù)據(jù)集中包含5~6架無人機(jī)獲取的RGB圖像、點(diǎn)云圖、相機(jī)姿態(tài)以及語義分割標(biāo)簽。該數(shù)據(jù)集可以進(jìn)一步研究多Agent感知的解決方案。
圖9 Airsim-MAP 數(shù)據(jù)集示意圖Fig.9 Schematic diagram of Airsim-MAP dataset
2)無人機(jī)具有靈活性高、易于操縱的特點(diǎn),鑒于其機(jī)身體積小,不能承載過于復(fù)雜的算法,藉由服務(wù)器等設(shè)備作為信息處理的橋梁是時(shí)下常用的手段之一,但信息的交換具有延時(shí)性。因此,從無人機(jī)本身性能考慮,未來的研究可以從硬軟件著手,硬件上搭載更豐富的傳感器以提升無人機(jī)的適用性,軟件上對算法做輕量化處理。
3)從單一無人機(jī)到無人機(jī)集群,需要額外考慮集群內(nèi)的通信和策略問題。依據(jù)觀測目標(biāo)所處環(huán)境的不同,無人機(jī)和無人機(jī)之間、無人機(jī)集群和目標(biāo)之間以及無人機(jī)集群和地面系統(tǒng)之間需要進(jìn)行有機(jī)協(xié)調(diào)。此外,考慮到軌跡預(yù)測的實(shí)時(shí)性和安全性,要求未來的集群發(fā)展在網(wǎng)絡(luò)通信技術(shù)上實(shí)現(xiàn)突破。
4)除了提升無人機(jī)自身的性能之外,可以考慮與其他設(shè)備進(jìn)行聯(lián)合,以處理因無人機(jī)穩(wěn)定性不足而難以適應(yīng)的環(huán)境。一般選取地面設(shè)備和無人機(jī)進(jìn)行聯(lián)合,以車載設(shè)備為例,藉由車載的傳感器和雷達(dá)等,能夠獲取詳盡的周邊信息,彌補(bǔ)無人機(jī)在數(shù)據(jù)細(xì)節(jié)上的不足,進(jìn)而獲取更為豐富的環(huán)境信息和目標(biāo)特征。
5)在無人機(jī)執(zhí)行觀測任務(wù)時(shí),復(fù)雜的環(huán)境仍會對無人機(jī)造成干擾。未來的無人機(jī)研究需要發(fā)展感知技術(shù),使得無人機(jī)能夠自主地對目標(biāo)周邊環(huán)境進(jìn)行建模,加強(qiáng)對三維護(hù)環(huán)境特征的提取,從而更好地實(shí)現(xiàn)軌跡預(yù)測。
6)無人機(jī)群體視角下的軌跡預(yù)測在實(shí)際設(shè)計(jì)時(shí),是一個(gè)復(fù)雜的系統(tǒng),包含但不限于協(xié)同技術(shù)、通信技術(shù)、目標(biāo)再識別技術(shù)和軌跡預(yù)測技術(shù)等。將各項(xiàng)技術(shù)的最新成果結(jié)合應(yīng)用,是群體視角下軌跡預(yù)測發(fā)展所要面臨的挑戰(zhàn)。因此,未來應(yīng)以任務(wù)為中心,重視各項(xiàng)技術(shù)的協(xié)調(diào)發(fā)展。
隨著無人機(jī)技術(shù)的發(fā)展,無人機(jī)在多個(gè)領(lǐng)域已經(jīng)進(jìn)行了成功應(yīng)用。無人機(jī)集群技術(shù)應(yīng)用在地面目標(biāo)軌跡預(yù)測領(lǐng)域,可以以更大視野、更長時(shí)間獲取場景內(nèi)的軌跡和交互信息。本文主要論述了無人機(jī)群體視角下的軌跡預(yù)測在具體實(shí)現(xiàn)上存在的挑戰(zhàn)以及相應(yīng)的解決方案設(shè)計(jì)思路,并根據(jù)當(dāng)下的研究進(jìn)展,展望了未來無人機(jī)集群技術(shù)與軌跡預(yù)測結(jié)合的發(fā)展趨勢。本文希望以上述討論和展望,為未來無人機(jī)集群下的軌跡預(yù)測問題提供幫助。