摘 要:空地協(xié)作是當今多智能體研究領域的熱點,具有區(qū)域覆蓋面廣、環(huán)境適應性強、任務執(zhí)行率高等特點。相比于單一智能體系統(tǒng),多智能體協(xié)作突顯出了更強的數(shù)據(jù)匹配、自由協(xié)同、更好的系統(tǒng)冗余程度等特點,在更多領域廣泛應用。同時其充分利用異構多機器人的功能互補性,組成跨域協(xié)作系統(tǒng),實現(xiàn)任務協(xié)同和信息共享,從本質(zhì)上提升面對復雜環(huán)境和任務規(guī)劃的感知能力、執(zhí)行能力和運行效率。因此,多智能體的有機協(xié)調(diào)、跨域協(xié)作等將引領未來機器人技術與應用的新模式。從空地協(xié)同進行綜述,即以無人駕駛車輛(unmanned ground vehicle, UGV)與無人機(unmanned aerial vehicle, UAV)協(xié)同為研究對象,分析了空地協(xié)同系統(tǒng)的設備類型,對空地協(xié)作的任務類型、衡量標準、面臨環(huán)境、角色功能以及協(xié)作模式進行了描述,并探索在異構機器人平臺下的感知、決策和任務執(zhí)行等能力,提出了對當前可能改善空地協(xié)作系統(tǒng)的見解和未來可能面臨的挑戰(zhàn)。
關鍵詞:跨域協(xié)同;多智能體;空地協(xié)作;任務規(guī)劃
中圖分類號:TP11;TP242" 文獻標志碼:A
基金項目:國家自然科學基金資助項目(51965008);貴州省科技重大專項資助項目([2019]3012)
近年來,人工智能和移動機器人領域的快速發(fā)展帶來了越來越多的好處,大到無人駕駛車輛、醫(yī)療服務型機器人,小到智能手機、智能穿戴設備等都與人類生活息息相關。隨著科技進步和生產(chǎn)力的提高,在科研領域中多機器人協(xié)作已成為當今多智能體研究領域的熱點。相較于單一智能體系統(tǒng),多智能體協(xié)作有著區(qū)域覆蓋面廣、環(huán)境適應性強、任務執(zhí)行率高等特點,在該領域中受到廣泛研究人員的青睞。在工業(yè)場景中,協(xié)作機器人正被用于制造業(yè),例如移動機器人在物流倉庫中有序配送。盡管如此,機器人協(xié)作在民用領域中仍然存在著巨大的挑戰(zhàn),例如,它們需要與人類進行交互并在未知環(huán)境中部署[1-3]。在民用應用中,搜索與救援是一個關鍵場景,其中異構機器人的協(xié)作有可能通過更快的響應時間來拯救生命[4-5]。在搜救(search and rescue, SAR)行動中,多機器人協(xié)作也可以顯著提高搜救人員的效率,加快對受害者的搜索。首先,確定搜救范圍并利用無人機做初步探測,實時繪制環(huán)境地圖,同時對搜救行動進行實時監(jiān)測,或建立緊急情況下的通訊網(wǎng)絡,最后利用無人車進行路徑規(guī)劃、物資運載等。因此,異構機器人組合——UAV/UGV的空地協(xié)同系統(tǒng)能夠為搜救和探索行動提供更大的優(yōu)勢。
無人機(unmanned aerial vehicle,UAV),特別是多旋翼無人機(以下簡稱“無人機”),因其新穎的結構布局、獨特的飛行方式、較低的價格,使其成為當前機器人領域的研究熱點。它們能快速通過障礙物、粗糙的地形或者陡峭的山坡,并且能夠從高空提供視野[6]。然而,無人機的載荷與電池壽命是有限的,因此很難執(zhí)行需要重型設備或復雜操作的任務。
無人駕駛車輛(unmanned ground vehicle,UGV)是當前自動控制領域研究的熱點,一方面,在道路交通中,該技術在提高交通安全、效率、舒適性、便利性等方面存在巨大潛力;另一方面,UGV有更高的電池容量和更大的有效載荷,這意味著它可以攜帶更重的傳感器、更強大的計算機和復雜的操作設備來執(zhí)行任務[7]。但它們往往受到傳感器范圍、地形穿越性和攀爬能力等限制。
本文針對UAV/UGV空地協(xié)同進行了全面的介紹,從系統(tǒng)層面討論空地協(xié)作,考慮作業(yè)環(huán)境、通信、自主水平和人機交互;從任務導向出發(fā),將UAV/UGV協(xié)同分為搜索和救援,并結合相應示例分析空地協(xié)同中用到的理論和工程方法;針對跨域多機器人協(xié)作的未來發(fā)展趨勢提出看法。
1 空地協(xié)同下UAV與UGV的基本要素
空地協(xié)同系統(tǒng)的基本要素:UAVs、UGVs、任務、環(huán)境。此外,UAV和UGV的結構、功能、優(yōu)勢,以及任務的不同也是實現(xiàn)空地協(xié)同的必要條件。
1.1 UAV與UGV的類型
UGV在不同的空地協(xié)作系統(tǒng)中可以采取不同的構型,通常采用兩種構型:履帶式和車輪式,如圖1(a,b)所示。履帶式可以提高在復雜或非結構地形的牽引力[8],而車輪式可以通過車輪的使用類型和車輪數(shù)量來定義。正如SIEGWART等[9]對UGV穩(wěn)定性、機動性和可控性的描述,不同車輪的結構各有優(yōu)缺點。
UAV類型因任務而異,如圖1(c, d, e)所示。在協(xié)同系統(tǒng)中使用的UAV可以分為單旋翼、多旋翼、固定翼。
單旋翼(直升飛機):單旋翼飛機可以垂直起飛、降落、懸停、前后飛行,相比于多旋翼更加穩(wěn)定[10]。然而,帶有單個巨型旋翼的飛機具有更高的價格和機械復雜度。
多旋翼:這類無人機有一個或多個旋翼,可以通過調(diào)整旋翼速度來實現(xiàn)穩(wěn)定的懸停和飛行。多旋翼在民用產(chǎn)品中更為廣泛[11-12]。
固定翼:固定翼無人機相比多旋翼無人機具有更低的能耗和更強的續(xù)航能力,然而它不能懸停和轉彎,這便限制了該類無人機在某些特定任務下的應用部署。
1.2 UAV與UGV的任務類型、衡量標準與應用場景
1.2.1 任務類型
空地協(xié)同系統(tǒng)通常需要完成各種不同的任務,其復雜、耗時程度各不相同。任務的復雜程度決定了任務的難度,而任務的難度又影響到完成任務所需的設備數(shù)量、類型及準確率。例如,單個UGV可以進行小規(guī)模的地圖構建、設備取放和導航等問題,多個UGV又可以根據(jù)任務的合作程度進一步區(qū)分:從分散式協(xié)作到集中式協(xié)作。分散式協(xié)作可以被分解成多個獨立執(zhí)行的子任務,UGV之間的互動與依賴關系將會降低,這方面包括大規(guī)??碧?、協(xié)作式建圖、跟蹤與監(jiān)視等。在這種情況下,協(xié)作設備所處環(huán)境可以被劃分為互不相干的區(qū)域,UGV只需在其指定的區(qū)域內(nèi)運作,然而集中式任務是不可分解的,需要UGV之間的相互協(xié)作。
1.2.2 衡量標準
衡量標準對于評估一個系統(tǒng)的性能、可用性、效率、質(zhì)量和魯棒性至關重要,其也可用于評價空地協(xié)作系統(tǒng)及其演化的跨域多機器人系統(tǒng)的有效性??盏貐f(xié)作系統(tǒng)的一些評價指標屬于特定領域,對于勘測、建圖、定位與導航來說,位置精度的誤差是衡量標準之一[13]。除了一些特定領域的標準外,空地協(xié)作還有幾個常見的指標,包括:解決方案的最優(yōu)性、可擴展性、魯棒性、資源利用率、耗時、泛化能力和負載平衡等。
1.2.3 應用場景
環(huán)境為UGV和UAV提供了可以感知、交互和改變的“外殼”,以及可以運行和協(xié)作的空間。UGV和UAV所面臨的環(huán)境有很大差異。UGV面臨的地面環(huán)境是復雜多樣的,例如陡坡、溝渠等,這些可能限制UGV的行為并迫使它們改變運行軌跡。此外,結構化和非結構化的道路目前也有其定義的標準范圍。結構化道路具有已知的、恒定的幾何形狀(車道寬度、路面標記、曲率半徑等)。非結構化道路可能具有多變的幾何形狀,車道容易出現(xiàn)中斷的情況,并且很難從周圍場景中區(qū)分出來(例如,已鋪裝或未鋪裝的道路等)。環(huán)境中的動態(tài)物體(人類、動物、高速行駛的車輛)可能會在沒有警告的情況下突然變更軌跡,這給UGV的運動規(guī)劃帶來挑戰(zhàn)[14]。復雜的環(huán)境(例如,遮擋、雜亂的背景、光線的變化)也會使檢測變得困難。
與UGV面臨的地面環(huán)境相比,UAV面臨的空中環(huán)境相對簡單??罩协h(huán)境相比地面環(huán)境的優(yōu)勢在于:
1)空中環(huán)境范圍較廣,無明顯障礙物,適合機動性強的UAV執(zhí)行飛行工作。
2)相比于地面環(huán)境,空中環(huán)境受場地限制較小。
3)國際民航組織規(guī)定,遙控飛機等不會對民航和軍事機密造成影響,一般不需要審批便可執(zhí)行飛行工作,而UGV在路面環(huán)境形式需要遵守相應的法律規(guī)定。
4)空中環(huán)境的安全性高于地面環(huán)境。
類似的,空中也存在復雜的環(huán)境條件,例如,樹葉、霧霾、飛行的鳥類、多變的天氣,會使無人機探測環(huán)境中的物體變得更加困難[15]。
1.2.4 異質(zhì)性和互補性
表1列出了UAV和UGV的特點。從表1可以看出:一方面,UAV和UGV都有自身的局限性,這在一定程度上降低了它們執(zhí)行任務的效率[16];另一方面,UAV和UGV在動力學、速度、傳感器配置、通信功能等方面的巨大異質(zhì)性和互補性,使UAV和UGV在協(xié)同下能夠完成各種復雜的任務。雖然UAV/UGV協(xié)作屬于跨域多機器人的范疇,但是UAV和UGV之間存在很大的異質(zhì)性,目前關于跨域多機器人系統(tǒng)的研究成果不能直接用于其中。
與現(xiàn)有同構機器人的處理方式不同,UAV/UGV協(xié)作系統(tǒng)需要處理來自完全不同的平臺數(shù)據(jù),依據(jù)決策分析模塊,有效協(xié)調(diào)二者的行為。因此,空地協(xié)作系統(tǒng)的研究具有一定挑戰(zhàn)性。通過UAV輔助UGV開展導航、編隊、運輸、偵查、目標跟蹤等任務,能夠有效拓寬二者的作業(yè)能力,提高執(zhí)行任務的效率,如圖2所示。二者的互補性主要體現(xiàn)如下:
1)無人車能夠近距離精確定位地面目標,但在環(huán)境信息未知或部分可知情況下,車載傳感器對環(huán)境的感知能力存在較大局限,只能實現(xiàn)局部的路徑規(guī)劃[17-19]。而無人機則具有更廣闊的視野,可以在特定高度得到周圍環(huán)境的全局信息,但由于高度原因也丟失了許多局部信息。通過二者協(xié)同,可以實現(xiàn)無人車的全局路徑規(guī)劃。
2)在復雜環(huán)境中,無人車載傳感器對負高度障礙物檢測能力有限,并且缺乏足夠的預判[20-21]。而無人機可借助較高的工作高度和懸停等功能,對負障礙等特殊地形進行檢測,或將疑似區(qū)域預先通知無人車,以便無人車利用自身感知系統(tǒng)進行檢測。
3)在執(zhí)行動態(tài)目標檢測與跟蹤等復雜任務時,比如追捕逃逸者、災后救援等,由于障礙物遮擋等因素,無人車獲取環(huán)境信息受限,執(zhí)行任務效率低,而無人機則可以借助機載傳感器為無人車提供一個感興趣區(qū)域(region of interesting,ROI),進而利用無人機與無人車協(xié)同系統(tǒng)有效地提高執(zhí)行任務的效率[22]。
2 空地協(xié)作系統(tǒng)中各智能體的角色和作用
UAV和UGV的特性使二者具有很強的互補性,不同角色與功能的組合使這類空地協(xié)作系統(tǒng)更有前景。首先,在捕捉地面特征時(例如,移動的行人、障礙等),作為執(zhí)行器的UGV通常受到速度、環(huán)境遮擋及交通流等限制,而作為傳感器的UAV則能快速部署,尋找到目標。其次,由于無人機具有高空多自由度作業(yè)的優(yōu)勢,它們的通信能力(例如,北斗/GNSS準確定位、低延時的視頻或數(shù)據(jù)傳輸?shù)龋┍萓GV更難被障礙物阻斷,而UGV受到周圍較高建筑物的影響,容易丟失外部定位信號,也會因自身較低的高度丟失定位信號。因此,位于不同位置的UAV可以作為通信橋梁將UGV與自身間接聯(lián)系起來[23-24],確定UGV在真實環(huán)境下的定位。再次,由于自身能量的限制,UAV僅能執(zhí)行短途航行等任務,而作為載體的UGV則具有較大的載荷能力,如圖3所示。
2.1 充當傳感器的UAVs和充當執(zhí)行設備的UGVs
這類空地協(xié)作系統(tǒng)中,UAV作為傳感器收集、傳輸、檢測,以及追蹤目標相關的信息,而UGV則依據(jù)UAV傳遞的信息規(guī)劃路徑并反饋路面實時狀態(tài),以便作進一步的修正。通常,UAV有著高機動性和較寬的視野范圍,因此可以迅速捕捉到目標。UAV將收集的信息傳遞給UGV能大大加快任務的執(zhí)行效率。類似的,自動化水平不同的UAV也會傳遞不同層次的數(shù)據(jù),如圖4所示。
早期對該主題應用的研究依賴于UAV的手動控制,其在UGV部署之前收集該地區(qū)的數(shù)據(jù),屬于離線處理、兩階段的方式。文獻[8]中,STENTZ等證明了預先從空中收集的數(shù)據(jù)可以提高UGV的規(guī)劃效率,但卻存在地圖無法多次復用、保存周期較短的缺點。隨后,KELLY和VANDAPEL等[25-26]針對上述問題提出了多機器人協(xié)作系統(tǒng),其中通過UAV獲得預收集的數(shù)據(jù)可以提高UGV的地面導航能力。
隨著自主探索技術的不斷進步,無人機可以采集地面圖像,然后通過圖像處理技術進行校正等處理,同時自動構建環(huán)境地圖,使UGV可以避開障礙物并執(zhí)行任務。KSLIN等[27]提出了一種基于高程地圖的UGVs定位方法,該方法允許UGV在UAV提供的參考地圖中找到自己的相對位置和方向,無需依賴GPS等定位傳感器。ZHANG等[28]開發(fā)了一套自主的空地協(xié)作實地勘察系統(tǒng),其中UAV為UGV提供了一個鳥瞰圖,用于避免碰撞并進行路徑規(guī)劃,當任務完成后,UAV將降落在UGV上。PETERSON等[29]提出了一套空地協(xié)作系統(tǒng),該系統(tǒng)利用UAV的俯視視角來確定UGV的行駛路徑并實時糾正。JIN等[30]則采用兩架UAV為UGV提供立體視覺,利用二者的視差計算高度圖,由UGV在決策過程中使用。莊嚴團隊[31]開展了室內(nèi)場景下空地協(xié)作的環(huán)境感知研究,提出了一種無人車搭載3D激光傳感器開展環(huán)境建模,無人機搭載視覺傳感器對地面移動機器人相對位姿進行估計的方法。谷豐等[32]探索了一種基于顏色空間的動態(tài)目標識別和跟蹤方法,實現(xiàn)空地機器人協(xié)作的目標檢測和運動跟蹤。
2.2 充當傳感器的UAVs和充當輔助設備的UGVs
UAV可以在一些關鍵、感興趣區(qū)域盤旋或在低空中飛行,進行更近距離的測量。這意味著具有高機動性的小型UAV(例如,四旋翼UAV等)能夠進行更準確的檢測。然而,小型UAV的有限飛行時間意味著其在大規(guī)模環(huán)境下很難完成任務,UGV作為一個中大型移動設備,可以彌補UAV在飛行時間上的劣勢,使其能夠在更大范圍內(nèi)收集數(shù)據(jù),僅僅在電量預警時返回UGV平臺進行電量補充即可。
美國陸軍作戰(zhàn)能力發(fā)展司令部陸軍研究實驗室的工作人員利用該想法進行了相應實驗,并指出空地協(xié)作能夠在遙遠而危險的環(huán)境中執(zhí)行搜救任務,但需要各種定位和通信基礎設施。在搜救任務中,由于UAV的機載GPS不可靠且容易受到干擾,UAV無法依靠GPS進行導航。在沒有士兵干預的情況下執(zhí)行任務,UAV所需的一項關鍵功能是能夠自主降落在靜止或移動的UGV上進行充電,然后起飛執(zhí)行新任務。因此,基于UAV視覺-慣性測距法的定位技術應運而生,同時專門為此應用和機載行為與控制設計獨特的車頂標記。所有計算均是在具有較大計算限制的小型UAV上完成的。該項研究的獨特之處在于,利用機載計算能力,在無GPS輔助的情況下,在戶外實地演示了UAV自主著陸于UGV上的操作。其中,UGV頂部使用了專門為UAV著陸任務而設計的自定義標記,該標記通過大標記中包含小標記,即使機載相機非常接近標記,也可以捕捉到,如圖5所示。
類似的,民用應用中以多旋翼為代表的空地協(xié)作系統(tǒng)經(jīng)常被部署在關鍵基礎設施的檢查上,如精準農(nóng)業(yè)、目標檢測和電力檢查等。TOKEKAR等[33]建立了一個用于精準農(nóng)業(yè)的空地協(xié)作數(shù)據(jù)采集系統(tǒng),該系統(tǒng)使用UAV執(zhí)行監(jiān)測任務,由于能量有限,UGV用于UAV的電力補充。ROPERO等[34]介紹了一種混合空地系統(tǒng),旨在監(jiān)測到分布在勘探區(qū)域的一組目標點。ZHU等[35]建立了一種電子巡邏系統(tǒng),包括巡航車輛與空地協(xié)作系統(tǒng)間的通信、探測和指揮控制網(wǎng)絡?;趯盏貐f(xié)作系統(tǒng)面臨問題的分析,他們建立了一個模型來評估這種協(xié)同巡航的有效性。LI等[36]構建了空地協(xié)同系統(tǒng),利用UAV視覺得到的環(huán)境地圖,增強UGV識別環(huán)境信息能力,并提出了一種結合局部優(yōu)化與基因算法的混合型路徑優(yōu)化方法。趙津團隊[37-39]也進行了在空地協(xié)同下利用無人機視覺對地面目標、障礙物等進行識別、特征匹配、分類等工作,建立可通行地圖,在此基礎上,無人車開展全局路徑規(guī)劃及運動控制等相關研究。
上述研究僅考慮了UGV單獨輔助一架UAV,無法同時為分在不同區(qū)域的多個目標服務。文獻[40-41]采用了多UAV平行服務于多目標,這樣可以顯著提高效率并擴大服務范圍。HU等[42]提出用一輛載有多UAV的UGV在指定目標區(qū)域內(nèi)執(zhí)行任務。
3" 空地協(xié)作在未來的挑戰(zhàn)
UAV和UGV在動力學、速度、通信等方面的巨大異質(zhì)性和互補性,使空地協(xié)作系統(tǒng)能夠高效地完成任務。這些優(yōu)勢比擁有一個強大且復雜的同構機器人完成同一任務的性能更好。在廣泛采用多機器人系統(tǒng)過程中,關鍵的進展是為協(xié)作系統(tǒng)嵌入更多的智能,設計并開發(fā)新的分布式框架及感知和控制算法的結合。然而,這也增加了設計過程的復雜性,在能夠執(zhí)行復雜任務的空地協(xié)作系統(tǒng)被部署之前,學術界仍然面臨許多挑戰(zhàn)。本節(jié)將從以下三個方面討論空地協(xié)作系統(tǒng)在未來的挑戰(zhàn)。
3.1 空地協(xié)作系統(tǒng)的實時性
空地協(xié)作系統(tǒng)的某些應用需要實時響應,因此在計算能力上應該合理分配。由于尺寸和重量的限制,UAV/UGV的計算能力通常是有限的;而且?guī)捿^低、通信不穩(wěn)定的影響以及最低延遲的要求,導致可能無法實時加載計算數(shù)據(jù)。隨著機器人數(shù)量的增加,UGV和UAV之間的大量互動增加了計算成本,緊耦合協(xié)作的任務加重了計算負擔。機器人之間要進行大量的通信和數(shù)據(jù)交換,這就為開發(fā)高效嵌入式硬件技術的研究人員提出了更大的挑戰(zhàn)。
3.2 空地協(xié)作系統(tǒng)的任務建模
任務場景的建模是空地協(xié)作系統(tǒng)的根本。根據(jù)任務目標,依據(jù)需求在多個抽象層次上進行建模來支持空地協(xié)作完成任務。對當前模型進行分析,可以重新提煉關于任務實現(xiàn)方式、任務相關性等進一步的研究方法。然而,目前大多數(shù)研究主要是要求開發(fā)人員對任務進行手動分類、建模。為了幫助空地協(xié)作系統(tǒng)在不確定條件中完成復雜任務,任務建模的步驟應該隨著條件的變化自動調(diào)整,其中會涉及到最優(yōu)理論、信息論等領域。
3.3 空地協(xié)作系統(tǒng)的人機交互
空地協(xié)作系統(tǒng)在執(zhí)行任務時與人類互動是必要的。人類的參與可以將必要的干預傳遞給個別機器人或編隊,以便與其他設備一起執(zhí)行任務。該類系統(tǒng)的好處包括提高空地協(xié)作系統(tǒng)的任務性能,提高系統(tǒng)的適應性和對環(huán)境隨機性的魯棒能力。因此,在一個特定場景中,確定“人在環(huán)”是一種必要的責任和安全保障。
4 總結與展望
UAV和UGV之間的協(xié)作吸引了越來越多的關注,本文系統(tǒng)地回顧了UAV/UGV空地協(xié)作系統(tǒng)的成果與進展,基于相關文獻的研究,對UAV/UGV空地協(xié)作系統(tǒng)進行了相應分類,并提出可能的問題與挑戰(zhàn)。
1)介紹UAV/UGV空地協(xié)作系統(tǒng)的設備類型,并對任務類型、衡量標準、應用場境,以及二者的異質(zhì)性和互補性做出描述;
2)歸納UAV/UGV空地協(xié)作系統(tǒng)中的兩個關鍵功能角色——執(zhí)行設備和輔助設備,進行對應分類,這些功能角色之間的密切配合能有效提高UAV和UGV的工作效率;
3)從空地協(xié)作系統(tǒng)的實時性、任務建模和人機交互角度闡述了該類異構機器人未來可能存在的挑戰(zhàn)并提出相應見解。
盡管空地協(xié)作等異構機器人課題一直受到強烈關注,但在現(xiàn)實世界的部署中,空地協(xié)作仍然存在很多局限性,在系統(tǒng)層面、多代理控制及算法角度等方面仍然存在挑戰(zhàn)。
參考文獻:
[1]INGRAND F, GHALLAB M. Deliberation for autonomous robots: a survey[J]. Artificial Intelligence, 2017, 247: 10-44.
[2] DENG C J, LIU G M, QU F C, et al. Survey of important issues in multi unmanned aerial vehicles imaging system Indian commercial banks[J]. International Journal of Software amp; Hardware Research in Engineering, 2018, 6: 28-38.
[3] SHAKHATREH H, SAWALMEH A, AL-FUQAHA A, et al. Unmanned aerial vehicles: a survey on civil applications and key research challenges[J]. IEEE Access, 2018, 7: 48572-48634.
[4] MEHMOOD S, AHMED S, KRISTENSEN A S, et al. Multi criteria decision analysis (MCDA) of unmanned aerial vehicles (UAVS) as a part of standard response to emergencies[J]. International Journal of Innovative Technology and Exploring Engineering (IJITEE), 2018, 8(2s2): 79-85.
[5] MIDDLETON W T, MILLER G, POLLMAN A. Cooperative unmanned, air-ground vehicle search and rescue exercise[C]// Military Operations Research Society 86th Symposium. USA: Military Operations Research Society, 2018: 2-16.
[6] LI X Q, ZHANG Y, LUO H, et al. Analysis of new modes of environmental monitoring and environmental monitoring operation[J]. Environment and Development, 2019, 31(2): 187-188.
[7] HAYAT S, YANMAZ E, MUZAFFAR R. Survey on unmanned aerial vehicle networks for civil applications: a communications viewpoint[J]. IEEE Communications Surveys amp; Tutorials, 2016, 18(4): 2624-2661.
[8] SAKAI S, IIDA M, OSUKA K, et al. Design and control of a heavy material handling manipulator for agricultural robots[J]. 2008, 25(3): 189-204.
[9] SIEGWART R, NOURBAKHSH I R. Introduction to autonomous mobile robots[J]. Industrial Robot, 2004, 2(6): 645-649.
[10]WANG K, YIJIE K E, CHEN B M. Autonomous reconfigurable hybrid tail-sitter UAV U-Lion[J]. Science China Information Sciences, 2017(3): 1-16.
[11]RUAN W Y, DUAN H B. Multi-UAV obstacle avoidance control via multi-objective social learning pigeon-inspired optimization[J]. Frontiers of Information Technology amp; Electronic Engineering, 2020, 21(5): 740-748.
[12]WANG T M, ZHANG Y C, LIANG J H, et al. Multi UAV collaborative system with a feature fast matching algorithm[J]. Frontiers of Information Technology amp; Electronic Engineering, 2020, 21(12): 1695-1712.
[13]LAZNA T, GABRLIK P, JILEK T, et al. Cooperation between an unmanned aerial vehicle and an unmanned ground vehicle in highly accurate localization of gamma radiation hotspots[J]. International Journal of Advanced Robotic Systems, 2018, 15(1): 1-16.
[14]COUNCIL N R. Technology Development for Army Unmanned Ground Vehicles[M]. Washington, D. C: The National Academy Press, 2003.
[15]HU C, WANG Y X, WANG R, et al. An improved radar detection and tracking method for small UAV under clutter environment[J]. Science China, 2019, 62(2):240-242.
[16]STRENTZ T, KELLEY A, HERMAN H, et al. Integrated air/ground vehicle system for semi-autonomous off-road navigation[C]//AUVSI Symposium.[S.l.:s.n.], 2002: 1-15.
[17]SAMPEDRO C, RODRIGUEZ-RAMOS A, BAVLE H, et al. A fully-autonomous aerial robot for search and rescue applications in indoor environments using learning-based techniques[J]. Journal of Intelligent amp; Robotic Systems, 2019, 95(2):601-627.
[18]RAO R, KUMAR V, TAYLOR C. Visual serving of a UGV from a UAV using differential flatness[C]//Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No.03CH37453). Las Vegas, NV, USA: IEEE, 2003: 743-748.
[19]SOFMAN B, BAGNELL J A, STENTZ A, et al. Terrain classification from aerial data to support ground vehicle navigation[Z/OL].[2021-10-10].http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=10B0B8ACB40F
B77DE036BD51DA8F4913?doi=10.1.1.71.1104amp;rep=rep1amp;type=pdf.
[20]HECKMAN N, LALONDE J F, VANDAPEL N, et al. Potential negative obstacle detection by occlusion labeling[C]// IEEE/RSJ International Conference on Intelligent Robots amp; Systems. USA: IEEE, 2007: 2168-2173.
[21]BEZZO N, GRIFFIN B, CRUZ P, et al. A cooperative heterogeneous mobile wireless mechatronic system[J]. IEEE/ASME Transactions on Mechatronics, 2014, 19(1):20-31.
[22]KLODT L, KHODAVERDIAN S, WILLERT V. Motion control for UAV-UGV cooperation with visibility constraint[C]// 2015 IEEE Conference on Control Applications (CCA). USA: IEEE, 2015: 1376-1385.
[23]DING Y L, XIN B, CHEN J. Precedence-constrained path planning of messenger UAV for air-ground coordination[J]. Control Theory and Technology, 2019, 17(1): 13-23.
[24]DING Y L, XIN B, CHEN J, et al. Path planning of messenger UAV in air-ground coordination[J]. IFAC-PapersOnLine, 2017, 50(1): 8045-8051.
[25]KELLY A, RANDER P, HERMAN H, et al. Real-Time, Multi-Perspective Perception for Unmanned Ground Vehicles[D]. USA: Carnegie Mellon University, 2003.
[26]VANDAPEL N, DONAMUKKALA R R, HEBERT M. Unmanned ground vehicle navigation using aerial ladar data[J]. The International Journal of Robotics Research, 2006, 25(1): 31-51.
[27] KSLIN R, FANKHAUSER P, STUMM E, et al. Collaborative localization of aerial and ground robots through elevation maps[C]// 2016 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). Lausanne, Switzerland: IEEE, 2016.
[28]ZHANG S, WANG H, HE S, et al. An autonomous air-ground cooperative field surveillance system with quadrotor UAV and unmanned ATV robots[C]// 2018 IEEE 8th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER). USA: IEEE, 2018: 284-290.
[29]PETERSON J, CHAUDHRY H, ABDELATTY K, et al. Online aerial terrain mapping for ground robot navigation[J]. Sensors, 2018, 18(2):630.
[30]JIN H K, KWON J W, SEO J. Multi-UAV-based stereo vision system without GPS for ground obstacle mapping to assist path planning of UGV[J]. Electronics Letters, 2014, 50(20): 1431-1432.
[31]王安青. 面向空-地機器人協(xié)作的環(huán)境感知與閉環(huán)檢測[D]. 大連: 大連理工大學, 2016.
[32]谷豐, 王爭, 宋琦, 等. 空地機器人協(xié)作導航方法與實驗研究[J]. 中國科學技術大學學報, 2012,42(5):398-404.
[33]TOKEKAR P, HOOK J V, MULLA D, et al. Sensor planning for a symbiotic UAV and UGV system for precision agriculture[J]. IEEE Transactions on Robotics, 2016, 32(6): 1498-1511.
[34]ROPERO F, MUNOZ P, MD R-Moreno. TERRA: a path planning algorithm for cooperative UGV-UAV exploration[J]. Engineering Applications of Artificial Intelligence, 2019, 78(2): 260-272.
[35]ZHU M, WEN Y Q. Design and analysis of collaborative unmanned surface-Aerial vehicle cruise systems[J]. Journal of Advanced Transportation, 2019(1): 107-116.
[36]LI J, DENG G, LUO C, et al. A hybrid path planning method in unmanned air/ground vehicle (UAV/UGV) cooperative systems[J]. IEEE Transactions on Vehicular Technology, 2016, 65(12): 9585-9596.
[37]席阿行, 趙津, 周滔, 等. UAV/UGV協(xié)同環(huán)境下的目標識別與全局路徑規(guī)劃研究[J]. 電子技術應用, 2019, 45(1): 5-9.
[38]HU Q X, ZHAO J, LEI H. Cooperative path planning for intelligent vehicle using unmanned air and ground vehicles[C]// Chinese Intelligent Systems Conference. China: Chinese society of artificial intelligence, 2018: 603-611.
[39]周滔, 趙津, 胡秋霞,等. 復雜環(huán)境下移動機器人全局路徑規(guī)劃與跟蹤[J]. 計算機工程, 2018, 44(12): 214-220.
[40]PENG K, LIU W D, SUN Q G, et al. Wide-area vehicle-drone cooperative sensing: opportunities and approaches[J]. IEEE Access, 2019, 7: 1818-1828.
[41]HU M L, LIU W D, PENG K, et al. Joint routing and scheduling for vehicle-assisted multi-drone surveillance[J]. IEEE Internet of Things Journal, 2018, 6 (2):1781-1790.
[42]HU M L, LIU W D, LU J Q, et al. On the joint design of routing and scheduling for Vehicle-Assisted Multi-UAV inspection[J]. Future Generation Computer Systems, 2019, 94: 214-223.
(責任編輯:周曉南)
趙津,男,1973年生,博士,教授,博士生導師,現(xiàn)任現(xiàn)代制造技術教育部重點實驗室常務副主任,教育部評估中心工程教育認證專家,貴州省省管專家,貴州省優(yōu)秀青年科技人才,獲貴州省普通本科高校“金師”,貴州省優(yōu)秀教師等稱號。長期從事智能網(wǎng)聯(lián)汽車,新能源汽車等領域研究。已承擔了國家自然科學基金,貴州省重大科技專項,企業(yè)橫向課題多項。發(fā)表論文80余篇,獲貴州省科技進步二等獎一項,貴州省研究生教學成果特等獎,貴州省高等教育教學成果一等獎等。
通訊作者:趙 津,E-mail:zhaoj@ gzu.edu.cn.
A Review of Air-ground Collaborative Robots Research
ZHAO Jin LIU Chang
(1.Key Laboratory of Advanced Manufacturing Technology, Ministry of Education, Guizhou University, Guiyang 550025, China;
2.School of Mechanical Engineering, Guizhou University, Guiyang 550025, China)
Abstract: Air-ground collaboration is a hot spot in the field of multi-intelligent research nowadays, which has characteristics of wide-area coverage, high environmental adaptability, and high task execution rate. Compared with a single-intelligent system, multi-intelligent collaboration highlights greater data matching, free collaboration, and a higher degree of system redundancy, which can be widely used in multiple domains. At the same time, the functional complementarity of heterogeneous multi-robot can be fully utilized to form a cross-domain collaborative system to implement task collaboration and information sharing, which essentially improves its perceptive capability, execution capability, and efficiency in the operation of a complex environment and task planning. Therefore, the organic coordination and cross-domain collaboration of multi-intelligent will lead to the new paradigm of future robotics and applications. This paper provides an overview of air-ground collaboration, i.e., unmanned ground vehicle (UGV) and unmanned aerial vehicle (UAV) collaboration as the research targets, we analyze the device type of air-ground collaboration systems and describe the task types, metrics, environments faced, role functions and collaboration models of air-ground collaboration, while we explore the capabilities of sensing, decision-making, and task execution under heterogeneous robotic platforms, and provide insights into the current potential improvements and challenges of air-ground systems in the future.
Key words: multi-domain cooperation; multi-intelligence; air-ground collaboration; mission planning