皇甫潤(rùn)南,田江鵬,游 雄,屠銥成

(1. 信息工程大學(xué),河南 鄭州 450052; 2. 61175部隊(duì),江蘇 南京 210046)

伴隨以大數(shù)據(jù)和深度學(xué)習(xí)為代表的新一輪人工智能技術(shù)浪潮,人工智能與武器裝備的結(jié)合日趨緊密,無(wú)人平臺(tái)已成為影響未來(lái)戰(zhàn)爭(zhēng)制勝機(jī)理的顛覆性技術(shù),也是形成顛覆性軍事能力的重大發(fā)展方向。無(wú)人平臺(tái)是一個(gè)多學(xué)科交叉的前沿領(lǐng)域,涉及的理論問(wèn)題和關(guān)鍵技術(shù)非常廣泛,從測(cè)繪學(xué)的視角來(lái)看,最有價(jià)值且最富挑戰(zhàn)的問(wèn)題之一是,如何提高無(wú)人平臺(tái)對(duì)復(fù)雜環(huán)境的感知、認(rèn)知和理解水平。時(shí)至今日,這一問(wèn)題已取得一定突破,特別是傳感器技術(shù)和機(jī)器學(xué)習(xí)算法的進(jìn)步將無(wú)人平臺(tái)推向了新的高度。自動(dòng)駕駛汽車已經(jīng)開(kāi)始進(jìn)入開(kāi)放環(huán)境路測(cè)[1],搭載傳感器的無(wú)人機(jī)可在野外環(huán)境中自由穿行[2],無(wú)人艦艇也逐漸出現(xiàn)在多個(gè)行業(yè)和領(lǐng)域[3]。然而,無(wú)人平臺(tái)對(duì)環(huán)境的自主感知與理解、推理和決策的問(wèn)題并未得到根本性解決,在新一輪人工智能的賦能下,逐漸成為不同領(lǐng)域競(jìng)相追逐的前沿?zé)狳c(diǎn)。

測(cè)繪領(lǐng)域已經(jīng)對(duì)這一研究熱點(diǎn)產(chǎn)生積極響應(yīng)。文獻(xiàn)[4]指出,新時(shí)期測(cè)繪與地圖的服務(wù)領(lǐng)域應(yīng)實(shí)現(xiàn)從地球表面向多維空間拓展,實(shí)現(xiàn)為“人”服務(wù)的測(cè)繪產(chǎn)品拓展到為智能機(jī)器人服務(wù)的平臺(tái)或系統(tǒng)提供測(cè)繪保障。地學(xué)領(lǐng)域與無(wú)人系統(tǒng)結(jié)合最為緊密的是面向自動(dòng)駕駛高精地圖[5-7]的研究與應(yīng)用。高精地圖是普通導(dǎo)航地圖的顛覆性升級(jí),因而以地圖作為無(wú)人平臺(tái)記錄和傳播地理信息的語(yǔ)言,將人類使用地圖的模式和機(jī)制移植到自動(dòng)駕駛車輛上,是高精地圖作為橋梁銜接地圖學(xué)與無(wú)人平臺(tái)的內(nèi)在發(fā)展邏輯。事實(shí)上,機(jī)器人、自動(dòng)控制等領(lǐng)域已經(jīng)采用各式各樣的地圖對(duì)客觀環(huán)境進(jìn)行抽象和描述,如特征地圖、柵格地圖、語(yǔ)義地圖等。從地圖學(xué)視角而言,隨著交叉研究的不斷深入和統(tǒng)一,一種適用于無(wú)人系統(tǒng)認(rèn)知理解環(huán)境信息、建立環(huán)境認(rèn)知模型、進(jìn)行空間推理決策的機(jī)器地圖[8]將出現(xiàn)在地圖家族序列之中。

當(dāng)認(rèn)知主體由人類變?yōu)闊o(wú)人平臺(tái),地圖的結(jié)構(gòu)和應(yīng)用模式也發(fā)生了相應(yīng)的變化,其中較為典型的是關(guān)于空間關(guān)系的記錄和描述。人用地圖并非顯式地記錄要素之間的各種關(guān)系,而是通過(guò)地圖閱讀在人類的視覺(jué)系統(tǒng)和大腦中重建要素之間的關(guān)系[9]。若使得無(wú)人平臺(tái)具備類似于人腦的理解和推理能力,就需要在地圖中顯式地描述要素間的空間關(guān)系,具體表現(xiàn)為3個(gè)層次的問(wèn)題。一是空間關(guān)系檢測(cè),即無(wú)人平臺(tái)通過(guò)各類傳感器,實(shí)時(shí)感知并解譯空間關(guān)系。其中,引用計(jì)算機(jī)視覺(jué)領(lǐng)域?qū)@一問(wèn)題的定義[10],本文將通過(guò)視覺(jué)傳感器獲得的空間關(guān)系稱為視覺(jué)空間關(guān)系。二是空間關(guān)系記錄,即需要設(shè)計(jì)一種能夠描述地理要素及其相互關(guān)系的數(shù)據(jù)結(jié)構(gòu),如場(chǎng)景圖[11]使用三元組結(jié)構(gòu),以清晰地表達(dá)場(chǎng)景中的對(duì)象、屬性及對(duì)象間的關(guān)系。三是空間關(guān)系模型,即需要為無(wú)人平臺(tái)建立空間關(guān)系的分類模式和描述規(guī)范,建立空間關(guān)系模型,實(shí)現(xiàn)無(wú)人平臺(tái)地圖在空間關(guān)系記錄和描述上的統(tǒng)一。上述3個(gè)問(wèn)題中,空間關(guān)系檢測(cè)和記錄在機(jī)器視覺(jué)領(lǐng)域取得了一定的突破[12-13],已經(jīng)能夠從算法層面實(shí)現(xiàn)視覺(jué)場(chǎng)景空間關(guān)系的實(shí)時(shí)預(yù)測(cè)。然而,不同檢測(cè)算法和支撐數(shù)據(jù)集中空間關(guān)系實(shí)例是隨意和分散的,無(wú)人平臺(tái)缺乏統(tǒng)一的視覺(jué)空間關(guān)系模型。

本文針對(duì)無(wú)人平臺(tái)視覺(jué)空間關(guān)系模型缺失的問(wèn)題,將地圖學(xué)和機(jī)器視覺(jué)中關(guān)于空間關(guān)系的分類、模型和算法進(jìn)行交叉融合,提出一種面向無(wú)人平臺(tái)的視覺(jué)空間關(guān)系模型,并通過(guò)試驗(yàn)對(duì)模型的可行性進(jìn)行檢驗(yàn)。

1 視覺(jué)空間關(guān)系模型

1.1 相關(guān)研究

地圖上表達(dá)的空間關(guān)系側(cè)重對(duì)空間實(shí)體對(duì)象之間所具有的空間特性的形式化,且大多用于描述空間對(duì)象之間的幾何關(guān)系[14]。文獻(xiàn)[15]將空間關(guān)系分為5類:拓?fù)潢P(guān)系(包含、鄰接、相交、相離等)、方位關(guān)系(東、南、西、北、上、下、左、右等)、順序關(guān)系(在……內(nèi)部、在……旁邊、在……外部等)、距離關(guān)系(基于度量表示的地理實(shí)體之間的距離遠(yuǎn)近程度)及模糊關(guān)系(接近、疏遠(yuǎn)、貼近等)。文獻(xiàn)[16]認(rèn)為拓?fù)潢P(guān)系、方位關(guān)系和度量關(guān)系是傳統(tǒng)空間關(guān)系的3種基本關(guān)系類型。在拓?fù)淇臻g中,拓?fù)潢P(guān)系所表示的關(guān)系與實(shí)體的位置和距離無(wú)關(guān),因而不會(huì)因空間實(shí)體的放大、縮小和位移而發(fā)生變化[17]。地圖對(duì)空間關(guān)系的分類模式系統(tǒng)性更強(qiáng),實(shí)例的定義空間分布特征更為明顯,且在拓?fù)洹⒎轿缓投攘?個(gè)基本分類上已經(jīng)形成共識(shí)。

在機(jī)器人領(lǐng)域,目標(biāo)檢測(cè)和語(yǔ)義分割技術(shù)日趨成熟,推動(dòng)了視覺(jué)空間關(guān)系檢測(cè)技術(shù)的發(fā)展。當(dāng)前,視覺(jué)空間關(guān)系檢測(cè)最新進(jìn)展依托于深度學(xué)習(xí)技術(shù),是一種描述主客體視覺(jué)空間關(guān)系的數(shù)據(jù)驅(qū)動(dòng)檢測(cè)流派。文獻(xiàn)[18]提出了首個(gè)面向場(chǎng)景圖、包含超過(guò)30個(gè)視覺(jué)空間關(guān)系類型的數(shù)據(jù)集Scene Graph。隨后,文獻(xiàn)[19]又提出了包含70個(gè)關(guān)系類別的VRD(visual relationship dataset)數(shù)據(jù)集,其中,描述關(guān)系的謂詞根據(jù)語(yǔ)法被分為活動(dòng)、空間、介詞、比較和謂詞5個(gè)類別。以此為基礎(chǔ),進(jìn)一步將靜態(tài)空間關(guān)系拓展為動(dòng)態(tài)空間關(guān)系,如在分析實(shí)體間空間關(guān)系時(shí)考慮時(shí)間因素影響的VG(visual genome)[18]數(shù)據(jù)集;聚焦動(dòng)態(tài)場(chǎng)景中時(shí)空特征表達(dá)的AG(action genome)[19]數(shù)據(jù)集,通過(guò)注意關(guān)系、空間關(guān)系和接觸關(guān)系3類關(guān)系,描述了視頻關(guān)鍵幀中人和其他物體的關(guān)系。

上述兩方面的現(xiàn)狀進(jìn)一步表明:對(duì)機(jī)器人領(lǐng)域和經(jīng)典地圖學(xué)的空間關(guān)系進(jìn)行研究,并沒(méi)有得到積極的交叉和相互啟發(fā)。在機(jī)器人領(lǐng)域,目標(biāo)識(shí)別和語(yǔ)義分割的日趨成熟,使得視覺(jué)空間關(guān)系檢測(cè)成為研究熱點(diǎn);而在地圖學(xué)領(lǐng)域,空間關(guān)系的研究仍主要面向人類主體,缺乏面向無(wú)人主體的拓展。鑒于此,參照地圖學(xué)在空間關(guān)系研究方面的經(jīng)驗(yàn),將不同機(jī)器視覺(jué)算法和數(shù)據(jù)集中分散的關(guān)系實(shí)例進(jìn)行統(tǒng)一整合,建立一種基于空間認(rèn)知機(jī)理,由機(jī)器視覺(jué)算法支撐的視覺(jué)空間關(guān)系模型,將會(huì)是提高無(wú)人平臺(tái)空間關(guān)系認(rèn)知和表達(dá)能力的可行方案之一。

1.2 分類模式

關(guān)于空間關(guān)系的表達(dá),在人工智能與地學(xué)領(lǐng)域存在一定差異[20],人工智能領(lǐng)域更注重空間關(guān)系的形式化表達(dá)與推理,而地理空間關(guān)系則聚焦于空間定位,以及地物的位置和屬性特征。二元定性空間關(guān)系的形式化表達(dá)及其組合是地學(xué)研究的核心內(nèi)容[21],主要體現(xiàn)為拓?fù)潢P(guān)系、方位關(guān)系和度量關(guān)系。作為地理學(xué)語(yǔ)言的地圖,則基于數(shù)學(xué)、符號(hào)和注記等規(guī)范記錄空間要素,空間關(guān)系蘊(yùn)含在其中。因此,關(guān)于位置的相互關(guān)系的表示,應(yīng)是無(wú)人平臺(tái)空間關(guān)系描述的關(guān)鍵問(wèn)題。

綜上所述,本文提出了統(tǒng)一的視覺(jué)空間關(guān)系分類模式,見(jiàn)表1?？傮w上將視覺(jué)空間關(guān)系分為位置關(guān)系與語(yǔ)義關(guān)系兩大類。位置關(guān)系進(jìn)一步分為拓?fù)潢P(guān)系、方位關(guān)系和距離關(guān)系,繼承了地學(xué)空間關(guān)系的一般表達(dá)規(guī)律。語(yǔ)義關(guān)系包括主體帶有目的性的動(dòng)作關(guān)系及主客體自身的屬性關(guān)系。動(dòng)作關(guān)系受認(rèn)知與視覺(jué)領(lǐng)域的啟發(fā),主要應(yīng)用于人或其他具有執(zhí)行動(dòng)作能力主體時(shí)的場(chǎng)景,根據(jù)主客體之間是否接觸及主體對(duì)客體的注意力情況分為注意關(guān)系與接觸關(guān)系。屬性關(guān)系主要對(duì)空間對(duì)象的類別、特征、屬性等其他語(yǔ)義關(guān)系進(jìn)行描述,可分為類屬關(guān)系、比較關(guān)系和相似關(guān)系。類屬關(guān)系主要用于描述具有相同類別或?qū)傩缘闹骺腕w,反映對(duì)象之間的特征、層次與實(shí)例情況;比較關(guān)系側(cè)重對(duì)主客體的屬性特征進(jìn)行對(duì)比分析;相似關(guān)系描述主客體之間某一屬性的相關(guān)性。

表1 統(tǒng)一的視覺(jué)空間關(guān)系分類模式

1.3 表達(dá)模型

基于上述無(wú)人平臺(tái)環(huán)境描述和空間關(guān)系表達(dá)的特殊性,結(jié)合統(tǒng)一的視覺(jué)空間關(guān)系分類模式,可以進(jìn)一步建立視覺(jué)空間關(guān)系表達(dá)模型。無(wú)人平臺(tái)在場(chǎng)景S中所建立的視覺(jué)空間關(guān)系圖表達(dá)模型,可表示為五元組,即

ReS=(O,R,E,T,F)

(1)

2 數(shù)據(jù)集設(shè)計(jì)

構(gòu)建無(wú)人平臺(tái)視覺(jué)空間關(guān)系模型,旨在提高其空間關(guān)系的預(yù)測(cè)和表達(dá)能力,而這種能力的評(píng)測(cè)最終需落在機(jī)器算法層面。因此,本文在現(xiàn)有視覺(jué)空間關(guān)系檢測(cè)算法的基礎(chǔ)上,通過(guò)構(gòu)建融合視覺(jué)空間關(guān)系模型的數(shù)據(jù)集,訓(xùn)練視覺(jué)空間關(guān)系檢測(cè)模型,比較不同模型的視覺(jué)空間關(guān)系檢測(cè)能力,從而對(duì)關(guān)系模型的可行性進(jìn)行驗(yàn)證。

2.1 數(shù)據(jù)集構(gòu)建

數(shù)據(jù)集構(gòu)建的步驟主要包括:①數(shù)據(jù)采集與處理,圍繞視覺(jué)空間關(guān)系模型包含的關(guān)系類型和實(shí)例,以室內(nèi)和室外園區(qū)環(huán)境為原型,以無(wú)人平臺(tái)自主導(dǎo)航尋路為任務(wù)背景,通過(guò)無(wú)人車及其搭載的視覺(jué)傳感器采集并獲得視頻數(shù)據(jù);同時(shí),采用FFmpeg插件從視頻中提取關(guān)鍵幀,并使用Faster R-CNN[22]工具從關(guān)鍵幀中提取視覺(jué)目標(biāo),以便后續(xù)試驗(yàn)處理。②視覺(jué)空間關(guān)系標(biāo)注,以視覺(jué)空間關(guān)系模型規(guī)定的關(guān)系類型和實(shí)例為依據(jù),采用人工標(biāo)注的方式,標(biāo)注關(guān)鍵幀圖像上目標(biāo)之間的空間關(guān)系,形成視覺(jué)空間關(guān)系數(shù)據(jù)集。數(shù)據(jù)集構(gòu)建流程如圖1所示。

圖1 數(shù)據(jù)集構(gòu)建流程

2.2 數(shù)據(jù)統(tǒng)計(jì)情況

本文構(gòu)建了3種測(cè)評(píng)數(shù)據(jù)集,以滿足試驗(yàn)方案中設(shè)計(jì)的3個(gè)模型評(píng)測(cè)需求。①自建數(shù)據(jù)集(self build dataset,SBD):嚴(yán)格按照視覺(jué)空間關(guān)系模型進(jìn)行數(shù)據(jù)采集和關(guān)系標(biāo)注構(gòu)建的數(shù)據(jù)集,以較為客觀地反映一個(gè)完整任務(wù)的視覺(jué)數(shù)據(jù)閉環(huán),該數(shù)據(jù)集主要用于空間關(guān)系分布特征分析試驗(yàn)和模型有效性分析試驗(yàn)。②AG抽樣集(Sampling AG,SamAG)[19]:是研究視覺(jué)關(guān)系檢測(cè)與動(dòng)態(tài)場(chǎng)景圖生成的常用數(shù)據(jù)集,可作為本文視覺(jué)空間關(guān)系模型和數(shù)據(jù)集的比照對(duì)象。考慮數(shù)據(jù)規(guī)模、關(guān)系分布等一致性問(wèn)題,本文采用隨機(jī)抽樣方法構(gòu)建SamAG數(shù)據(jù)集,以支撐與SBD數(shù)據(jù)集的橫向比較。③認(rèn)知數(shù)據(jù)集(Cognition Vision Relation Dataset,CogVRD):以自采數(shù)據(jù)集和AG數(shù)據(jù)集為基礎(chǔ),以視覺(jué)空間關(guān)系模型為依據(jù)進(jìn)行圖像篩選(按照?qǐng)鼍昂腿蝿?wù)的相似性選取了部分圖像)、關(guān)系補(bǔ)齊等操作獲得的數(shù)據(jù)集,主要用于空間關(guān)系預(yù)測(cè)能力分析試驗(yàn)。4種試驗(yàn)數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息見(jiàn)表2。

表2 試驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)

2.3 空間關(guān)系分布特征分析

以SBD數(shù)據(jù)集和SamAG數(shù)據(jù)集為基礎(chǔ),對(duì)空間關(guān)系構(gòu)成、分布特征和獨(dú)立性進(jìn)行分析,驗(yàn)證基于視覺(jué)空間關(guān)系模型構(gòu)建的數(shù)據(jù)集是否反映模型的結(jié)構(gòu)。

圖2為兩個(gè)數(shù)據(jù)集包含的空間關(guān)系分布情況?？梢钥闯?①以視覺(jué)空間關(guān)系模型中的關(guān)系類型為比較依據(jù),SBD比SamAG具有更好的空間關(guān)系覆蓋度,基本保證了每種空間關(guān)系都具有一定的出現(xiàn)頻次,說(shuō)明了數(shù)據(jù)集構(gòu)建遵循空間關(guān)系模型的結(jié)構(gòu);②兩個(gè)數(shù)據(jù)集中少部分空間關(guān)系頻次很高,而大部分空間關(guān)系出現(xiàn)的次數(shù)很少,空間關(guān)系分布均呈現(xiàn)典型的長(zhǎng)尾分布特點(diǎn),一定程度上能夠說(shuō)明基于空間關(guān)系模型構(gòu)建的數(shù)據(jù)集符合統(tǒng)計(jì)學(xué)特征;③SamAG中“in＿front＿of”“holding”“not＿contacting”等關(guān)系出現(xiàn)頻次較多,SBD中“meet”“not＿contacting”“in＿front＿of”等關(guān)系更為集中,兩者有所重疊但不完全一致。

圖2 數(shù)據(jù)集空間關(guān)系分布情況

圖3更為細(xì)致地比較了兩個(gè)數(shù)據(jù)集中空間關(guān)系分布的差異性。可以看出,SamAG的關(guān)系分布與SBD關(guān)系曲線具有一定的差異,兩個(gè)數(shù)據(jù)集中頻次靠前的空間關(guān)系也不盡相同,因而兩種數(shù)據(jù)集在一定程度上是相互獨(dú)立的。為進(jìn)一步驗(yàn)證這種獨(dú)立性,將兩個(gè)數(shù)據(jù)集的空間關(guān)系頻次歸一化到[0,1]區(qū)間內(nèi),使用歐式距離函數(shù)對(duì)兩個(gè)數(shù)據(jù)集的空間關(guān)系分布擬合度進(jìn)行計(jì)算,得出相似度為11.66%。

結(jié)果表明,SBD數(shù)據(jù)集和SamAG數(shù)據(jù)集在關(guān)系分布上具有獨(dú)立性,且SBD數(shù)據(jù)集具有更豐富的空間關(guān)系類型。一定程度上證明了SBD數(shù)據(jù)集能夠反映本文所提出的視覺(jué)空間關(guān)系模型,且數(shù)據(jù)集的獨(dú)立性特點(diǎn)為后續(xù)的比較試驗(yàn)奠定了基礎(chǔ)。

3 基于STTran的視覺(jué)關(guān)系檢測(cè)

3.1 時(shí)空Transformer

本文采用時(shí)空Transformer方法[13]完成視覺(jué)空間關(guān)系檢測(cè)模型的訓(xùn)練。時(shí)空Transformer是Transformer模型在視覺(jué)語(yǔ)言領(lǐng)域的拓展,由一個(gè)空間編碼器和一個(gè)時(shí)間解碼器構(gòu)成,能夠有效利用時(shí)空上下文信息進(jìn)行空間關(guān)系動(dòng)態(tài)預(yù)測(cè),適用于本文無(wú)人平臺(tái)時(shí)空連續(xù)視覺(jué)數(shù)據(jù)的處理需求。

3.2 評(píng)測(cè)任務(wù)和策略

引入視覺(jué)空間關(guān)系檢測(cè)常用的3個(gè)評(píng)測(cè)任務(wù)[23],即謂詞分類(predicate classification,PredCls)、場(chǎng)景圖分類(scene graph classification,SGCls)、場(chǎng)景圖預(yù)測(cè)(scene graph detection,SGDet)。其中,謂詞分類任務(wù)是根據(jù)對(duì)象標(biāo)簽和位置預(yù)測(cè)空間關(guān)系;場(chǎng)景圖分類是根據(jù)對(duì)象位置預(yù)測(cè)對(duì)象標(biāo)簽及其相互之間的空間關(guān)系;場(chǎng)景圖預(yù)測(cè)則是從關(guān)鍵幀中預(yù)測(cè)出標(biāo)簽、位置和空間關(guān)系。

評(píng)測(cè)策略方面,引入文獻(xiàn)[13]的無(wú)約束(no constraint)、有約束(with constraint)和半約束(semi constraint)3種策略。其中,對(duì)于空間關(guān)系三元組,無(wú)約束策略允許每個(gè)主客體對(duì)有多個(gè)謂詞猜測(cè),可以反映多標(biāo)簽預(yù)測(cè)的能力,但錯(cuò)誤率較高;有約束策略允許每個(gè)主客體對(duì)中最多一個(gè)謂詞,要求更為嚴(yán)格;半約束方法可以允許主客體有多個(gè)謂詞,當(dāng)且只有對(duì)應(yīng)關(guān)系的置信度高于設(shè)定閾值時(shí),才認(rèn)定該謂詞有效。

對(duì)于空間關(guān)系預(yù)測(cè)結(jié)果的評(píng)價(jià),本文使用召回率(Recall@K)作為評(píng)估指標(biāo)。召回率[10]是指對(duì)預(yù)測(cè)得到的空間關(guān)系三元組進(jìn)行排序,在排序?yàn)榍癒(本文取K=10,20,50,100)個(gè)預(yù)測(cè)中,計(jì)算預(yù)測(cè)正確關(guān)系所占的比例。

3.3 關(guān)系預(yù)測(cè)能力分析

對(duì)本文構(gòu)建的CogVRD數(shù)據(jù)集進(jìn)行空間關(guān)系預(yù)測(cè)試驗(yàn),與AG數(shù)據(jù)集的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析,從而對(duì)比本文模型的空間關(guān)系預(yù)測(cè)能力。

表3為AG數(shù)據(jù)集與CogVRD數(shù)據(jù)集在3種評(píng)測(cè)任務(wù)和成圖策略下的預(yù)測(cè)結(jié)果?？梢钥闯?整體上,CogVRD基于視覺(jué)空間關(guān)系模型和AG數(shù)據(jù)集進(jìn)行構(gòu)建,類似于AG數(shù)據(jù)集,任務(wù)難度越高,建模策略越復(fù)雜,召回率越低。數(shù)據(jù)細(xì)節(jié)上,CogVRD和AG數(shù)據(jù)集的表現(xiàn)總體趨于同等,在不同任務(wù)下各有優(yōu)劣:對(duì)于謂詞分類(PredCls)任務(wù),AG數(shù)據(jù)集訓(xùn)練的模型整體優(yōu)于CogVRD數(shù)據(jù)集;對(duì)于場(chǎng)景圖分類(SGCls)任務(wù),4種召回率下,CogVRD數(shù)據(jù)集均有所提高,CogVRD數(shù)據(jù)集訓(xùn)練模型的場(chǎng)景圖分類能力在局部略優(yōu)于AG數(shù)據(jù)集;難度較高的場(chǎng)景圖預(yù)測(cè)任務(wù)中,CogVRD數(shù)據(jù)集和AG數(shù)據(jù)集在不同策略下表現(xiàn)基本等同。

表3 CogVRD數(shù)據(jù)集和AG數(shù)據(jù)集的空間關(guān)系預(yù)測(cè)對(duì)比結(jié)果 (%)

試驗(yàn)結(jié)果表明,基于視覺(jué)空間關(guān)系構(gòu)建的CogVRD數(shù)據(jù)集,在保證與AG數(shù)據(jù)集相媲美的空間關(guān)系預(yù)測(cè)性能基礎(chǔ)上,擁有更加適合無(wú)人平臺(tái)環(huán)境地圖建模的空間關(guān)系分布情況,表明本文構(gòu)建的視覺(jué)空間關(guān)系模型在一定程度上優(yōu)化了視覺(jué)空間關(guān)系的建模能力。

4 結(jié) 論

無(wú)人平臺(tái)對(duì)環(huán)境理解能力受限是影響其自主能力整體提升的瓶頸之一,而為無(wú)人平臺(tái)構(gòu)建更加科學(xué)和智能的地圖模型,是未來(lái)提高其自主能力的重要方向之一。本文針對(duì)無(wú)人平臺(tái)視覺(jué)空間關(guān)系模型缺失問(wèn)題,將地圖學(xué)和機(jī)器視覺(jué)中關(guān)于空間關(guān)系的分類、模型和算法進(jìn)行交叉融合,提出了基于空間認(rèn)知的無(wú)人平臺(tái)視覺(jué)空間關(guān)系模型。將地圖學(xué)中空間關(guān)系的分類和描述方法,與機(jī)器視覺(jué)領(lǐng)域的視覺(jué)空間關(guān)系檢測(cè)和建模算法相結(jié)合,采用交叉融合式研究范式建立視覺(jué)空間關(guān)系模型,能夠改善當(dāng)前機(jī)器視覺(jué)領(lǐng)域空間關(guān)系不統(tǒng)一的問(wèn)題,對(duì)提高無(wú)人平臺(tái)視覺(jué)關(guān)系檢測(cè)、實(shí)現(xiàn)空間關(guān)系記錄和地圖模型構(gòu)建等具有一定的研究意義。

本文的局限性為:①視覺(jué)空間關(guān)系模型的進(jìn)一步完善,可根據(jù)應(yīng)用場(chǎng)景的差異性建立場(chǎng)景相關(guān)的視覺(jué)空間關(guān)系模型,提高關(guān)系預(yù)測(cè)的準(zhǔn)確性,推動(dòng)模型的應(yīng)用落地;②加強(qiáng)空間關(guān)系標(biāo)注準(zhǔn)確度和數(shù)據(jù)集建設(shè),以關(guān)系模型作為約束條件進(jìn)行數(shù)據(jù)標(biāo)注,也是非常耗時(shí)和耗力的工程,數(shù)據(jù)集的擴(kuò)充、優(yōu)化、按應(yīng)用場(chǎng)景分化等,都需要投入更多的努力;③深化視覺(jué)空間關(guān)系檢測(cè)與地圖建模的銜接,打通觀測(cè)、制圖和推理決策的一體化建模流程。