徐巍峰 徐非非 王文軍 潘明華 孟繁東
1(浙江省麗水市正好電力實(shí)業(yè)集團(tuán)有限公司 浙江 麗水 323020)2(浙江省麗水市正陽電力建設(shè)有限公司 浙江 麗水 323020)
通過自然語言交互[1]方法對智能機(jī)器進(jìn)行遠(yuǎn)程操控,已被廣泛應(yīng)用于應(yīng)急救援、危險(xiǎn)作業(yè)、電力巡線檢測等場景中。小型無人機(jī)能夠通過傳感載體對高空態(tài)勢進(jìn)行有效的探測和數(shù)據(jù)采集,尤其在電力巡線中可以減少人工檢測的復(fù)雜度,但目前對于特殊專業(yè)無人機(jī)的操控仍需專業(yè)訓(xùn)練的操作人員,通過自然語言的形式發(fā)出指令,當(dāng)操作人員對態(tài)勢環(huán)境不熟悉的情況下需要大量專家經(jīng)驗(yàn)或重新了解地面環(huán)境知識,以作出進(jìn)一步的分析和實(shí)施。與地面機(jī)器人人機(jī)交互不同,無人機(jī)在保證飛行安全的同時(shí),要完成更加精準(zhǔn)和穩(wěn)定的復(fù)雜動作,針對不同領(lǐng)域環(huán)境狀態(tài)調(diào)整無人機(jī)人機(jī)交互方式及如何融合各種狀態(tài)下無人機(jī)的應(yīng)對能力,是無人機(jī)智能可控研究面臨的挑戰(zhàn)[2-3]。
對于人機(jī)交互系統(tǒng),操作人員對智能機(jī)器的操控很大程度上取決于機(jī)器對指令用意和周邊環(huán)境的語義理解[4],語義本體[5-6]建模對自然語言的領(lǐng)域概念結(jié)構(gòu)及相互關(guān)系進(jìn)行定義推理是目前較為成熟的技術(shù),它采用標(biāo)準(zhǔn)化的統(tǒng)一格式能夠?qū)崿F(xiàn)人機(jī)交互的語義理解,進(jìn)而達(dá)到人機(jī)交流的共識標(biāo)準(zhǔn)。由于語義交互方法大部分用于地面機(jī)器人的導(dǎo)航系統(tǒng)[7-9],較少涉及無人機(jī)人機(jī)交互操控方法的研究和應(yīng)用。已有方法大致可分為兩類:(1) 集中于在模型框架的方法。如文獻(xiàn)[10]采用多層認(rèn)知框架的知識表示方法,描述無人機(jī)個(gè)體行為規(guī)劃和聯(lián)盟形成的過程,在高級認(rèn)知活動和反應(yīng)控制信號方面生成一個(gè)中介應(yīng)用于無人機(jī)控制中;文獻(xiàn)[11]在預(yù)測模型中融入語義知識表示方法刻畫物理環(huán)境實(shí)體,提供無人機(jī)交互控制的工具。(2) 集中于在建立自然語言接口的方法。如文獻(xiàn)[12]設(shè)計(jì)了基于領(lǐng)域自然指令方法,建立了面向自然語言接口的無人機(jī)交互控制系統(tǒng);文獻(xiàn)[13]借助層級式空間表達(dá)方式將地圖信息和環(huán)境實(shí)體抽取為概念圖,并用邏輯本體語言存儲相關(guān)領(lǐng)域知識推理環(huán)境實(shí)體,實(shí)現(xiàn)機(jī)器人或飛行器的人機(jī)交互的語義理解;文獻(xiàn)[14]將postGIS[15]空間數(shù)據(jù)庫的數(shù)據(jù)融入到語義地圖框架,提出了在幾何空間約束下的定性目標(biāo)推理方法,為無人機(jī)飛行器提供基于postGIS和語義地圖的3D操控框架。
基于上述研究,結(jié)合認(rèn)知框架和自然語言接口的優(yōu)勢,本文以電力巡線為領(lǐng)域背景,將語義本體引入無人機(jī)人機(jī)交互,以電力環(huán)境信息作為先驗(yàn)知識和本體推理的基礎(chǔ),構(gòu)建關(guān)于概念本體的知識庫和多元語義關(guān)系模型,通過標(biāo)簽稀疏拓?fù)鋱D推理語義位置關(guān)系,為無人機(jī)電力巡線提供軌跡控制和語義導(dǎo)航服務(wù)。
為提供人機(jī)交互控制的統(tǒng)一機(jī)制,系統(tǒng)框架由本體事實(shí)庫、多元語義關(guān)系結(jié)構(gòu)和語義解釋接口組成。(1) 本體事實(shí)庫是標(biāo)準(zhǔn)化的概念模型,為無人機(jī)環(huán)境感知提供統(tǒng)一的標(biāo)準(zhǔn)化接口,將語義Web框架Apache Jena[16]的原型集成,提供邏輯表達(dá)語言能力,以支持SPARQL[17]查詢語言,從而實(shí)現(xiàn)空間數(shù)據(jù)鏈接到本體知識庫的過程??臻g數(shù)據(jù)平臺采用postGIS,可以有效地支持2D和3D幾何圖形,其數(shù)據(jù)建立在PostgreSQL[12]關(guān)系數(shù)據(jù)庫基礎(chǔ)上,符合開放地理空間聯(lián)盟的標(biāo)準(zhǔn)。(2) 多元語義關(guān)系結(jié)構(gòu)是基于本體事實(shí)庫構(gòu)建,在無人機(jī)傳感器上裝載SLAM[18]程序記錄航行軌跡的每個(gè)位置,采用OWL語言描述以謂詞邏輯的表達(dá)方式對每個(gè)位置上的實(shí)體單元進(jìn)行定義,并對本體事實(shí)庫的OWL-DL[19]進(jìn)行語義擴(kuò)充,針對每個(gè)實(shí)體單元和幾何圖形等位置關(guān)系,為無人機(jī)局部探測的信息進(jìn)行動態(tài)概念的實(shí)時(shí)更新,形成案例事實(shí)庫。(3) 語義解釋接口是在無人機(jī)感應(yīng)器和本體事實(shí)庫之間建立的操作接口,為演示在無人機(jī)上的實(shí)際應(yīng)用,提供了與無人機(jī)操控系統(tǒng)綁定的語義接口并標(biāo)準(zhǔn)化為統(tǒng)一的本體結(jié)構(gòu)模式。
無人機(jī)語義交互系統(tǒng)框架如圖1所示。通過規(guī)則導(dǎo)入將postGIS數(shù)據(jù)庫中的數(shù)據(jù)形式化為本體概念,無人機(jī)通信網(wǎng)絡(luò)和傳感設(shè)備與本體事實(shí)庫連接,基礎(chǔ)數(shù)據(jù)存儲于postGIS中,根據(jù)已有的本體事實(shí)庫實(shí)現(xiàn)初步位置連接和軌跡控制,當(dāng)無人機(jī)傳感設(shè)備檢測到新的數(shù)據(jù)時(shí),共同更新postGIS數(shù)據(jù)和本體事實(shí)庫信息,并觸發(fā)多元語義關(guān)系的拓?fù)浣Y(jié)構(gòu)動態(tài)擴(kuò)充本體實(shí)體概念、關(guān)系和實(shí)例,語義解釋接口運(yùn)用OWL語言描述為語義導(dǎo)航和軌跡控制提供服務(wù)。
圖1 無人機(jī)語義交互系統(tǒng)框架
將postGIS數(shù)據(jù)庫的字段抽取為本體事實(shí)庫的概念集,UAV_Control為本體事實(shí)庫的頂點(diǎn),通過is_a關(guān)系集將概念集有效連接,每個(gè)概念集又存在實(shí)例集,從而形式化為一個(gè)五元組O_facts=(C,I,R,F,A)。本體事實(shí)庫模型如圖2所示。采用protégé軟件平臺,以電力巡線為應(yīng)用背景,對某一檢測區(qū)域在一定時(shí)間范圍內(nèi)的電力設(shè)施信息和地圖信息進(jìn)行本體建模,共有350個(gè)實(shí)體概念,2 000余個(gè)實(shí)例,并通過SWRL調(diào)試形成具有圖結(jié)構(gòu)的知識庫模型。
圖2 本體事實(shí)庫
本體事實(shí)庫中,C表示事實(shí)概念集合,分為基礎(chǔ)環(huán)境類、事實(shí)事物類和巡線操控類。其中,基礎(chǔ)環(huán)境類包括點(diǎn)、線、多邊形等概念,同時(shí)包含共6層子類。圖2中左邊為事實(shí)概念集合的樹形分布,通過自頂向下的方式構(gòu)建成父類、子類節(jié)點(diǎn),如Polygon概念類包含Telepole(電線桿)、TSwitch(刀閘)、Tower(桿塔)、Transmission(輸電設(shè)備)等子類,更具體地還包含了這些子類下的實(shí)例,如Tower的編號、名稱、面積、位置等。I的數(shù)據(jù)來源于postGIS數(shù)據(jù)庫數(shù)據(jù)字段內(nèi)的數(shù)據(jù),通過Apache Jena將postGIS數(shù)據(jù)封裝成支持SPARQL查詢語言的OWL模型。R表示關(guān)系集,集成了所有概念集之間的關(guān)系,包括包含關(guān)系、組成關(guān)系、因果關(guān)系等,通過關(guān)系表示使概念集之間相互連接,如is_a關(guān)系集成了各概念之間的子類與父類,connect_of關(guān)系集成了兩個(gè)實(shí)體之間的位置關(guān)系,consist_of關(guān)系集成了點(diǎn)、線、多邊形之間的組合關(guān)系,而move_to關(guān)系集成了無人機(jī)操控交互的因果關(guān)系,這些關(guān)系集作為多元語義提供語義解釋接口,添加可解釋語義標(biāo)簽后可為無人機(jī)提供路線控制和位置連接等功能。F為概念集上的函數(shù)集,定義了語義操控的交互動作,通過標(biāo)簽稀疏拓?fù)鋱D的方式集成了無人機(jī)在巡線過程中對每個(gè)動作狀態(tài)的轉(zhuǎn)移、變更和存儲功能。A為公理集合,集成了多元語義圖模型的各種連接關(guān)系,包括諸如謂詞邏輯、規(guī)則和搜索引擎,能夠?qū)崿F(xiàn)語義位置連接、動態(tài)概念擴(kuò)充等功能。
構(gòu)建了本體事實(shí)庫以后,完成了對postGIS空間數(shù)據(jù)向本體知識的圖形轉(zhuǎn)換,通過OWL語言構(gòu)建多進(jìn)一步抽取人機(jī)交互狀態(tài)。多元語義結(jié)構(gòu)分為拓?fù)潢P(guān)系生成T-Box和多元語義解釋接口S-Box兩部分,所有數(shù)據(jù)均來源于本體事實(shí)庫的基礎(chǔ)概念,通過語義解釋接口進(jìn)行連接,生成一個(gè)可讀寫的owl文檔,用于為無人機(jī)操作人員提供動態(tài)的語義操控模式,從而提高導(dǎo)航對位置、線路、關(guān)系的可解釋性。
目前無人機(jī)傳感器獲取的環(huán)境信息通過本體事實(shí)庫connect_of關(guān)系進(jìn)行了靜態(tài)連接,隨著交互操控的動態(tài)變化、飛行狀態(tài)區(qū)域與區(qū)域之間的快速變化和實(shí)體的移動,生成拓?fù)涞貓D觸發(fā)本體事實(shí)庫并動態(tài)更新本體事實(shí)庫知識,通過OWL語言描述并生成拓?fù)涞貓DT-Box,通過以下代碼實(shí)現(xiàn)兩個(gè)區(qū)域的實(shí)時(shí)連接:
? Environment rdf: type Environment: Polygon
? Polygon rdf: type Polygon: Area
? Polygon semap: connect_of ? Area1, Area2
? Polygon semap: hasObjectModel ? Area_object
? Area_object semap:hasConvextHull2D? Area_abstr2D
? Building rdf: type area: TelepoleAttributes
? BuildingAttributes semap: hasObjectModel ? Telepole_object
? Building_object semap:hasConvextHull2D ? Telepole _abstr2D
? Building _abstr2D semap: hasCoordinate ? Area_abstr2D
代碼描述為無人機(jī)飛行連續(xù)探測到區(qū)域Area1和Area2時(shí),自頂向下Environment-Polygon-Area構(gòu)建概念類,通過connect_of關(guān)系集將Area1和Area2進(jìn)行連接,當(dāng)Area范圍內(nèi)有建筑物Telepole時(shí),記錄Telepole上的屬性及結(jié)構(gòu),包括坐標(biāo)值、編號、特性、附屬實(shí)體等。然后借助save_facts由本體事實(shí)庫O_facts生成一個(gè)擴(kuò)展事實(shí)庫T-Box_facts,用流寫入O_facts,代碼如下:
save_facts:-%
open(‘T-Box_facts’, Write, Out)
findall(connect_of(Area1,Area2), O_facts)
writefact(O_facts,Out)
close(Out)
擴(kuò)展事實(shí)庫extends_facts描述了將所有區(qū)域位置進(jìn)行相連,從而生成拓?fù)鋱D數(shù)據(jù)庫。如圖3所示,T-Box進(jìn)一步說明了拓?fù)涞貓D在本體事實(shí)庫基礎(chǔ)上生成的關(guān)系,對于某一個(gè)Telepole而言,通過線路(has_line)、形狀(has_shape)、近鄰(is_Near)等關(guān)系不僅可以將無人機(jī)實(shí)時(shí)感知的地圖知識寫入到本體事實(shí)庫中,還可以將本體事實(shí)庫內(nèi)部的邏輯關(guān)系進(jìn)行擴(kuò)展和更新,提供語義接口的導(dǎo)航服務(wù)。
圖3 拓?fù)潢P(guān)系圖生成
對于無人機(jī)自身而言,可以根據(jù)本體事實(shí)庫的坐標(biāo)和實(shí)際感知位置相似或一致的情況,推理出當(dāng)前位置及該區(qū)域內(nèi)的實(shí)體信息。以下代碼描述了無人機(jī)通過簡單的深度搜索方法,在Polygon—Area—Tower_object中檢索到AreaObject所有的屬性值,包括其坐標(biāo)位置參數(shù)、路線參數(shù)等:
? Environment rdf:type Environment: Polygon
? Polygon rdf: type Polygon: Area
? Polygon semap: hasObjectModel ? Tower_object
? Area_object rdf: type area: TowerAttributes
? Tower semap: hasCoordinate ?(125 363, 47 528, 19,600)
? Tower semap: hasHTcable ?((125 363, 47 528, 20 600)(135 363, 49 558, 20 600))
獲取當(dāng)前位置及位置信息后,為操控人員提供行為模式的語義選擇,在拓?fù)潢P(guān)系圖基礎(chǔ)上,構(gòu)建一個(gè)語義空間結(jié)構(gòu)S-Box,描述為無人機(jī)如何針對目標(biāo)位置進(jìn)行線路規(guī)劃和位置選擇。如圖4所示,將S-Box的特征實(shí)例與T-Box的概念相對應(yīng),當(dāng)Polygon中的Area1與Area2相連,依據(jù)生成的拓?fù)潢P(guān)系圖,Area1通過at關(guān)系連接實(shí)體對象Object1和Object2,Area1通過at關(guān)系連接實(shí)體對象Object3、Object4、Object5和Object6,這些對象的實(shí)例通過Nav_Object函數(shù)擴(kuò)充概念的屬性,包括特征集Features(f1,f2,…,fn)和關(guān)系集Relations(r1,r2,…,rn),這些集合標(biāo)注了兩個(gè)實(shí)體之間連接的初始概率,提供了感應(yīng)設(shè)備對環(huán)境的語義解釋接口。因此,語義解釋接口可認(rèn)為是將本體事實(shí)庫中的感知特征和初始概率進(jìn)行編碼化的實(shí)例。通過語義解釋接口,U1表示為{(Object1 is_a Tower1),(Area1 has_a Coor), 0.1},U2表示為{(Object1 is_a Route),(Area1 has_a HTcable), 0.05},而在每個(gè)Object或Area概念類中均擴(kuò)充了語義文本實(shí)例。
圖4 語義解釋接口
多元語義結(jié)構(gòu)為無人機(jī)在動態(tài)環(huán)境下提供了可解釋的語義接口,可以根據(jù)位置判斷該區(qū)域的語義信息,在動態(tài)未知環(huán)境下飛行時(shí),感知器裝載的SLAM程序以連續(xù)幀方式形成了一個(gè)具有三維增量運(yùn)動圓柱形子集hsi,該子集由連續(xù)位置采集點(diǎn)構(gòu)成,而位置采集點(diǎn)形成拓?fù)潼c(diǎn)集。為提高位置節(jié)點(diǎn)的利用率,將hsi轉(zhuǎn)換為標(biāo)簽稀疏拓?fù)鋱D[20](Labeled Sparse Topological Map,LSTM),用于位置導(dǎo)航和軌跡控制時(shí)被調(diào)用。
(1)
(2)
位置的語義連接將采集的數(shù)據(jù)形成局部軌跡,而軌跡的控制實(shí)質(zhì)上是通過對多元語義模型的頂點(diǎn)和線路的檢索及選擇。由于在位置狀態(tài)推理中,位置上均加載了一個(gè)語義標(biāo)簽,為語義解釋接口提供了連接本體事實(shí)庫概念集的方式,具有位置與位置的局部語義連接,為得到最佳的全局軌跡控制,采用語義距離和空間距離進(jìn)行線路的檢索。
(3)
算法1目標(biāo)語義搜索算法
輸入:O_facts,查詢Q,已檢測位置序列Qu,期望位置結(jié)果數(shù)量k。
輸出:k個(gè)最優(yōu)LSTM位置節(jié)點(diǎn)。
1.Qu.Enqueue(root,0)
//初始化優(yōu)先隊(duì)列
//將查詢Q稀疏化為LSTM
3. while notQu.isempty() do
4. ifvCi是葉子節(jié)點(diǎn) andi≤kthen
7. end for
8. elsevCi為下一條結(jié)果
9. (RQ,vCi)←Qu.Deqeue()
//根據(jù)式(1)對Qu隊(duì)列中
//采用式(2)計(jì)算局部位置節(jié)點(diǎn)連接,逐步形成
//三維增量為圓柱形子集hst并獲取k個(gè)LSTM節(jié)點(diǎn)
10. if 已找到k條結(jié)果且滿足結(jié)果集RQ條件
11. return
12. end if
13. end while
結(jié)合研究內(nèi)容研發(fā)設(shè)計(jì)了一個(gè)基于語義本體的人機(jī)交互模擬演示系統(tǒng)(Semantic Interaction for UVA and Human System,SIUHS),在電力巡線中初步實(shí)驗(yàn)仿真,其圖形界面如圖5所示。系統(tǒng)采用Visual Studio 2010開發(fā),地理數(shù)據(jù)源于山區(qū)電力路線數(shù)字地圖,通過protégé 中OWL SPARQL查詢語言返回所有結(jié)果;用戶終端采用小型四旋翼無人機(jī)使飛行高度在50米至100米范圍之間,考慮到安全性所有飛行情景按規(guī)定模式執(zhí)行,仿真實(shí)驗(yàn)環(huán)境下保持外部環(huán)境良好狀態(tài)。
圖5 基于語義本體人機(jī)交互模擬演示系統(tǒng)圖形界面
由圖5可知,設(shè)定目標(biāo)塔桿,無人機(jī)A位置起點(diǎn)逐步檢測當(dāng)前的語義信息,首先觸發(fā)本體事實(shí)庫的概念集,通過多元語義邏輯關(guān)系關(guān)聯(lián)當(dāng)前位置的語義信息,包括到達(dá)目的地的所有位置信息,如Tower2(塔桿2)概念集下的Tower2_L1(塔桿2電線)、Tower2_HTcable1(塔桿2高壓線)、Tower2_LS1(塔桿2刀閘),Tower4(塔桿4)概念集下的Tower4_Insulator1(塔桿4絕緣子)、Tower4_TP1(塔桿4桿線)、Tower4_HTcable1(塔桿4高壓線),而這些概念集又包含了具體的屬性值和實(shí)例集,如塔桿高壓線的位置坐標(biāo)值、通信設(shè)備、線路長度等屬性,均可在系統(tǒng)中顯示;然后,對當(dāng)前的語義信息進(jìn)行LSTM表示,推理出位置狀態(tài)和時(shí)間轉(zhuǎn)換概率進(jìn)行語義位置連接,采用語義距離和空間距離進(jìn)行歸一化處理,為高空電力巡線提供了豐富的可視化語義服務(wù)。
圖6 位置狀態(tài)變化
語義推理結(jié)果從實(shí)際距離變化、目標(biāo)位置誤差和控制精度三個(gè)方面分析,結(jié)果如圖7所示。
(a) 實(shí)際距離變化
(b) 目標(biāo)位置誤差
(c) 基于PPK導(dǎo)航定位的精度控制圖7 語義推理結(jié)果分析
(1) 實(shí)際距離變化由實(shí)際距離與期望目標(biāo)的距離變化曲線得出,由圖7(a)可知,本文方法的實(shí)際距離與期望位置相對距離較小且振幅變化穩(wěn)定在2 m以內(nèi),說明了即使在postGIS圖上測量數(shù)據(jù)存在誤差及在實(shí)際飛行中傳感器成像需要一定時(shí)間的情景下,本文方法仍滿足穩(wěn)定的期望位置狀態(tài)估計(jì)。(2) 采用目標(biāo)位置誤差測量說明與傳統(tǒng)密集航點(diǎn)模式的優(yōu)勢,由圖7(b)可知,本文方法相比傳統(tǒng)密集航點(diǎn)模式在每5 s的采集點(diǎn)內(nèi)的平均誤差低10%。這是由于本文方法采用LSTM統(tǒng)一描述圓柱形子集hst及位置狀態(tài)之間的變化,降低了目標(biāo)位置節(jié)點(diǎn)的計(jì)算開銷,使誤差結(jié)果較??;而密集航點(diǎn)模式的位置節(jié)點(diǎn)零散不統(tǒng)一,雖然可以得出豐富語義信息,但會給提供操作人員的信息過載。(3)采用PPK[22-23]的定位導(dǎo)航方式進(jìn)一步說明本文方法控制精度的可行性。由圖7(c)可知,本文方法通過與人工蟻群方法[24]和Agent方法[25]比較,隨著路程和時(shí)間的增加,本文方法在GPS接收器所采集的定位數(shù)據(jù)測量處理后,平面精度控制在2.50±0.05 mm,這些性能得益于通過多元語義關(guān)系,為每個(gè)位置加載了語義標(biāo)簽并計(jì)算語義空間距離,匹配本體事實(shí)庫O_facts的實(shí)體位置點(diǎn),推理形成了語義關(guān)聯(lián)的位置連接,從而提高了控制的精度。而人工蟻群方法平面精度測量相對處于較大值,Agent方法精度測量值較低,但是在20 km后陷入跳躍不穩(wěn)定狀態(tài),說明不能夠達(dá)到交互控制的全局最優(yōu)。
無人機(jī)的人機(jī)交互很大程度上取決于機(jī)器對周邊環(huán)境概念的理解,而實(shí)現(xiàn)這一點(diǎn)的基礎(chǔ)是構(gòu)建有效的概念本體知識庫。本文以電力巡線為領(lǐng)域知識背景,以自然語言的方式實(shí)現(xiàn)無人機(jī)的遠(yuǎn)程操控,要求無人機(jī)能夠理解構(gòu)建的概念本體事實(shí)庫指令術(shù)語,并生成關(guān)于位置節(jié)點(diǎn)的拓?fù)潢P(guān)系圖和語義解釋接口,與地面機(jī)器人密集位置采集模式控制方式不同,在基于標(biāo)簽稀疏圖的語義位置推理和軌跡控制的基礎(chǔ)上,實(shí)現(xiàn)人機(jī)在統(tǒng)一的概念內(nèi)涵和位置推理基礎(chǔ)上的交互控制。研發(fā)了語義本體人機(jī)交互模擬演示系統(tǒng),通過實(shí)驗(yàn)證明本文方法的有效性,能夠幫助用戶更準(zhǔn)確地計(jì)劃、模擬和控制無人機(jī)的飛行軌跡和巡線路徑。然而,在現(xiàn)實(shí)環(huán)境中發(fā)現(xiàn),本文方法未考慮電力巡線過程中復(fù)雜環(huán)境下的交互控制,且傳感器成像的誤差也給數(shù)據(jù)的不確定性帶來了挑戰(zhàn)。未來將充分考慮復(fù)雜環(huán)境下的語義控制,不僅對外部的復(fù)雜巡線信息進(jìn)行處理,而且研究無人機(jī)自身的飛行狀態(tài)信息,以提供更高效的語義交互服務(wù)。