韓恩全
(海軍研究院,北京 100161)
自主式無人潛航器(AUV)是將人工智能、自動控制、模式識別、信息融合與理解、系統(tǒng)等集成技術(shù)應(yīng)用于傳統(tǒng)的水下平臺上,在無人操縱的情況下自主完成復(fù)雜海洋環(huán)境中預(yù)定任務(wù)的水下機器人。
目前我國已有多型用于深海探測、水下偵察、水下作業(yè)、爆破和作戰(zhàn)的AUV,但在避障方面普遍存在障礙物信息感知能力不強、智能化程度不高等問題。為保障AUV的安全自主航行,國外研究機構(gòu)正積極開展對未知環(huán)境下AUV導(dǎo)航問題的研究。未知環(huán)境下的自主導(dǎo)航對機器人的避障能力提出了更高的要求,國外在這方面的研究中主要是采用勢場法[1]、模糊控制[2]和神經(jīng)網(wǎng)絡(luò)[3]等綜合技術(shù)手段來檢測目標(biāo)。與國外研究相比,國內(nèi)也在不斷開展AUV避障及避障傳感器技術(shù)的研究,提出了很多解決方案,但大部分仍處于理論探索和初步實踐階段,應(yīng)用于AUV的避障技術(shù)也只具備在特定的條件下使用。目前,我國AUV避障手段經(jīng)歷了單波束測距聲吶、二維前視聲吶和三維成像聲吶[4]這一歷程,并在發(fā)展過程中取得了關(guān)鍵性成果。但與國外的成熟產(chǎn)品相比,仍存在較大不足,特別是在三維自主避障技術(shù)方面,國外早在20世紀(jì)就開始三維成像聲吶關(guān)鍵技術(shù)的研究,并取得了多項研究成果。美國FarSounder公司于 2001年推出 3D前視避障聲吶,得到了廣泛的應(yīng)用??v觀我國在三維避障聲吶技術(shù)的研究領(lǐng)域,雖然展開了三維成像聲吶的關(guān)鍵技術(shù)研究,但在三維自主避障聲吶技術(shù)的研究方面仍然處于起步階段。因此,研究基于三維信息的無人AUV避障技術(shù),對于提高AUV自主導(dǎo)航能力及智能化水平,擴展我國AUV的作戰(zhàn)區(qū)域和巡航范圍,加快軍事化運用進(jìn)程具有重要的意義。
AUV在復(fù)雜海洋環(huán)境中航行,可由感知系統(tǒng)和運動系統(tǒng)實現(xiàn)。在環(huán)境感知的基礎(chǔ)上實現(xiàn) AUV的航路規(guī)劃和導(dǎo)航。AUV根據(jù)導(dǎo)航信號,控制推進(jìn)器和方向舵,使得AUV主體向目標(biāo)點移動,實現(xiàn)自主航行。
在AUV航行過程中,由于AUV位于海洋環(huán)境之中,因而必然要與環(huán)境產(chǎn)生交互。此時 AUV與環(huán)境構(gòu)成了一個整體,所以在AUV運行的過程中必然要對一些事物進(jìn)行感知,例如:準(zhǔn)確地知道AUV當(dāng)前的位置,了解AUV航行方向是否有障礙物等。只有在AUV感知到環(huán)境信息時,AUV的決策機構(gòu)才能決定AUV下一步怎么做。通過執(zhí)行機構(gòu)完成AUV行動,根據(jù)AUV的感知信息進(jìn)行下一個動作,即AUV航行過程中就是一個動作—感知循環(huán)的過程,如圖1所示。
圖1 AUV動作—感知循環(huán)Fig.1 AUV action-sensing cycling
AUV內(nèi)部感知系統(tǒng)主要是對 AUV位置、姿態(tài)、速度和系統(tǒng)內(nèi)部狀態(tài)進(jìn)行監(jiān)控,用以感知AUV本體狀態(tài)的內(nèi)部感知系統(tǒng):定位系統(tǒng)和檢測系統(tǒng)。定位系統(tǒng)即根據(jù)GPS、姿態(tài)傳感器等設(shè)備信息對AUV的位置、速度、姿態(tài)等進(jìn)行推測;檢測系統(tǒng)是完成AUV系統(tǒng)狀態(tài),例如:判斷執(zhí)行機構(gòu)是否有效以及傳感器是否故障等工作。
AUV外部感知系統(tǒng)主要是指AUV依據(jù)自身所攜帶的各種傳感器,對海洋環(huán)境信息進(jìn)行獲取、測量和融合的一種過程。實踐證明:水聲技術(shù)是AUV在海洋環(huán)境下進(jìn)行探測、通訊、導(dǎo)航和定位的最佳手段,因此AUV外部感知系統(tǒng)是由各種聲吶及其它環(huán)境探測傳感器等組成,包括三維避障聲吶、導(dǎo)航聲吶和通訊聲吶,還有測量海洋水文環(huán)境的CTD、海流計等設(shè)備。其中,三維避障聲吶主要完成AUV周圍環(huán)境地形地貌信息的獲?。簩?dǎo)航聲吶包括多普勒計程儀、聲相關(guān)計程儀、長基線和短基線定位聲吶,主要是根據(jù)外部信息實現(xiàn) AUV自身位置的精確定位;通訊聲吶主要是完成 AUV與外界的信息交互。
在一個動態(tài)非結(jié)構(gòu)化的海洋環(huán)境中,AUV通過高精度的外界感知系統(tǒng)獲得準(zhǔn)確的信息,是AUV自主安全地導(dǎo)航、順利完成指定任務(wù)的前提。因此,AUV利用自身的各種聲吶傳感器對外界環(huán)境信息進(jìn)行主動獲取或被動感知,進(jìn)而對各種感知信息進(jìn)行數(shù)據(jù)融合,得到周圍環(huán)境信息,進(jìn)而完成AUV精確定位、障礙物探測、環(huán)境模型構(gòu)建等任務(wù)。
AUV環(huán)境感知與地形建模系統(tǒng)框圖如圖 2所示。AUV在海洋環(huán)境下執(zhí)行特定任務(wù)的過程中,一方面,經(jīng)自身攜帶的姿態(tài)傳感器感知自身的姿態(tài)和位置;另一方面,由聲吶感知外界環(huán)境信息,然后經(jīng)數(shù)據(jù)信息關(guān)聯(lián),由地圖構(gòu)建算法建立周圍環(huán)境并可視化,經(jīng)與虛擬地形比較,驗證環(huán)境感知系統(tǒng)的準(zhǔn)確性和穩(wěn)定性。環(huán)境感知系統(tǒng)模型主要包括:坐標(biāo)系統(tǒng)模型、AUV運動模型、環(huán)境地圖模型、聲吶觀測模型、環(huán)境特征的動態(tài)模型以及傳感器噪聲模型和系統(tǒng)噪聲模型。
圖2 環(huán)境感知系統(tǒng)框圖Fig.2 Block diagram of environment sensing system
障礙物感知系統(tǒng)主要由感知聲吶、任務(wù)計算機和同步控制器組成。如圖3所示,障礙物探測設(shè)備包括三維自主避障聲吶、多普勒計程儀等,主要功能是獲取探測區(qū)域的三維環(huán)境數(shù)據(jù)信息和AUV速度、離底高度等信息。多普勒計程儀為慣導(dǎo)提供AUV下方水域深度信息,結(jié)合深度計確定航行海域海底深度。任務(wù)計算機主要運行數(shù)據(jù)處理軟件,存儲聲吶獲取的圖像數(shù)據(jù)并進(jìn)行解算,進(jìn)行三位環(huán)境建模、障礙物識別。同步控制器主要控制聲學(xué)設(shè)備的時序,減少相互之間的聲干擾。
圖3 障礙物感知系統(tǒng)組成Fig.3 Composition of obstacle sensing system
三維障礙物數(shù)據(jù)處理系統(tǒng)主要由聲吶數(shù)據(jù)處理和障礙物避碰及航路規(guī)劃 2部分組成。其中,聲吶數(shù)據(jù)處理的功能主要包含4個方面:1)獲取原始三維聲吶數(shù)據(jù);2)聲吶數(shù)據(jù)解析;3)小目標(biāo)探測;4)障礙物信息的環(huán)境模型建立。避障及航路規(guī)劃的功能主要有 2點:實時動態(tài)路徑規(guī)劃和自主避障決策。
軟件架構(gòu)的設(shè)計依照開—閉原則,通過面向?qū)ο蟮姆庋b、繼承和多態(tài)降低程序模塊之間的耦合度,將聲吶數(shù)據(jù)模塊與圖像處理算法分開,實現(xiàn)不同類型二維或三維避碰聲吶數(shù)據(jù)兼容要求。
圖4 聲吶數(shù)據(jù)處理軟件(聲吶圖像、識別結(jié)果、狀態(tài)信息、運動軌跡綜合顯示)Fig.4 Sonar data processing software(comprehensive display of sonar image,recognition result,status information,and motion track)
1.7.1 障礙物檢測流程圖
基于深度學(xué)習(xí)[5-6]模型的障礙物檢測整體可分為 3個流程,首先利用深度卷積神經(jīng)網(wǎng)絡(luò)[7-8]對原始圖像進(jìn)行特征提取,在獲得原始圖像的特征層后,利用目標(biāo)邊框預(yù)測算法對目標(biāo)邊界框進(jìn)行預(yù)測,然后檢測與識別網(wǎng)絡(luò)分別負(fù)責(zé)對產(chǎn)生的邊界框中的內(nèi)容進(jìn)行修正與識別工作,最后輸出結(jié)果。
圖5 障礙物檢測算法框圖Fig.5 Block diagram of obstacle detection algorithm
1.7.2 障礙物標(biāo)定
1)訓(xùn)練和測試樣本制作。
制作訓(xùn)練與測試數(shù)據(jù)集,制作過程如下:
①根據(jù)三維聲吶數(shù)據(jù)格式進(jìn)行數(shù)據(jù)解析,生成三維避碰聲吶俯視圖像(垂直方向上取所有值的最大值),生成三維避碰聲吶平面扇形圖。
②將全部樣本(從所有數(shù)據(jù)中挑選3 000張進(jìn)行測試)按條次分成2部分:2 100張作為訓(xùn)練使用,900張作為測試使用,900張圖片均屬于相同航行條次。
③聲吶圖像統(tǒng)一裁剪為 800×500,最大限度利用聲吶扇形探測區(qū)域。
2)三維聲吶圖像目標(biāo)訓(xùn)練樣本標(biāo)記。
使用labelImg數(shù)據(jù)標(biāo)注工具對全部3 000張圖片進(jìn)行標(biāo)注,標(biāo)注時選擇將所有障礙物進(jìn)行全部框選模式,標(biāo)注完成后將訓(xùn)練樣本和測試樣本分別放入2個文件夾中。
3)模型訓(xùn)練。
模型訓(xùn)練參數(shù)及試驗計算機參數(shù)如表1所示。
表1 模型訓(xùn)練參數(shù)及試驗計算機參數(shù)Table 1 Model training parameters and test computer parameters
根據(jù)構(gòu)建的特征提取網(wǎng)絡(luò)模型以及設(shè)置的訓(xùn)練參數(shù)對特征網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果如圖6所示,其中藍(lán)色曲線為損失函數(shù)曲線。
圖6 損失函數(shù)曲線Fig.6 Loss function curve
從圖6可以看出,網(wǎng)絡(luò)訓(xùn)練效果良好,在迭代約800次后,損失函數(shù)值約為0.22,且隨著輪數(shù)的增加不斷下降,說明網(wǎng)絡(luò)訓(xùn)練效果比較理想。
4)模型驗證。
對 900張測試圖片使用訓(xùn)練好的模型進(jìn)行障礙物識別,對識別結(jié)果進(jìn)行統(tǒng)計,截取部分障礙物目標(biāo)識別結(jié)果如圖7所示。
圖7 障礙物識別結(jié)果Fig.7 Obstacle recognition result
根據(jù)識別結(jié)果可以有效的檢測出障礙物目標(biāo)。
以漳河觀音島周邊小島、觀音島東側(cè)崖壁為目標(biāo),驗證障礙物自主規(guī)避算法。
圖8 漳河水域島嶼目標(biāo)Fig.8 Island target of Zhanghe reservoir
圖9 試驗航路簡圖Fig.9 Test route
以測試點1為例,說明測試結(jié)果。
圖10 聲吶三維成像圖Fig.10 Sonar 3D imaging map
從柵格數(shù)據(jù)中可以明顯看出在船舷左側(cè)出現(xiàn)一高度明顯延伸至水面的弧形障礙物。由于小島2周圍有一淺灘,因此在水下探測到大面積的障礙物,障礙物探測識別結(jié)果準(zhǔn)確,可準(zhǔn)確反映出障礙物三維輪廓圖像。
試驗結(jié)果顯示:該自主避障算法可以較好的規(guī)避障礙物目標(biāo),從A點運行到B點。
本文采用三維成像聲吶和深度學(xué)習(xí)技術(shù),提出了水下無人航行器目標(biāo)自主規(guī)避算法。通過試驗過程中對三維聲吶采集數(shù)據(jù)的實時觀察及試驗后對試驗數(shù)據(jù)分析,得出圖像數(shù)據(jù)可完整地反映出水下障礙物正面投影的三維輪廓,采用深度學(xué)習(xí)技術(shù)可以有效的檢測出障礙物并準(zhǔn)確計算出障礙物目標(biāo)地區(qū)域,能夠有效規(guī)劃水下無人航行器航路,提高水下無人航行器自主航行的安全性。