亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學(xué)習(xí)的三維感知算法在船舶自主靠泊場(chǎng)景中的應(yīng)用

        2021-04-12 10:16:36謝涵清鄧乃銘
        艦船科學(xué)技術(shù) 2021年3期
        關(guān)鍵詞:卷積船舶神經(jīng)網(wǎng)絡(luò)

        謝涵清,鄧乃銘

        (上海交通大學(xué)高新船舶與深海開發(fā)裝備協(xié)同創(chuàng)新中心,上海200240)

        0 引言

        2018年,中國(guó)船級(jí)社發(fā)布了《自主貨物運(yùn)輸船舶指南》[1],指出了自主貨物運(yùn)輸船的構(gòu)造以及船舶各系統(tǒng)的目標(biāo)和功能要求,其中就包括船舶自主靠離泊這一操作場(chǎng)景,規(guī)定了其場(chǎng)景感知等相關(guān)技術(shù)要求。感知技術(shù)是保證船舶自主系統(tǒng)的核心功能模塊,是自主靠泊的前提和決策控制的重要依據(jù)。本文以船舶自主靠泊感知算法為核心問題展開研究。

        船舶領(lǐng)域常用的感知設(shè)備有攝像頭、雷達(dá)和激光雷達(dá)等。攝像頭具有特征稠密、顏色信息豐富等優(yōu)點(diǎn),但難以獲得空間信息。雷達(dá)和激光雷達(dá)能夠精準(zhǔn)地獲取距離信息,但存在數(shù)據(jù)稀疏,特征不足等缺陷。近年來的研究基本可以分為基于點(diǎn)云的探測(cè)技術(shù)[2],基于圖像的檢測(cè)技術(shù)[3]和基于多傳感器數(shù)據(jù)的檢測(cè)技術(shù)[4],這些方法大多通過人工定義目標(biāo)特征,泛化能力和精度都比較差。隨著人工智能的發(fā)展,深度學(xué)習(xí)技術(shù)逐步應(yīng)用在無人船感知算法中,以圖像檢測(cè)為例,如文獻(xiàn)[5]將深度網(wǎng)絡(luò)Fast-RCNN應(yīng)用在海上艦船目標(biāo)檢測(cè)中,檢測(cè)的準(zhǔn)確率和速度都有一定的提升。但是目前基于深度學(xué)習(xí)的多傳感器融合技術(shù)在船舶領(lǐng)域還未被實(shí)現(xiàn)與應(yīng)用,而國(guó)內(nèi)外這方面的技術(shù)已經(jīng)在其他領(lǐng)域[6]取得不錯(cuò)成果。

        本文根據(jù)《指南》對(duì)船舶靠泊探測(cè)范圍和測(cè)量精度的要求,選擇攝像頭和激光雷達(dá)作為船舶自主靠泊的感知設(shè)備,設(shè)計(jì)并實(shí)現(xiàn)了基于深度學(xué)習(xí)的三維感知算法,使用卷積神經(jīng)網(wǎng)絡(luò)提取點(diǎn)云與圖像的特征,利用空間連續(xù)卷積網(wǎng)絡(luò)將兩者特征進(jìn)行深度融合,并在融合兩者優(yōu)勢(shì)的特征圖上檢測(cè)三維目標(biāo)。然后搭建了一個(gè)基于虛擬物理引擎的船舶靠泊仿真系統(tǒng),實(shí)現(xiàn)以低成本創(chuàng)建船舶靠泊場(chǎng)景數(shù)據(jù)集。最后構(gòu)建基于GNC框架的自主靠泊系統(tǒng),進(jìn)行靠泊仿真試驗(yàn),對(duì)算法性能進(jìn)行驗(yàn)證。

        1 感知算法設(shè)計(jì)與實(shí)現(xiàn)

        1.1 感知算法架構(gòu)

        本文采用攝像頭和激光雷達(dá)作為靠泊感知設(shè)備,構(gòu)建基于深度學(xué)習(xí)的三維感知算法,框架如圖1所示。算法由3個(gè)核心網(wǎng)絡(luò)組成,用于特征提取的卷積神經(jīng)網(wǎng)絡(luò),用于特征融合的空間連續(xù)卷積網(wǎng)絡(luò)和用于目標(biāo)識(shí)別與定位的檢測(cè)生成網(wǎng)絡(luò)。首先對(duì)點(diǎn)云進(jìn)行預(yù)處理,生成卷積神經(jīng)網(wǎng)絡(luò)能處理的數(shù)據(jù)格式。卷積神經(jīng)網(wǎng)絡(luò)將處理后的點(diǎn)云或圖像作為輸入,輸出高語義的特征圖??臻g連續(xù)卷積網(wǎng)絡(luò)將輸出的圖像特征融入點(diǎn)云卷積神經(jīng)網(wǎng)絡(luò)的多層特征圖中。檢測(cè)生成網(wǎng)絡(luò)可以預(yù)測(cè)檢測(cè)框的類別和回歸檢測(cè)框的邊界。由于網(wǎng)絡(luò)比較復(fù)雜,若單單靠三維檢測(cè)流的損失函數(shù)進(jìn)行模型訓(xùn)練,圖像卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過過長(zhǎng)的反向傳播鏈,參數(shù)已經(jīng)難以優(yōu)化。為此,本文額外增加了以圖像為主的二維檢測(cè)生成網(wǎng)絡(luò),通過二維檢測(cè)和三維檢測(cè)的聯(lián)合訓(xùn)練,輔助模型參數(shù)更新,提高三維檢測(cè)的精度。

        圖1 感知算法架構(gòu)Fig.1 Perception algorithm framework

        1.2 點(diǎn)云數(shù)據(jù)預(yù)處理

        點(diǎn)云數(shù)據(jù)處理是對(duì)不規(guī)則且無序的點(diǎn)云進(jìn)行規(guī)整化處理,盡可能保留靠泊場(chǎng)景的空間信息,將點(diǎn)云轉(zhuǎn)換成卷積神經(jīng)網(wǎng)絡(luò)能使用的數(shù)據(jù)形式,降低了數(shù)據(jù)的空間復(fù)雜度,并加快計(jì)算效率。本文根據(jù)鳥瞰圖處理法(BEV)[7],按0.1m的分辨率劃分點(diǎn)云的探測(cè)空間,將點(diǎn)云的高度和強(qiáng)度信息作為特征通道,生成點(diǎn)云映射到水平面上的多特征通道網(wǎng)格圖。若存在掃描點(diǎn)落在某網(wǎng)格單元的某高度空間范圍內(nèi),則該網(wǎng)格單元在該高度的特征值記為1,反之為0。網(wǎng)格單元的強(qiáng)度特征值為該位置豎直方向上的所有掃描點(diǎn)的強(qiáng)度平均值。

        1.3 基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取

        卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)特征提取常用的方法,其具有表征學(xué)習(xí)的能力,利用卷積、池化等操作不斷提取和學(xué)習(xí)高層次的特征。本文選擇殘差網(wǎng)絡(luò)[8]作為點(diǎn)云和圖像特征提取的基礎(chǔ),并在此基礎(chǔ)上進(jìn)行優(yōu)化,結(jié)構(gòu)如圖2所示。殘差網(wǎng)絡(luò)是一種易于訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),由多個(gè)殘差塊組成。由于靠泊場(chǎng)景存在較多目標(biāo)與本船距離較遠(yuǎn)的情況,后續(xù)算法很難從殘差網(wǎng)絡(luò)輸出的低分辨率特征圖中提取豐富的信息。因此,本文結(jié)合殘差的思想在網(wǎng)絡(luò)尾部新增上采樣操作,增大輸出特征圖分辨率,并使用網(wǎng)絡(luò)中間的高分辨率特征圖恢復(fù)細(xì)節(jié)特征,用于后續(xù)特征融合和目標(biāo)檢測(cè)使用。

        圖2 殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Resnet structure

        1.4 基于空間連續(xù)卷積網(wǎng)絡(luò)的特征融合

        為了利用點(diǎn)云和圖像各自的優(yōu)勢(shì),需要將兩者的特征圖進(jìn)行深度融合,以提高目標(biāo)檢測(cè)識(shí)別和定位的精度。本文基于空間信息和多層感知器(M LP),提出了一種改進(jìn)的空間連續(xù)卷積網(wǎng)絡(luò)[9],將圖像卷積神經(jīng)網(wǎng)絡(luò)提取的特征數(shù)據(jù)和點(diǎn)云空間信息,融入點(diǎn)云卷積神經(jīng)網(wǎng)絡(luò)的多層特征圖中,構(gòu)建更加稠密的點(diǎn)云特征圖,如圖3所示。若要計(jì)算點(diǎn)云特征圖中某網(wǎng)格單元(方塊1)待融合的特征,首先基于最鄰近算法找到與該網(wǎng)格單元距離最近的若干掃描點(diǎn)(灰黑色圓點(diǎn)),根據(jù)感知設(shè)備的空間幾何模型將這些掃描點(diǎn)映射到圖像的像素空間中,利用插值法找到對(duì)應(yīng)的圖像特征(方塊2),最后將這些圖像特征和掃描點(diǎn)距離該網(wǎng)格單元中心的三維偏移量拼接在一起,使用多層感知器計(jì)算出該網(wǎng)格單元待融合的特征,最終與原始特征相加完成特征融合。

        1.5 基于檢測(cè)生成網(wǎng)絡(luò)的目標(biāo)識(shí)別與定位

        圖3 空間連續(xù)卷積原理圖Fig.3 Spatial continuous convolution schematic

        目標(biāo)識(shí)別與定位是自主靠泊感知算法最終的結(jié)果輸出。本文提出一種基于全卷積的檢測(cè)生成網(wǎng)絡(luò),使用卷積操作取代普通檢測(cè)網(wǎng)絡(luò)的全連接層,直接預(yù)測(cè)靠泊場(chǎng)景中各類目標(biāo)的類別和回歸目標(biāo)的邊界。二維與三維的檢測(cè)生成算法原理和步驟基本一致,文中以三維為例。該方法通過權(quán)值共享的方式重復(fù)利用參數(shù),使檢測(cè)生成網(wǎng)絡(luò)更加高效。檢測(cè)生成網(wǎng)絡(luò)根據(jù)功能分為識(shí)別模塊和定位模塊。識(shí)別模塊能預(yù)測(cè)特征圖中每個(gè)網(wǎng)格單元可能存在的三維檢測(cè)框的各類別置信度,將概率最高的類別設(shè)為該檢測(cè)框的類別,其中背景也視為一種特殊的類別。定位模塊對(duì)三維檢測(cè)框的邊界進(jìn)行回歸,得到能夠準(zhǔn)確的三維檢測(cè)框。對(duì)于邊框回歸值,選擇簡(jiǎn)化的中心點(diǎn)編碼,只需6個(gè)參數(shù)就可以確定三維檢測(cè)框的唯一位置,如圖4所示。相比八角編碼,需要學(xué)習(xí)的參數(shù)量更少,更容易訓(xùn)練。在模型訓(xùn)練時(shí),計(jì)算檢測(cè)生成網(wǎng)絡(luò)輸出的結(jié)果與真實(shí)標(biāo)簽的偏差,作為損失函數(shù)指導(dǎo)整個(gè)感知網(wǎng)絡(luò)的優(yōu)化,尋找參數(shù)最優(yōu)解。其中檢測(cè)框分類損失函數(shù)Lcls如式(1),回歸邊界的損失函數(shù)Lreg如式(2)和式(3),p與t分別為某網(wǎng)格單元對(duì)應(yīng)的預(yù)測(cè)值與真實(shí)值,c為物體類別,i為邊界值。

        圖4 中心點(diǎn)編碼原理圖Fig.4 Center point coding schematic

        2 船舶靠泊仿真系統(tǒng)

        2.1 仿真系統(tǒng)架構(gòu)

        為低成本獲取模型訓(xùn)練數(shù)據(jù)集以及驗(yàn)證算法在自主靠泊場(chǎng)景中的效果,本文將基于ROS和Gazebo建立自主靠泊仿真系統(tǒng),模擬靠泊場(chǎng)景,框架如圖5所示。ROS是斯坦福大學(xué)人工智能實(shí)驗(yàn)室主導(dǎo)開發(fā)的分布式機(jī)器人軟件框架,Gazebo是一個(gè)能夠與ROS完美兼容的仿真平臺(tái)。本文設(shè)計(jì)與實(shí)現(xiàn)了基于Gazebo多種物理引擎的靠泊仿真場(chǎng)景,定義光線環(huán)境,導(dǎo)入三維建模軟件設(shè)計(jì)的湖泊、碼頭標(biāo)志物等模型,還原真實(shí)靠泊環(huán)境?;贔OSSEN[10]提出的船舶控制方程,構(gòu)建無人船六自由度仿真模型,賦予無人船運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)性能,結(jié)合激光雷達(dá)、攝像頭、GPS、IMU等多種仿真?zhèn)鞲衅鳎x予無人船自由航行和環(huán)境感知等能力,其中考慮到靠泊的具體情況,將攝像頭布置在無人船的一側(cè)。此外,將自主靠泊等算法模塊包裝成ROS節(jié)點(diǎn),在仿真系統(tǒng)中運(yùn)行,并利用RVIZ工具實(shí)現(xiàn)數(shù)據(jù)可視化。

        圖5 仿真系統(tǒng)架構(gòu)Fig.5 Simulation system structure

        2.2 靠泊場(chǎng)景數(shù)據(jù)采集與訓(xùn)練

        目前國(guó)內(nèi)外還沒有可以應(yīng)用在真實(shí)航運(yùn)或靠泊場(chǎng)景中的公開多傳感器數(shù)據(jù)集,故本文基于仿真系統(tǒng)創(chuàng)建靠泊場(chǎng)景數(shù)據(jù)集,如表1所示。在靠泊仿真系統(tǒng)中遙控?zé)o人船,多角度多距離觀測(cè)靠泊目標(biāo),包括碼頭標(biāo)志物和被補(bǔ)給船,采集激光雷達(dá)、攝像頭、GPS和IMU的傳感器數(shù)據(jù),同時(shí)記錄多種靠泊目標(biāo)的姿態(tài)和位置信息。通過坐標(biāo)變換,計(jì)算靠泊目標(biāo)與無人船的相對(duì)位置關(guān)系,結(jié)合靠泊目標(biāo)的主尺度數(shù)據(jù),獲得二維和三維邊界框,作為數(shù)據(jù)集的真實(shí)標(biāo)簽(G round True),并按常用的KITTI格式[11]記錄。

        表1 靠泊場(chǎng)景數(shù)據(jù)集Tab.1 Berthing scene dataset

        以端到端的方式訓(xùn)練感知網(wǎng)絡(luò),使用小批量梯度下降法(MBGD),按序以0.01,0.001和0.0001的學(xué)習(xí)率,分別訓(xùn)練迭代80000,40000和40000次。在靠泊場(chǎng)景數(shù)據(jù)集的測(cè)試集上測(cè)試,準(zhǔn)確率達(dá)到94.6%,檢測(cè)效果較為優(yōu)秀,基本滿足靠泊仿真要求。本文的訓(xùn)練和測(cè)試過程均基于深度學(xué)習(xí)框架Pytorch,計(jì)算機(jī)的配置為Intel i5處理器、16 G內(nèi)存和NVIDIA 1080ti顯卡。

        3 自主靠泊仿真結(jié)果

        3.1 自主靠泊系統(tǒng)

        根據(jù)“決策-觀測(cè)-控制”邏輯完整構(gòu)建自主靠泊系統(tǒng)架構(gòu),如圖6所示。觀測(cè)部分基于本文設(shè)計(jì)的三維感知算法,使用仿真?zhèn)鞲衅鞑杉狞c(diǎn)云和圖像數(shù)據(jù),實(shí)現(xiàn)對(duì)靠泊目標(biāo)的實(shí)時(shí)檢測(cè);決策與控制部分使用較成熟的靠泊決策和控制算法,根據(jù)指定的靠泊目標(biāo)計(jì)算虛擬泊位區(qū)域或?qū)崟r(shí)補(bǔ)給靠泊點(diǎn)坐標(biāo),使用ANN靠泊路徑規(guī)劃算法[12]確定靠泊路徑,使用LOS循跡算法[13]計(jì)算目標(biāo)航向航速控制量,輸出控制指令到推進(jìn)系統(tǒng)中,實(shí)現(xiàn)靠泊動(dòng)作。

        圖6 自主靠泊系統(tǒng)架構(gòu)Fig.6 Autonomous berthing system framework

        3.2 仿真試驗(yàn)內(nèi)容

        為了驗(yàn)證感知算法的有效性,本文針對(duì)指定的靠泊目標(biāo),完成碼頭靠泊仿真試驗(yàn)和補(bǔ)給靠泊仿真試驗(yàn)。碼頭標(biāo)志物保持靜止,被補(bǔ)給船保持往返勻速直線運(yùn)動(dòng)。黑白色雙體船作為本船,當(dāng)系統(tǒng)檢測(cè)到任務(wù)指定的靠泊目標(biāo)時(shí),執(zhí)行自主靠泊任務(wù)。無人船通過感知算法完成對(duì)靠泊目標(biāo)的探測(cè)工作,通過決策控制算法實(shí)現(xiàn)靠泊動(dòng)作,其中感知算法運(yùn)行頻率為1 Hz,決策控制算法運(yùn)行頻率為5Hz。

        3.3 仿真試驗(yàn)結(jié)果

        圖7 碼頭靠泊仿真試驗(yàn)結(jié)果Fig.7 Dock berthing simulation experiment result

        碼頭靠泊仿真試驗(yàn)比對(duì)結(jié)果如圖7所示,補(bǔ)給靠泊仿真試驗(yàn)比對(duì)結(jié)果如圖8所示。結(jié)果圖左側(cè)是軌跡圖,中間是x和y方向位移的時(shí)歷曲線,右側(cè)是首向和航速的時(shí)歷曲線。分析碼頭靠泊仿真試驗(yàn)數(shù)據(jù),碼頭標(biāo)志物和探測(cè)結(jié)果基本一致,且無人船最終停靠在算法推算出來的虛擬泊位中,首向和航速符合靠泊要求,表明感知算法能成功識(shí)別碼頭標(biāo)志物并給出精確的坐標(biāo),且較為成功地完成碼頭靠泊動(dòng)作。分析補(bǔ)給靠泊仿真試驗(yàn)數(shù)據(jù),被補(bǔ)給船和探測(cè)結(jié)果基本一致,無人船最終與目標(biāo)保持2m距離平行航行,穩(wěn)定后的首向和航速基本一致,表明感知算法對(duì)被補(bǔ)給船的檢測(cè)精度符合預(yù)期,且擁有良好的補(bǔ)給靠泊效果。但是感知算法在部分時(shí)間還存在一定的誤差,其原因是感知算法運(yùn)行頻率較低,傳感器數(shù)據(jù)沒有根據(jù)時(shí)間戳完全匹配,這種誤差在無人船做回轉(zhuǎn)運(yùn)動(dòng)時(shí)會(huì)被放大。

        圖8 補(bǔ)給靠泊仿真試驗(yàn)結(jié)果Fig.8 Supply berthing simulation experiment result

        4 結(jié)語

        本文針對(duì)船舶自主靠泊場(chǎng)景,構(gòu)建基于深度學(xué)習(xí)的三維感知系統(tǒng),通過卷積神經(jīng)網(wǎng)絡(luò)和空間連續(xù)卷積網(wǎng)絡(luò)對(duì)點(diǎn)云與圖像進(jìn)行特征提取和特征融合,通過檢測(cè)生成網(wǎng)絡(luò)生成三維檢測(cè)框的類別和邊界,實(shí)現(xiàn)對(duì)靠泊目標(biāo)的識(shí)別與定位。通過自建船舶仿真系統(tǒng),創(chuàng)建靠泊場(chǎng)景數(shù)據(jù)集,完成自主靠泊感知網(wǎng)絡(luò)的訓(xùn)練,并測(cè)試達(dá)到預(yù)期的檢測(cè)精度。最后結(jié)合成熟的靠泊決策和控制算法,構(gòu)建了基于GNC的自主靠泊系統(tǒng),在仿真系統(tǒng)中完成自主靠泊試驗(yàn),驗(yàn)證了算法的有效性,為實(shí)船自主靠泊應(yīng)用提供了一種新的研究思路。但是本文設(shè)計(jì)的三維感知算法在運(yùn)行速率方面仍有較大提升空間,有待未來進(jìn)一步研究。

        猜你喜歡
        卷積船舶神經(jīng)網(wǎng)絡(luò)
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        《船舶》2022 年度征訂啟事
        船舶(2021年4期)2021-09-07 17:32:22
        船舶!請(qǐng)加速
        神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        BOG壓縮機(jī)在小型LNG船舶上的應(yīng)用
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        船舶壓載水管理系統(tǒng)
        基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
        復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
        日本av天堂一区二区三区| 色综合久久久久综合999| 亚洲福利第一页在线观看| 青青草原综合久久大伊人精品| 男人和女人做爽爽免费视频| 色一乱一伦一图一区二区精品| 国产精品国产午夜免费福利看 | 成人无码视频| 中文无码制服丝袜人妻AV| 顶级高清嫩模一区二区| 精品久久久无码人妻中文字幕豆芽| 嫩草影院未满十八岁禁止入内| 国内精品久久久久影院蜜芽| 精品国产亚洲一区二区三区四区| 欧美大片aaaaa免费观看| 少妇激情av一区二区| 日韩一区二区三区中文字幕| av在线免费观看大全| 人与动牲交av免费| 一区一级三级在线观看| 国产精品日本一区二区三区| 男女视频在线观看一区| 午夜精品一区二区三区的区别| 成人午夜无人区一区二区| 国产一区二区在线中文字幕| 天堂中文а√在线| 一卡二卡三卡视频| 水蜜桃视频在线观看免费18| 一区二区三区国产高清视频| 精品国产乱码久久久久久影片| 日韩AV有码无码一区二区三区| 精品国产3p一区二区三区| 日本伊人精品一区二区三区| 亚洲精品无码久久久久sm| 色综合久久久久综合一本到桃花网| 三级日韩视频在线观看| 成人美女黄网站色大免费的| 亚洲AV永久青草无码性色av| 日韩va高清免费视频| 免费国产在线精品一区| 欧美日韩精品一区二区在线视频|