甘恩碩 胡偉

摘 要：隨著新冠疫情肆虐全球，為了減少人員接觸和提高清掃效率，設(shè)計(jì)了一款基于深度學(xué)習(xí)的無人駕駛垃圾清掃車，項(xiàng)目采用NVIDIA jetson nano平臺(tái)，通過搭載的深感攝像頭以及激光雷達(dá)采集路面信息，使用PID控制算法控制車輛行進(jìn)方向和速度，利用仿真軟件對(duì)車輛進(jìn)行建模，確保能夠?qū)崿F(xiàn)較好的全局路徑規(guī)劃，進(jìn)而實(shí)現(xiàn)對(duì)垃圾清掃的無人化和高效化。

關(guān)鍵詞：人工智能;無人駕駛;圖像處理

當(dāng)前環(huán)境下疫情再次卷土重來，為了進(jìn)一步減少人與人的接觸，能在各類場(chǎng)景下殺菌消毒的無人駕駛消毒殺菌清掃車在國(guó)內(nèi)外的市場(chǎng)前景廣闊。以機(jī)器視覺和open-cv為基礎(chǔ)的無人駕駛深度學(xué)習(xí)算法，以北斗高精度導(dǎo)航為導(dǎo)航系統(tǒng)，以麥克納姆輪為底盤的全向移動(dòng)駕駛平臺(tái)的垃圾清掃車，其具備環(huán)境感知能力，智能決策能力，節(jié)能環(huán)保等特點(diǎn)，可以實(shí)現(xiàn)在公共場(chǎng)合下的環(huán)境采集數(shù)據(jù)、圖像信息傳輸?shù)热粘Ｑ矙z工作，有效的減少人力勞動(dòng)，提高工作效率[1]。為完善低速清掃車無人駕駛功能，通過理論分析設(shè)計(jì)了本研究方案，最后通過仿真道路測(cè)試驗(yàn)證了無人清掃車行駛過程中安全可靠性[2]。

一、系統(tǒng)整體結(jié)構(gòu)

本系統(tǒng)是采用NVIDIA Jetson nano為無人駕駛車硬件，該平臺(tái)是將視覺計(jì)算、信息傳遞、圖像處理和模式識(shí)別技術(shù)結(jié)合在一起的綜合信息處理平臺(tái)。它將車載傳感器實(shí)時(shí)觀測(cè)到的各種路況信息經(jīng)過采集、處理并經(jīng)過準(zhǔn)確識(shí)別，快速給出實(shí)時(shí)準(zhǔn)確的路況報(bào)告，為車輛進(jìn)一步的安全行駛提供科學(xué)依據(jù)。車輛控制系統(tǒng)主要分三個(gè)部分：圖像信息采集部分、圖像處理與模式識(shí)別部分和行進(jìn)與方向控制部分。

二、系統(tǒng)設(shè)計(jì)

（一）總體設(shè)計(jì)

本項(xiàng)目是基于NVIDIA jetson nano 平臺(tái)作為無人車的核心進(jìn)行開發(fā)設(shè)計(jì)，配合深感攝像頭模塊，車輛電機(jī)驅(qū)動(dòng)模塊，激光雷達(dá)模塊等構(gòu)成無人車的控制系統(tǒng)硬件，再搭配Ubuntu20.04系統(tǒng)實(shí)現(xiàn)無人駕駛和清掃等功能。麥克納姆輪可以實(shí)現(xiàn)全方位移動(dòng)，搭配電機(jī)實(shí)現(xiàn)制動(dòng)，停止，正向轉(zhuǎn)動(dòng)，反向轉(zhuǎn)動(dòng)等功能，以應(yīng)對(duì)車輛在復(fù)雜條件下的運(yùn)動(dòng)要求。

（二）圖像信息采集

道路圖像信息的采集依靠車載攝像頭傳感器完成，并將采集到的圖像信息傳遞給處理器進(jìn)行加工和圖像預(yù)處理。為了提高相關(guān)信息的可檢測(cè)性，對(duì)數(shù)字圖像信息進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換，形狀變換，翻轉(zhuǎn)，高亮，歸一化，平滑和復(fù)原等操作，可最大限度地簡(jiǎn)化數(shù)據(jù)，從而提高資源提取、圖像分割和圖像識(shí)別的可靠性。處理過程所用的高斯平滑核如圖2所示。

（三）圖像與模式識(shí)別整體設(shè)計(jì)

（1）識(shí)別車道線和汽車前置車道邊界。依靠圖像處理和深度學(xué)習(xí)技術(shù)，將每一幀的圖像進(jìn)行反向透視，確定車道線位置與走向，再利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）完成對(duì)車道線的特征提取和分類，最后將不同情況即遮擋，陰影，逆光，圖像質(zhì)量，路況，道路問題都不同的數(shù)據(jù)加入訓(xùn)練集進(jìn)行訓(xùn)練，保證車輛在不會(huì)越過邊界的前提下安全穩(wěn)定地行駛。

（2）識(shí)別交通標(biāo)志。依靠圖像處理和模式識(shí)別技術(shù)，將圖像信息轉(zhuǎn)化為數(shù)字信息與已知的交通標(biāo)識(shí)模式對(duì)照以辨別出具體交通標(biāo)志種類，確保車輛在無人駕駛過程中在不違反交通規(guī)則的前提下行駛或停止，SSD模型結(jié)構(gòu)用于在圖像的輸出平面處添加一個(gè)逐漸減少的折疊層以進(jìn)行多尺度預(yù)測(cè)。對(duì)于每個(gè)新添加的層，可以使用一組折疊核心進(jìn)行預(yù)測(cè)，以預(yù)測(cè)每個(gè)位置的相應(yīng)值。即相對(duì)其他box的偏移量，這里的box就是在特征圖中各處預(yù)測(cè)的若干個(gè)box，基本完成后再進(jìn)行訓(xùn)練和測(cè)試。

（3）進(jìn)行車輛和行人的檢測(cè)與跟蹤。運(yùn)用圖像處理與模式識(shí)別技術(shù)，仍可以利用SSD架構(gòu)標(biāo)記出路上的車輛和行人并進(jìn)行實(shí)時(shí)的追蹤，以便在行駛中可及時(shí)地跟車或讓行，保證安全。可以使用SSD卷積神經(jīng)網(wǎng)絡(luò)對(duì)box的概念進(jìn)行對(duì)象檢測(cè)，設(shè)置不同尺寸和比率的預(yù)定義框，然后對(duì)于每一個(gè)box，SSD卷積網(wǎng)絡(luò)可檢測(cè)該box內(nèi)是否存在物體，并計(jì)算物體邊界框和固定boxes之間的偏移量，最后再對(duì)偏移量使用損失函數(shù)最小化。

（四）車輛檢測(cè)方法

（1）幀間差分法（Temporal difference）

采用對(duì)相鄰的二或三幀信號(hào)差異實(shí)現(xiàn)，并進(jìn)行了場(chǎng)景變換測(cè)試，由于對(duì)動(dòng)態(tài)場(chǎng)景有很強(qiáng)的適應(yīng)性，單檢測(cè)準(zhǔn)確率并不高，難以達(dá)到精確描述。

（2）背景減除法（Background subtraction）

應(yīng)用于攝像機(jī)的靜止情形時(shí)，其關(guān)鍵為背景模型，性能主要與監(jiān)測(cè)場(chǎng)景的復(fù)雜情形和系統(tǒng)特點(diǎn)相關(guān)，經(jīng)典算法主要有高值模型、自適應(yīng)模型、高斯模型、以及多模態(tài)的均值模型。

（3）光流法（Optical flow）

可用于攝像機(jī)運(yùn)動(dòng)情形，提取目標(biāo)完整信息（包括運(yùn)動(dòng)信息），計(jì)算復(fù)雜度高，抗噪性能差。在攝像機(jī)固定的情況下應(yīng)用較少。

（五）行進(jìn)與方向控制部分

預(yù)測(cè)和更新車輛位置，通過無損卡爾曼濾波器，在已測(cè)得實(shí)時(shí)車輛速度的條件下，預(yù)測(cè)下一幀圖像中車輛的位置并實(shí)時(shí)更新，保證車輛能夠平穩(wěn)地行駛或停止[3]。首先需要產(chǎn)生sigma點(diǎn)集并計(jì)算其均值，后寫出對(duì)估計(jì)狀態(tài)的不確定性即協(xié)方差矩陣，然后通過公式與矩陣變換預(yù)測(cè)sigma點(diǎn)集和其均值與方差，最后完整地按照卡爾曼濾波的更新步驟計(jì)算即可，完整流程如圖1。

三、算法實(shí)現(xiàn)

首先該算法是在GPU上運(yùn)行，不采用粒子濾波框架，而使用卡爾曼濾波可及時(shí)獲得準(zhǔn)確特征。其次對(duì)整個(gè)Network，進(jìn)行大量訓(xùn)練，對(duì)于每個(gè)Branch網(wǎng)絡(luò)作訓(xùn)練mini-batch，選擇32個(gè)正樣本和96個(gè)負(fù)樣本。最后進(jìn)行跟蹤，對(duì)每個(gè)待跟蹤目標(biāo)建立一個(gè)FC6全連接層[4]。對(duì)于輸入每一幀圖像，在該目標(biāo)位置附近采樣256個(gè)Box 作為Candidates;所有Candidates 歸一化到 107*107尺寸，輸入到訓(xùn)練好的 MD-Net 網(wǎng)絡(luò)（shared + FC6-k）;網(wǎng)絡(luò)輸出是一個(gè)二維的向量（Box ID，目標(biāo)概率），最終目標(biāo)是概率值最高的Box;每隔一段時(shí)間，根據(jù)可行度高的正負(fù)樣本，進(jìn)行網(wǎng)絡(luò)更新。

四、gazebo仿真測(cè)試

通過gazebo仿真，對(duì)設(shè)計(jì)的車輛進(jìn)行建模，利用Gazebo強(qiáng)大的傳感器模型庫(kù)，包括camera，depth camera，laser，imu等機(jī)器人常用的傳感器，基于Gazebo真實(shí)的物理仿真引擎，添加重力，阻力，慣性等等，創(chuàng)建出一個(gè)符合設(shè)計(jì)的小車，通過上述的算法，對(duì)小車無人駕駛功能進(jìn)行測(cè)試，最終實(shí)現(xiàn)其路徑規(guī)劃避障等無人駕駛功能[5]。圖2所示為設(shè)計(jì)的小車模型。

五、結(jié)論

本文設(shè)計(jì)和研究的方法為無人駕駛清掃車提供了一種新的解決方案。適用于在疫情復(fù)雜情況下，在減少人員接觸的前提下，對(duì)環(huán)境進(jìn)行清掃，代替保潔人員完成清掃任務(wù)，在一定程度上降低疫情傳播風(fēng)險(xiǎn)，提高了環(huán)境清掃的穩(wěn)定性、高效性和安全性。在現(xiàn)如今新冠肆虐的大環(huán)境下，具有很好的推廣和應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1] 劉浩;鐘宙明;覃坤雪;陳永強(qiáng);李猛;消毒防疫智能巡檢機(jī)器人的設(shè)計(jì)，電子制作，2020

[2] 朱忠攀;吳憲;李剛;施超;低速無人清掃車遠(yuǎn)程監(jiān)控系統(tǒng)架構(gòu)及控制模型[J]，機(jī)電一體化，2017

[3] 徐繼寧;曾杰;基于深度強(qiáng)化算法的機(jī)器人動(dòng)態(tài)目標(biāo)點(diǎn)跟隨研究[J]，計(jì)算機(jī)科學(xué)，2019

[4] 馬靜;基于機(jī)器視覺的3C電子輔料泡棉背膠檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]，電子測(cè)試，2020

[5] 王彥臻;林彬;金松昌;武云龍;趙名揚(yáng);基于Gazebo和Docker的群體機(jī)器人仿真系統(tǒng)設(shè)計(jì)晏杰[J]，組合機(jī)床與自動(dòng)化加工技術(shù)，2021