曾仕峰 吳錦均 葉智文 賴(lài)怡雯 葉妙欣

摘要：隨著社會(huì)科技的發(fā)展和人工智能時(shí)代的來(lái)臨，輔助駕駛技術(shù)逐漸走進(jìn)人們的視野，開(kāi)始在社會(huì)中發(fā)揮作用。為了進(jìn)一步解決在人為駕駛中存在的主觀因素的交通隱患問(wèn)題，本項(xiàng)目緊跟目前已有的"機(jī)器學(xué)習(xí)+路徑規(guī)劃"技術(shù)設(shè)計(jì)一種基于ROS機(jī)器視覺(jué)設(shè)計(jì)的智能輔助駕駛系統(tǒng)。本設(shè)計(jì)運(yùn)用激光雷達(dá)結(jié)合GPS模塊的導(dǎo)航定位技術(shù)精確定位輔助駕駛系統(tǒng)的位置并規(guī)劃行進(jìn)路線(xiàn)，再結(jié)合“激光雷達(dá)+景深攝像頭”可實(shí)現(xiàn)系統(tǒng)的環(huán)境數(shù)據(jù)采集和做出規(guī)避。

關(guān)鍵詞：激光雷達(dá)建模;路徑規(guī)劃;景深攝像頭;Open CV機(jī)器識(shí)別

中圖分類(lèi)號(hào)：TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）26-0173-03

隨著5G時(shí)代的到來(lái)以及人工智能技術(shù)的發(fā)展和完善，現(xiàn)如今我們已不再局限于人為駕駛，輔助駕駛技術(shù)開(kāi)始進(jìn)入我們的生活。眾所周知，我們現(xiàn)如今在貨物和外賣(mài)等一些運(yùn)輸工作上還有更多完善的空間，且汽車(chē)行車(chē)過(guò)程中的安全問(wèn)題和風(fēng)險(xiǎn)也需要我們?nèi)ケM量降低。本設(shè)計(jì)可以有效監(jiān)控紅綠燈或突發(fā)意外，為人們的生活工作提供幫助。本設(shè)計(jì)是通過(guò)Open CV景深攝像頭模塊對(duì)紅綠燈進(jìn)行跟蹤識(shí)別。該無(wú)人駕駛汽車(chē)對(duì)行駛控制進(jìn)行了優(yōu)化，例如制動(dòng)、加速等方面，這對(duì)于汽車(chē)提高發(fā)動(dòng)機(jī)效率、降低污氣排放有積極的作用。同時(shí)運(yùn)用上了結(jié)合雷達(dá)實(shí)地三維建模的視頻處理技術(shù)，這將大大地提高小車(chē)的性能，更好地實(shí)現(xiàn)無(wú)人安全駕駛，使無(wú)人駕駛技術(shù)能夠在生活中得到更好運(yùn)用。

1 系統(tǒng)總體設(shè)計(jì)

本設(shè)計(jì)系統(tǒng)總體設(shè)計(jì)框圖如圖1所示。

在硬件方面，該項(xiàng)目以英特爾i3工控機(jī)作為數(shù)據(jù)處理中心，激光雷達(dá)、景深攝像頭作為環(huán)境數(shù)據(jù)采集模塊，MPU6050、TB6612以及霍爾編碼器電機(jī)作為輔助系統(tǒng)姿態(tài)控制模塊，雙模GPS作為系統(tǒng)定位模塊。

在軟件方面，英特爾i3工控機(jī)搭載ROS（Robot Operating System）對(duì)環(huán)境信息、GPS位置信息等進(jìn)行處理。在此過(guò)程中，我們可以利用Open CV算法對(duì)環(huán)境信息中的圖像信息進(jìn)行備注，并對(duì)交通信號(hào)以及其他汽車(chē)、自行車(chē)和行人進(jìn)行識(shí)別，并利用RRT（即Rapid-exploration Random Tree）算法處理當(dāng)前GPS位置信息來(lái)對(duì)路徑進(jìn)行規(guī)劃，最終利用PID算法對(duì)激光雷達(dá)采集的景深和點(diǎn)云數(shù)據(jù)進(jìn)行處理，輸出數(shù)據(jù)，進(jìn)而控制系統(tǒng)的姿態(tài)調(diào)整。

工作原理：Lidar采集到環(huán)境中的點(diǎn)云數(shù)據(jù)，而點(diǎn)云數(shù)據(jù)負(fù)責(zé)提供二維環(huán)境中物體之間的距離;景深攝像頭則采集到的是3D圖像數(shù)據(jù)，3D圖像數(shù)據(jù)則提供二維圖像數(shù)據(jù)?？捎糜谧R(shí)別標(biāo)識(shí)顏色和字體，幫助檢測(cè)道路標(biāo)志、交通信號(hào)燈和街道標(biāo)記等。3D圖像數(shù)據(jù)還提供環(huán)境中物體的三維數(shù)據(jù)，用于識(shí)別車(chē)輛、行人及其他障礙物，幫助系統(tǒng)實(shí)現(xiàn)避障和姿態(tài)控制。雙模GPS提供全球經(jīng)緯度數(shù)據(jù)，用于定位系統(tǒng)位置，幫助系統(tǒng)實(shí)現(xiàn)路徑規(guī)劃。英特爾i3工控機(jī)從激光雷達(dá)、景深攝像頭中獲取環(huán)境數(shù)據(jù)，并分別提取距離、圖像數(shù)據(jù)，再用Open CV處理圖像數(shù)據(jù)提取特征圖像，用PID算法處理距離數(shù)據(jù)。工控機(jī)從雙模GPS模塊中提取經(jīng)緯度數(shù)據(jù)并送入RRT算法[1]中進(jìn)行處理。經(jīng)過(guò)上述的數(shù)據(jù)處理過(guò)后，最終輸出姿態(tài)控制數(shù)據(jù)給TB6612電機(jī)控制板控制系統(tǒng)運(yùn)動(dòng)姿態(tài)。

2 系統(tǒng)硬件設(shè)計(jì)

2.1 交通燈的檢測(cè)設(shè)計(jì)

本設(shè)計(jì)運(yùn)用景深攝像頭來(lái)實(shí)現(xiàn)識(shí)別檢測(cè)，對(duì)于交通燈，主要有紅、綠、黃三種顏色，當(dāng)輔助駕駛系統(tǒng)行駛在公路上，不排除周?chē)h(huán)境也存在其中三種顏色，可想單純用顏色識(shí)別進(jìn)行檢測(cè)交通燈是行不通的。所以，首先用基于Open CV的景深攝像頭進(jìn)行顏色識(shí)別，比如：當(dāng)紅燈亮?xí)r，首先利用顏色識(shí)別將周?chē)t色物體提取出來(lái)，再利用Open CV算法[2]進(jìn)行邊緣檢測(cè)，最后再進(jìn)行霍夫找圓來(lái)實(shí)現(xiàn)對(duì)紅燈的檢測(cè)，接著做出識(shí)別到了紅燈點(diǎn)亮的判斷，并命令小車(chē)停止前進(jìn)。

2.2 基于Open CV機(jī)器識(shí)別檢測(cè)

本設(shè)計(jì)采用景深攝像頭，該攝像頭擁有一個(gè)一個(gè)紅外發(fā)射器，RGB彩色攝像頭，一個(gè)紅外線(xiàn)CMOS攝像機(jī)。紅外線(xiàn)CMOS攝像機(jī)在圖像陰影處、光線(xiàn)條件不好的環(huán)境下有較好的成像性能，能彌補(bǔ)RGB彩色攝像機(jī)的不足，并利用Open CV算法對(duì)數(shù)據(jù)處理，進(jìn)行監(jiān)測(cè)當(dāng)前路況，判斷小車(chē)是否行駛在安全路段？是否闖紅燈？是否與前后車(chē)輛保持安全距離和行駛速度？結(jié)合上述三個(gè)攝像頭組成了景深攝像頭，能對(duì)三維立體空間中的物體進(jìn)行較為準(zhǔn)確地感知，輔助駕駛系統(tǒng)通過(guò)對(duì)三個(gè)攝像頭的數(shù)據(jù)進(jìn)行獲取并處理后，能夠構(gòu)建攝像頭周?chē)h(huán)境，并做出相應(yīng)的運(yùn)動(dòng)或規(guī)避。

2.3 自動(dòng)定位導(dǎo)航設(shè)計(jì)

本設(shè)計(jì)利用工作在紅外和可見(jiàn)光波段的激光雷達(dá)來(lái)實(shí)現(xiàn)自動(dòng)導(dǎo)航[3]，并結(jié)合近距離精度高特點(diǎn)的GPS模塊[4]來(lái)實(shí)現(xiàn)輔助駕駛系統(tǒng)的精準(zhǔn)定位。激光雷達(dá)是以發(fā)射激光束探測(cè)目標(biāo)的位置、速度等特征量的雷達(dá)系統(tǒng)。向目標(biāo)發(fā)出探測(cè)信號(hào)（激光束）然后將捕獲到從目標(biāo)反射回來(lái)的信號(hào)（回波信號(hào)）與發(fā)射信號(hào)進(jìn)行比較作適當(dāng)處理后就可獲取目標(biāo)的相關(guān)信息如目標(biāo)距離、方位、時(shí)速、形狀、甚至位置姿態(tài)等參數(shù)，再加上具有較強(qiáng)的抗干擾能力，即可實(shí)現(xiàn)自主巡航。但激光雷達(dá)對(duì)于近距離物體的測(cè)量精度不夠高，運(yùn)用于輔助駕駛系統(tǒng)上會(huì)大大降低安全性，則可結(jié)合近距離高精度的GPS模塊進(jìn)行補(bǔ)償系統(tǒng)測(cè)距問(wèn)題。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 主程序設(shè)計(jì)

如圖3所示為主程序設(shè)計(jì)流程圖。運(yùn)作流程為：1）工控機(jī)打開(kāi)電源之后進(jìn)入U(xiǎn)buntu系統(tǒng)，然后初始化景深攝像頭和普通攝像頭、GPS定位模塊和激光雷達(dá)等模塊;2）初始化成功之后不停地檢查有無(wú)指令輸入;3）當(dāng)收到啟動(dòng)功能指令后，將目標(biāo)經(jīng)緯度和目的地經(jīng)緯度經(jīng)行多次對(duì)比，然后使用地圖的數(shù)據(jù)庫(kù)規(guī)劃出一條正確的路徑;4）景深攝像頭和激光雷達(dá)開(kāi)始工作，工控機(jī)開(kāi)始進(jìn)行環(huán)境3D建模[5];5）確認(rèn)行車(chē)路線(xiàn)無(wú)障礙且適合行駛后，使用PID算法對(duì)姿態(tài)進(jìn)行調(diào)整，并且計(jì)算出最終的輸出值，將輸出值轉(zhuǎn)換為PWM以此驅(qū)動(dòng)電機(jī)到達(dá)目的地。

3.2 功能程序設(shè)計(jì)

3.2.1框架的技術(shù)設(shè)計(jì)圖

系統(tǒng)在道路中輔助駕駛的時(shí)候會(huì)遇到各種不可想象的情況這就對(duì)機(jī)器視覺(jué)部分提出了非常高的要求僅靠激光雷達(dá)與深度攝像頭還不足以完成自動(dòng)駕駛的全部功能所以我們采用了圖像處理Open CV。我們使用了Open CV能夠?qū)崿F(xiàn)運(yùn)動(dòng)車(chē)輛的檢測(cè)與跟蹤、信號(hào)燈與停止線(xiàn)的檢測(cè)與識(shí)別、車(chē)輛超速檢測(cè)還有行人檢測(cè)[6]等功能。

3.2.2運(yùn)動(dòng)車(chē)輛的檢測(cè)與跟蹤

可以采用基于幀間差分與背景差分的算法[7]對(duì)車(chē)輛進(jìn)行追蹤先用攝像機(jī)所得到的視頻圖像進(jìn)行濾波處理之后再用Open CV進(jìn)行幀間差分和背景差分運(yùn)算。圖5是基于小波變換的車(chē)輛跟蹤流程圖。

3.2.3 信號(hào)燈與停止線(xiàn)的檢測(cè)與識(shí)別

信號(hào)燈檢測(cè)：首先將攝像頭獲取得到的圖像使用cvtColor函數(shù)進(jìn)行灰度圖的轉(zhuǎn)換，然后將得到的灰度圖使用inRange函數(shù)進(jìn)行紅色、黃色、綠色這三種顏色色塊的尋找，再將尋找到的色塊區(qū)域設(shè)置為感興趣區(qū)域（ROI），再?gòu)腞OI區(qū)域中使用霍夫找圓函數(shù)HoughCircles（）對(duì)ROI區(qū)域進(jìn)行找圓，如果在紅色區(qū)域找到圓則說(shuō)明當(dāng)時(shí)是紅燈。

停止線(xiàn)檢測(cè)：先對(duì)停止線(xiàn)進(jìn)行設(shè)定，確定初始的位置，然后將Hough變換[8]應(yīng)用于固定的區(qū)域里進(jìn)行候選點(diǎn)檢測(cè)， 再結(jié)合背景圖方面現(xiàn)有的各種先驗(yàn)知識(shí)，將不屬于停止線(xiàn)檢測(cè)結(jié)果的數(shù)據(jù)或錯(cuò)誤的數(shù)據(jù)排除掉，最后將剩余的可用檢測(cè)點(diǎn)集中起來(lái)，求取平均值，以此求出運(yùn)動(dòng)目標(biāo)和停止線(xiàn)之間的實(shí)際位置情況。

3.2.4車(chē)輛超速檢測(cè)

方法一：通過(guò)GPS獲取到當(dāng)前車(chē)道的行車(chē)信息，然后再通過(guò)該行車(chē)信息進(jìn)行車(chē)速的控制。

方法二：通過(guò)識(shí)別該車(chē)道上的各種路標(biāo)，例如對(duì)攝像機(jī)獲取到的限速標(biāo)志使用Opencv中的cvtColor函數(shù)將其轉(zhuǎn)為灰度圖，然后再使用Canny算法找出圖像中的邊界，再使用霍夫找圓將找到的圓設(shè)置為感興趣區(qū)域，再將這些感興趣區(qū)域與我們之前訓(xùn)練好的數(shù)據(jù)庫(kù)中的路標(biāo)進(jìn)行對(duì)比，最后得出該限速路標(biāo)的最高時(shí)速，知道該路段的最大速度后再與系統(tǒng)的自身速度進(jìn)行對(duì)比就可得知小車(chē)有無(wú)超速。

3.2.5 行人檢測(cè)

對(duì)于輔助駕駛系統(tǒng)來(lái)說(shuō)，行人檢測(cè)是最主要的部分，其關(guān)乎人身的安全。這也是我們最難的一部分，我們采用的方案是人工特征+分類(lèi)器，人體有其自帶的特征，比如衣服的顏色， 人體的邊緣等，這些特征都是我們用來(lái)檢測(cè)行人的重要標(biāo)志，我們采用分類(lèi)器有SVM，AdaBoost這些在機(jī)器視覺(jué)經(jīng)常被人們用到的算法[9]。采用HOG+SVM， HOG特征檢測(cè)[10]能夠找出行人的形狀和一些重要的外觀信息，找到該信息后就能確定行人的感興趣區(qū)域，然后再對(duì)該區(qū)域使用SVM分類(lèi)器進(jìn)行更加確定的分析。

4 總結(jié)

本項(xiàng)目致力于研究十字路口人/車(chē)交通違章行為AI監(jiān)測(cè)中基于ROS的輔助駕駛技術(shù)。運(yùn)用“雙模GPS導(dǎo)航定位”技術(shù)，精確定位輔助駕駛系統(tǒng)的位置并規(guī)劃行進(jìn)路線(xiàn);其次，本系統(tǒng)設(shè)計(jì)結(jié)合了深度攝像頭，其原理類(lèi)似于人眼，能夠利用視差進(jìn)行三維的檢測(cè)，因此我們決定用深度攝像頭來(lái)對(duì)環(huán)境進(jìn)行三維的檢測(cè)，以此來(lái)輔助雷達(dá)進(jìn)行更加準(zhǔn)確的建模，保證準(zhǔn)確性，再將數(shù)據(jù)發(fā)送給工控機(jī)，工控機(jī)再將處理好的數(shù)據(jù)通過(guò)ROS傳輸給驅(qū)動(dòng)板以此來(lái)完成輔助駕駛。測(cè)試結(jié)果表明，系統(tǒng)檢測(cè)的精度和靈敏度能夠得到增大，既節(jié)省駕駛員的精力，又可以減輕違法違規(guī)現(xiàn)象和交通事故的發(fā)生，達(dá)到了我們所需的設(shè)計(jì)要求。

參考文獻(xiàn)：

[1] 施楊洋，楊家富，布升強(qiáng)，等.基于RRT改進(jìn)的智能車(chē)輛路徑規(guī)劃算法[J].計(jì)算技術(shù)與自動(dòng)化，2019，38（4）：81-86.

[2] 呂晶晶.機(jī)器人視覺(jué)識(shí)別的設(shè)計(jì)與研究[J].江蘇科技信息，2016（22）：74-76.

[3] 郭子明，蔡伯根，姜維.基于激光雷達(dá)的鐵路軌道檢測(cè)方法[J].中南大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，51（2）：560-566.

[4] 王君剛，王解先，陳俊平，等.U-Blox 6接收機(jī)解碼與定位測(cè)試[J].測(cè)繪通報(bào)，2015（11）：24-27.

[5] 陳超，張偉偉，徐軍.一種基于三維視覺(jué)的移動(dòng)機(jī)器人定位與建圖方法[J].現(xiàn)代電子技術(shù)，2020，43（6）：34-38，42.

[6] 白中浩，李智強(qiáng)，蔣彬輝，等.基于改進(jìn)YOLOv2模型的駕駛輔助系統(tǒng)實(shí)時(shí)行人檢測(cè)[J].汽車(chē)工程，2019，41（12）：1416-1423.

[7] 陳媛，蔡曉燕.改進(jìn)的幀間差分運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究[J].現(xiàn)代計(jì)算機(jī)，2019（33）：41-44.

[8] 于升源，陳樂(lè)庚，蒙雙，等.基于暗通道優(yōu)先和Hough變換的霧天車(chē)道線(xiàn)識(shí)別算法[J].傳感器與微系統(tǒng)，2020，39（1）：146-149.

[9] 何松華，章陽(yáng).基于快速檢測(cè)和AdaBoost的車(chē)輛檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（1）：203-207.

[10] 王阿南，榮憲偉，龐新雨.基于超像素的行人檢測(cè)算法研究[J].哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào)，2019，35（3）：66-71.

【通聯(lián)編輯：唐一東】