程 港,李必軍
(武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室,湖北武漢 430079)
信息化時代下,汽車工業(yè)已飛速發(fā)展,智能駕駛將是未來汽車的重要發(fā)展方向和趨勢。
智能駕駛的研究工作可以大幅提高公路的通行能力,減少公路交通堵塞,降低汽車油耗,提高公路交通的安全性,有效提高交通運(yùn)輸效率??v觀國內(nèi)外智能駕駛的發(fā)展歷史,其研究過程可分為3個階段。第1階段是基于視覺的智能車輛導(dǎo)航探索性研究階段,典型代表有美國馬里蘭大學(xué)等開發(fā)的ALV(autonomous land vehicle)[1]、德國聯(lián)邦國防軍大學(xué)的 VaMoRs[2]等;第2階段是汽車輔助駕駛系統(tǒng)應(yīng)用研究階段,典型應(yīng)用包括車道偏離報(bào)警、車速自適應(yīng)控制、Stop&Go等;第3階段是無人駕駛車輛整車技術(shù)的突破階段,美國國防部高級研究計(jì)劃局DARPA組織了多次無人駕駛車輛超級挑戰(zhàn)賽[3],如斯坦福大學(xué)的 Junior[4]和CMU的BOSS[5]。自主駕駛智能車系統(tǒng)一般是利用傳感器來獲取道路場景、車輛姿態(tài);然后通過局部路徑規(guī)劃和駕駛行為決策機(jī)制,確定車體控制(速度、方向、剎車)指令;行使過程中則依賴傳感器獲取的實(shí)時信息,結(jié)合反饋機(jī)制,實(shí)現(xiàn)自適應(yīng)行駛控制與駕駛安全。國家自然科學(xué)基金委員會在2009年以后也每年主辦中國“智能車未來挑戰(zhàn)”比賽,吸引了國內(nèi)多所知名高校和研究機(jī)構(gòu)的積極參與。
由于真車的智能駕駛研究中場地和人員調(diào)度難,試驗(yàn)安全性低,資源消耗大,效率低,費(fèi)用昂貴等原因,本研究采用基于縮微尺度的三維交通仿真環(huán)境下縮微車的智能駕駛設(shè)計(jì)與研究,意在模擬真車在真實(shí)道路環(huán)境下的駕駛行為,為真實(shí)道路環(huán)境下的智能車駕駛及車路協(xié)同系統(tǒng)提供可重復(fù)、可驗(yàn)證、可仿真的試驗(yàn)平臺。
智能汽車是利用車載傳感器感知周圍環(huán)境,并根據(jù)感知所獲得的道路、車輛姿態(tài)和障礙物信息,控制車輛的轉(zhuǎn)向和速度,從而達(dá)到安全、可靠的行駛系統(tǒng)。研究中所采用的縮微車模型縮微比例為1∶10,集成了攝像頭、超聲波、光電編碼器、麥克風(fēng)、慣導(dǎo)器件等傳感器。在研究中,視覺導(dǎo)航為主體,由感知、決策、控制三大部分組成的集成平臺,具有器件獨(dú)立性、算法獨(dú)立性、可擴(kuò)展性、易于調(diào)試、數(shù)據(jù)可存儲、軟件可靠性等特點(diǎn)。
縮微車系統(tǒng)架構(gòu)可分為硬件系統(tǒng)和軟件系統(tǒng)兩部分??s微車硬件系統(tǒng)有上位機(jī)和下位機(jī)兩個層次組成,上位機(jī)選用的是Intel x86凌動D525,下位機(jī)選用的是 Arduino控制主板,其主要設(shè)計(jì)構(gòu)圖如圖1所示。
圖1 縮微車硬件系統(tǒng)架構(gòu)
圖1中,從硬件層次上來講是上位機(jī)與下位機(jī)通過RS232協(xié)議通信,把控制與感知、決策分離開來,下位機(jī)只負(fù)責(zé)采集車輛狀態(tài)信息(如超聲波距離、速度、角度、編碼器等)和接受上位機(jī)下達(dá)的控制命令(速度和角度);上位機(jī)主要負(fù)責(zé)以下三部分工作:①感知,利用傳感器獲得智能車自身車載和其周圍環(huán)境的數(shù)據(jù);② 認(rèn)知,從得到的傳感器數(shù)據(jù)中提取出有利于指導(dǎo)車輛智能駕駛的信息(如車道線、障礙物、車輛姿態(tài)等),并對多源感知數(shù)據(jù)進(jìn)行融合,構(gòu)建局部三維場景;③ 控制,依據(jù)可靠、有用的實(shí)時信息,結(jié)合反饋機(jī)制,按照一定的規(guī)劃算法給出車輛合理有效的駕駛決策,下達(dá)控制指令。從硬件功能上來講是下位機(jī)搭載超聲波傳感器通過RS232協(xié)議獲取前方障礙物信息,轉(zhuǎn)向舵機(jī)控制車輛前輪轉(zhuǎn)角,電機(jī)結(jié)合差速器控制車輪轉(zhuǎn)速,光電編碼器實(shí)時獲取里程,慣導(dǎo)器件得到車身姿態(tài)和車燈LED提示轉(zhuǎn)向、剎車等輔助信號;而上位機(jī)搭載兩個高清攝像頭獲取其視角內(nèi)的仿真三維道路環(huán)境,一個用來進(jìn)行車道線檢測和障礙物檢測,另一個用來交通標(biāo)志、交通燈識別,麥克風(fēng)進(jìn)行聲音檢測,無線網(wǎng)卡用來進(jìn)行遠(yuǎn)程監(jiān)控和通信。
縮微車軟件系統(tǒng)本著易開發(fā)、可復(fù)制、模塊獨(dú)立、方便調(diào)試和擴(kuò)展的原則,采用分層結(jié)構(gòu)設(shè)計(jì)。每一個功能是一個模塊,模塊與模塊之間是獨(dú)立的,各個模塊有標(biāo)準(zhǔn)的接口和相應(yīng)的錯誤檢測機(jī)制,模塊間可利用進(jìn)程間通信來聯(lián)系,整個系統(tǒng)緊湊結(jié)合。同時,清晰的數(shù)據(jù)流走向也實(shí)現(xiàn)了各模塊獨(dú)立開發(fā)調(diào)試和整體測試。
縮微車軟件系統(tǒng)軟件系統(tǒng)分為5層,依次為數(shù)據(jù)層、認(rèn)知層、規(guī)劃層、控制層、人機(jī)交互層,圖2為縮微車軟件系統(tǒng)架構(gòu)。
圖2 縮微車軟件系統(tǒng)架構(gòu)
數(shù)據(jù)層的任務(wù)主要是通過縮微車上各類傳感器收集車體自身和周圍環(huán)境的數(shù)據(jù),本系統(tǒng)包括視頻數(shù)據(jù)、超聲波數(shù)據(jù)、里程數(shù)據(jù)及其他車載數(shù)據(jù)。
認(rèn)知層的任務(wù)主要是對從數(shù)據(jù)層傳來的數(shù)據(jù)進(jìn)行信息提取,為規(guī)劃層的決策提供基礎(chǔ)。該層是整個系統(tǒng)最重要也是最復(fù)雜的一層,目前包括車道線識別、交通標(biāo)志及交通燈識別、障礙物檢測、室內(nèi)定位4個功能。其中,車道線和交通標(biāo)志、交通燈的識別分別由安置在車輛頂端的不同視角的攝像頭來實(shí)現(xiàn);障礙物檢測是結(jié)合超聲波和視頻數(shù)據(jù)來檢測和判斷動、靜態(tài)障礙物、里程和其他車載數(shù)據(jù)實(shí)現(xiàn)室內(nèi)定位功能。
規(guī)劃層的任務(wù)是融合認(rèn)知層的多源識別結(jié)果,按照一定的規(guī)劃算法尋找通行路線,實(shí)現(xiàn)車輛直行、轉(zhuǎn)彎、換道、超車、避障、跟馳、路口停車等一系列智能駕駛行為。
控制層的任務(wù)是接受上層下達(dá)的車輛實(shí)時速度和轉(zhuǎn)角信息,并通過舵機(jī)和電機(jī)、燈來執(zhí)行命令。
人機(jī)交互層的任務(wù)包括車輛啟動、車輛狀態(tài)實(shí)時監(jiān)控及調(diào)試測試數(shù)據(jù)的顯示和保存。它能實(shí)時監(jiān)測到縮微車各模塊的運(yùn)行狀態(tài)和車輛自身狀況,同時記錄歷史數(shù)據(jù)方便離線調(diào)試和仿真。
行駛環(huán)境融合感知、行車環(huán)境動態(tài)構(gòu)建、路徑規(guī)劃等是無人駕駛的核心技術(shù)問題,本文從這幾個方面介紹研究進(jìn)展。
行駛環(huán)境融合感知技術(shù)是規(guī)劃決策的基礎(chǔ),感知技術(shù)的好壞直接影響到車輛自動控制的效果,如何實(shí)現(xiàn)車輛行駛狀態(tài)參數(shù)(位置、速度、航向、姿態(tài)等)和車輛行駛環(huán)境數(shù)據(jù)的多視角、全方位、動態(tài)獲取一直是智能駕駛的研究難點(diǎn)。在縮微交通系統(tǒng)中,既有多車道、復(fù)雜交通路口,又存在運(yùn)動目標(biāo),如車輛、行人等。因此,需要建立一個簡潔完整的道路行駛環(huán)境模型。該模型下將車道、路口、車輛、行人、障礙物進(jìn)行抽象表達(dá),并結(jié)合定位信息來構(gòu)建三維局部場景。其中,主要研究包括車道線檢測[6]、交通標(biāo)志、交通燈識別和障礙物檢測等。
車道線檢測首先利用攝像頭獲取道路信息,然后對采集到的原始圖像進(jìn)行數(shù)據(jù)處理,以獲取賽道中車道線在圖像坐標(biāo)系的位置,進(jìn)而得到縮微場景三維坐標(biāo)系下車道線的坐標(biāo),并利用上面的關(guān)系間接計(jì)算出縮微車與車道線之間的偏角來實(shí)時分析和預(yù)測縮微車轉(zhuǎn)向結(jié)果。
車道線檢測研究中采用對原始實(shí)時圖像數(shù)據(jù)進(jìn)行色彩空間通道預(yù)處理、逆透視變換、二值化、中值濾波、hough變換、曲線擬合和縮微車攝像頭標(biāo)定等步驟得到如圖3所示的車道線提取的特征點(diǎn)A和B,并擬合出車道線AB,且結(jié)合當(dāng)時的位置得到車輛瞬間前進(jìn)方向與車道線AB的夾角k和車體中心到該車道線的距離d。同時,根據(jù)此時刻的k值來獲得縮微車需要的轉(zhuǎn)向角,d值則輔助判斷是否偏離車道,最終計(jì)算出控制舵機(jī)前輪偏轉(zhuǎn)角度來實(shí)現(xiàn)車輛沿車道線的跟蹤行駛。
圖3 車道線識別
交通標(biāo)志、交通燈對汽車駕駛過程中的轉(zhuǎn)向引導(dǎo)、障礙物識別、道路靜態(tài)信息指示起著不可或缺的作用,特別在復(fù)雜路口,它們可以有效提高道路的駕駛安全性和通行效率,所以高準(zhǔn)確率、實(shí)時地識別道路交通標(biāo)志和交通燈是智能駕駛的關(guān)鍵?,F(xiàn)有的交通標(biāo)識檢測算法主要有:模板匹配、SVM(support vector machines)、LDA、ANN、Haar-Like and AdaBoost[7-9]。本系統(tǒng)是利用交通標(biāo)志的形狀和顏色特征,通過集成分類器進(jìn)行目標(biāo)檢測區(qū)域,再利用支撐向量機(jī)進(jìn)行分類識別,進(jìn)而得到相應(yīng)的交通標(biāo)志信息,并用于指導(dǎo)車輛運(yùn)動符合交通規(guī)則[10]。交通燈檢測則是通過原始數(shù)據(jù)預(yù)處理、連通域分析提取、邊緣檢測和模板匹配等來獲取交通燈的轉(zhuǎn)向信息。交通標(biāo)志和交通燈識別研究在于選擇合適的分類器和訓(xùn)練過程,使算法能夠克服光線變換導(dǎo)致的圖像不同色差。這是因?yàn)榫嚯x和視場產(chǎn)生的不同角度和不同比例,以及高大障礙物的相對遮擋等情況會造成識別結(jié)果的低效和錯誤。
障礙物檢測分為動目標(biāo)跟蹤預(yù)測和靜目標(biāo)檢測。目前對于靜態(tài)障礙物的檢測方法有基于單幅圖像的方法、基于光流的方法[11]和基于立體視覺的方法;動態(tài)障礙物跟蹤預(yù)測有利用輪廓的方法、利用底層特征(如角點(diǎn)或者直線)的方法、利用區(qū)域統(tǒng)計(jì)特性的方法、利用三維模型的方法和利用模板匹配的方法等。本系統(tǒng)中采用的是超聲波和視頻數(shù)據(jù)融合算法來檢測障礙物。由于縮微交通系統(tǒng)下交通環(huán)境相對真實(shí)交通較簡單,其中靜態(tài)障礙物主要有錐桶、靜止縮微車、靜止行人、綠化帶等,動態(tài)障礙物主要是移動車輛和行人。這里是通過圖像數(shù)據(jù)的灰度特征和錐桶、車輛、綠化帶等常見障礙物的形狀特征來初步識別出可能的障礙物信息,然后結(jié)合超聲波實(shí)時的距離輔助判斷和篩選,最終準(zhǔn)確識別出障礙物。
局部地圖構(gòu)建和實(shí)時路徑規(guī)劃技術(shù)也是智能駕駛的關(guān)鍵。它的任務(wù)是按照一定的評價標(biāo)準(zhǔn),在具有障礙物的環(huán)境內(nèi)尋找一條從起始狀態(tài)(包括位置和姿態(tài))到達(dá)目標(biāo)狀態(tài)的無碰路徑[12]。在規(guī)劃層中,以車道線、交通標(biāo)志、交通燈、障礙物信息、車體自身狀態(tài)和室內(nèi)定位信息為載體,在融合各類信息和解決沖突后以抽象和簡化的原則來構(gòu)建縮微車實(shí)時的動態(tài)局部地圖。同時,在局部地圖的基礎(chǔ)上隨時給出一條可靠的可通行路線來實(shí)現(xiàn)智能車的主動超車、變道和避障等駕駛行為。由于傳感器無法獲取全局交通環(huán)境和其自身數(shù)據(jù)相對不穩(wěn)定的缺陷,因此在實(shí)時路徑規(guī)劃過程中需要制定詳細(xì)決策規(guī)則。各類數(shù)據(jù)則可根據(jù)可靠性來分級,并結(jié)合歷史數(shù)據(jù)綜合分析數(shù)據(jù)缺失、數(shù)據(jù)沖突、數(shù)據(jù)錯誤等多種不可靠情況下的最優(yōu)路徑。
本文設(shè)計(jì)的智能縮微車系統(tǒng)初期,在人為設(shè)計(jì)的簡易賽道中,對車輛自主直行、轉(zhuǎn)彎、避障進(jìn)行測試,成功地檢驗(yàn)了基于視覺導(dǎo)航的智能駕駛系統(tǒng)。
在試驗(yàn)過程中,主要使用到視頻數(shù)據(jù)和超聲波雷達(dá)數(shù)據(jù)。在車輛控制和監(jiān)控程序的啟動后(如圖4(a)所示),試驗(yàn)者可以隨時看到車輛速度、轉(zhuǎn)角、里程、超聲波信息,視頻信息則在單獨(dú)的視圖窗口中顯示(如圖4(b)所示),并能實(shí)時計(jì)算智能車行駛方向與車道線的轉(zhuǎn)角、智能車幾何中心點(diǎn)與車道線的位置偏差來獲取下一時刻合理的車輛轉(zhuǎn)角和速度。
圖4 縮微車部分軟件界面
在避障模塊的測試中發(fā)現(xiàn)由于超聲波精度低、數(shù)據(jù)粗差大、跳變劇烈的特點(diǎn),會使得完全依靠單一的距離信息會出現(xiàn)大量誤判的情況。本文采用的方法是基于視覺的障礙物檢測,超聲波通過自己設(shè)計(jì)的濾波器得到相對合理的信息后觸發(fā)視覺系統(tǒng),并根據(jù)色彩和形狀特征來確定障礙物實(shí)際信息。圖5(a)是未經(jīng)過濾波的原始獲取的距離信息,即使是距離370 mm的靜態(tài)障礙物也會出現(xiàn)數(shù)據(jù)突變;圖5(b)是經(jīng)過濾波之后的同樣為距離370 mm的靜態(tài)障礙物,效果很好,基本剔除了粗差帶來的干擾,然后可結(jié)合視覺信息進(jìn)行檢測,結(jié)果如圖5(c)所示,最終識別并成功躲避障礙物。
圖5 縮微車避障模塊分析圖
試驗(yàn)證明,在結(jié)構(gòu)簡單、環(huán)境干擾相對較小的室內(nèi)環(huán)境下,本文所設(shè)計(jì)的縮微車智能駕駛系統(tǒng)工作穩(wěn)定有效,車道線識別實(shí)時準(zhǔn)確,障礙物檢測相對可靠,在賽道上能出色完成各種動作(如圖6所示),達(dá)到真正智能駕駛的良好效果。
圖6 縮微車測試效果圖
本文設(shè)計(jì)開發(fā)了縮微車平臺進(jìn)行智能駕駛的研究,不僅成功地避免真車在真實(shí)道路環(huán)境下的開發(fā)困難、成本高、測試條件苛刻的缺點(diǎn),同時也為真車的算法驗(yàn)證搭建了一個仿真平臺。該系統(tǒng)基于視覺導(dǎo)航的縮微車平臺,從硬件設(shè)計(jì)、軟件架構(gòu)、研究思路等多方面全面考慮,并實(shí)戰(zhàn)演練,基本實(shí)現(xiàn)了智能車的自主駕駛。
為了完成能適應(yīng)更復(fù)雜交通環(huán)境的縮微車平臺,以下問題需要得到進(jìn)一步解決:測試各模塊的實(shí)時性和魯棒性,特別是車道線檢測算法的準(zhǔn)確度;注重模塊與模塊之間的通信效率,縮短控制周期;搭建更易配置、易擴(kuò)展、易監(jiān)控的系統(tǒng)。今后還需在縮微復(fù)雜三維場景構(gòu)建、高精度定位技術(shù)、多車交互、車路交互方面作更深入的研究,以實(shí)現(xiàn)更加智能的無人駕駛科技。
[1] 知遠(yuǎn)戰(zhàn)略與防務(wù)研究所.未來戰(zhàn)斗系統(tǒng)中的無人平臺[EB/OL].[2003-12-01].http:∥www.defence.org.cn/aspnet/vip-usa/uploadfiles/200499123112935.pdf.
[2] ANDRESEN F,DAVIS L,EASTMAN R,et al.Visual Algorithms for Autonomous Navigation[C]∥Proc.of IEEE Int’l Conf.on Robotics and Automation.Maryland:[s.n.],1985:856-861.
[3] MONTERMERLO M,BECKER J,BHAT S,et al.Junior:The Stanford Entry in the Urban Challenge[J].Journal of Field Robotics,2008,25(9):569-597.
[4] NXP.About NXP Semiconductors[EB/OL].[2011-09-06].http:∥www.cn.nxp.com/infocus/topics/darpa/.
[5] SARAH G.Boss Wins DARPA’S Urban Challenge[EB/OL].[2007-11-21].http:∥ thefutureofthings.com/news/1038/boss-wins-darpas-urban-challenge.html.
[6] 陳龍,李清泉,毛慶洲.基于成像模型的車道線檢測與跟蹤方法[J].中國公路學(xué)報(bào),2011,24(6):97-102.
[7] VAPNIK V N.The Nature of Statistical Learning Theory[M].New York:Springer,2000:123-170.
[8] BLEI D M,NG A Y,JORDAN M L.Latent Dirichlet Allocation[J].Journal of Machine Learning Research,2003(3):993-1022.
[9] CHANG W C,CHO C W.Online Boosting for Vehicle Detection[J].IEEE Transactions on Systems,2010,40(3):892-902.
[10] WANG Chunxiang,JIN Tao,YANG Ming,et al.Robust and Real-time Traffic Lights Recognition in Complex Urban Environments[J].International Journal of Computational Intelligence Systems,2011,4(6):1383-1390.
[11] 叢楊,唐延?xùn)|.基于光流方程和目標(biāo)匹配的視頻圖像目標(biāo)跟蹤方法[J].紅外與激光工程,2006,35(4):312-315.
[12] 胡彬,王冰,王春香,等.一種基于時間窗的自動導(dǎo)引車動態(tài)路徑規(guī)劃方法[J].上海交通大學(xué)學(xué)報(bào),2012,46(6):59-63.