汪前進(jìn), 湯贇棟, 汪弋琛, 仲兆滿

(1. 江蘇海洋大學(xué)計(jì)算機(jī)工程學(xué)院, 江蘇 連云港 222005; 2. 清華大學(xué)深圳國(guó)際研究生院物流與交通學(xué)部, 廣東 深圳 518055)

隨著我國(guó)人均車輛擁有率不斷提高, 交通道路安全已成為備受關(guān)注的重要問(wèn)題．路況檢測(cè)是自動(dòng)駕駛中的關(guān)鍵技術(shù)之一,可以幫助車輛識(shí)別路面標(biāo)志牌、行人和其他車輛等目標(biāo),有效實(shí)現(xiàn)安全駕駛．針對(duì)目標(biāo)檢測(cè)問(wèn)題, 目前已有若干種結(jié)合深度學(xué)習(xí)算法的解決方案[1-4]．在路況檢測(cè)方面, Kumar等[5]提出了一種基于多層卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)SSD(single shot multibox detector)算法, 通過(guò)選取最佳長(zhǎng)寬比值卷積核,有效提高了目標(biāo)檢測(cè)的精度,但由于算法依賴于默認(rèn)框?qū)?chǎng)景的適應(yīng)度, 難以保證算法的實(shí)時(shí)性; 楊薇等[6]提出基于Faster RCNN的車輛實(shí)時(shí)檢測(cè)改進(jìn)算法; Tabernik等[7]則改進(jìn)了Mask RCNN算法, 提出一種基于幾何外觀和視覺(jué)失真的分布式數(shù)據(jù)增強(qiáng)技術(shù), 使其適用于大規(guī)模路標(biāo)檢測(cè)和識(shí)別問(wèn)題, 但由于分類網(wǎng)絡(luò)丟失數(shù)據(jù)使算法的精度有所下降; Li等[8]提出了一種基于改進(jìn)的Faster-RCNN模型的多物體檢測(cè)和識(shí)別的交叉層融合方法, 適用于復(fù)雜交通環(huán)境,該方法利用VGG16的五層結(jié)構(gòu)獲取更多的特征信息, 在小物體目標(biāo)檢測(cè)方面取得較高精度, 但是未能解決Faster-RCNN對(duì)于全局信息提取與近物識(shí)別效果不佳的問(wèn)題; Carrasco等[9]提出了從全息視角瞄準(zhǔn)微小道路目標(biāo)的識(shí)別方法, 結(jié)合多尺度模塊和空間注意機(jī)制調(diào)整了YOLOv5模型, 從而提升了YOLO模型對(duì)小目標(biāo)的識(shí)別精度,但該算法僅針對(duì)特定場(chǎng)景的檢測(cè)有較大的精度提升,魯棒性不強(qiáng); 王超等[10]提出采用深度學(xué)習(xí)YOLOv2 模型的方法將目標(biāo)檢測(cè)視作回歸問(wèn)題, 獲得交通標(biāo)識(shí)的類別和位置; 鄒雁詩(shī)[11]以MobileNets作為特征提取網(wǎng)絡(luò), 提出了協(xié)作駕駛場(chǎng)景目標(biāo)檢測(cè)模型．現(xiàn)有研究多通過(guò)單一類別模型完成目標(biāo)檢測(cè), 雖然通過(guò)改進(jìn)模型在一定程度上提高了檢測(cè)效果, 但在實(shí)際路況監(jiān)測(cè)中難以兼顧檢測(cè)精度與效率．在以YOLO為代表的單階段目標(biāo)檢測(cè)算法和以Faster-RCNN為代表的二階段目標(biāo)檢測(cè)算法中, YOLO對(duì)近距離目標(biāo)檢測(cè)的精度和速度較好, 但對(duì)遠(yuǎn)距離目標(biāo)物的檢測(cè)效果不佳; 而Faster RCNN對(duì)遠(yuǎn)距離目標(biāo)的檢測(cè)具有較好的精度, 但對(duì)全局信息提取與近物識(shí)別效果弱, 且兩階段算法耗時(shí)長(zhǎng), 難以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)．為了克服單一算法目標(biāo)檢測(cè)的局限性, 本文融合Faster RCNN和YOLOX-Tiny模型設(shè)計(jì)路況檢測(cè)算法, 對(duì)交通標(biāo)識(shí)牌和車輛進(jìn)行目標(biāo)檢測(cè), 并基于雙目攝像頭進(jìn)行車輛距離檢測(cè), 以期通過(guò)模型融合的方法提高駕駛安全預(yù)警反饋的速度和準(zhǔn)確性．

1 模型融合目標(biāo)檢測(cè)算法

圖1為具體的模型融合結(jié)構(gòu)圖. 先將像素為P×Q的圖像按比例縮放至M×N, 然后分別輸入YOLOX-Tiny和Faster RCNN模型中進(jìn)行檢測(cè),再將各自檢測(cè)結(jié)果按預(yù)設(shè)權(quán)重計(jì)算出最終結(jié)果．

圖1 模型融合結(jié)構(gòu)圖Fig.1 Model fusion structure diagram

YOLOX-Tiny是YOLOX輕量化版本,結(jié)構(gòu)精簡(jiǎn), 檢測(cè)速度快, 其算法框架主要分為骨干網(wǎng)絡(luò)、頸部和檢測(cè)頭．相較于標(biāo)準(zhǔn)模型, 此模型弱化了Mosaic并將Mix移除, 在性能較差的硬件平臺(tái)也能有很好的檢測(cè)效果, 提高了算法的兼容性．該模型由convolutional spatial module(CSM), convolutional spatial unit(CSU)和convolutional component unit(CCUCR)三部分組成．CSM由卷積層和Sigmoid函數(shù)及Mul函數(shù)組成, 用于提取圖像的低級(jí)特征, 如邊界和色彩; CSU為特征提取層, 包括2個(gè)CSM層和Add函數(shù), 可提取圖像的高級(jí)特征,如形狀和結(jié)構(gòu); CCUCR為分類層, 用于識(shí)別目標(biāo)的不同部分,以便確定目標(biāo)的位置和類別．在如圖1所示的YOLOX-Tiny網(wǎng)絡(luò)結(jié)構(gòu)中, 將大小為M×N的圖像經(jīng)切片操作后輸入特征提取網(wǎng)絡(luò), 經(jīng)2個(gè)CSM層提取圖像特征后分別使用4個(gè)CSM層、2個(gè)CCUCR層和2個(gè)CSM層、4個(gè)CCUCR層進(jìn)行分類, 在所有CCUCR層之后均采用上采樣以確保細(xì)節(jié)特征和分辨率, 從而更好地實(shí)現(xiàn)小物體目標(biāo)檢測(cè)效果, 最后將特征融合并轉(zhuǎn)置輸出．

Faster RCNN模型[13]是RCNN系列算法中性能最佳的通用目標(biāo)檢測(cè)算法之一．在駕駛過(guò)程中, 駕駛員須預(yù)知前方道路狀況,而大多數(shù)目標(biāo)檢測(cè)算法對(duì)于小目標(biāo)的檢測(cè)效率都較低,甚至不能識(shí)別[14]. 本文采用Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)以大幅度提高小目標(biāo)檢測(cè)精度和降低容錯(cuò)率．在如圖1所示的Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)中, 主要包括特征提取網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)(region proposal network, RPN)、興趣域(region of interest, ROI)池化、分類回歸等4個(gè)模塊．首先將大小為M×N的圖像輸入特征提取網(wǎng)絡(luò), 使用13個(gè)卷積、13個(gè)線性整流和4個(gè)池化提取圖像的特征圖; 然后將特征圖輸入RPN, 經(jīng)過(guò)3×3卷積生成多個(gè)興趣域．RPN結(jié)構(gòu)中通過(guò)Softmax函數(shù)對(duì)錨點(diǎn)進(jìn)行正負(fù)分類, 然后計(jì)算錨點(diǎn)的邊界框回歸偏移量, 以獲得精確的候選值．候選層則負(fù)責(zé)綜合正錨和對(duì)應(yīng)的邊界框回歸偏移量獲取修正后的候選值, 剔除過(guò)小和超出邊界的候選值．修正后的候選值被投影到特征圖上, 再通過(guò)ROI池化層縮放為7×7大小的區(qū)域特征圖, 然后將區(qū)域特征圖展平到全連接層,通過(guò)Softmax函數(shù)歸一化,計(jì)算類別概率向量,并結(jié)合通過(guò)邊框回歸修正物體的精確位置, 輸出興趣區(qū)域中物體所屬的類別以及物體在圖像中的精確位置．

YOLOX-Tiny對(duì)近距離目標(biāo)具有較高的檢測(cè)精度和速度, 但可能無(wú)法檢測(cè)遠(yuǎn)距離目標(biāo), 故本文模型在進(jìn)行遠(yuǎn)距離目標(biāo)檢測(cè)時(shí)主要依靠Faster RCNN模型, 進(jìn)行近物識(shí)別時(shí)主要依靠YOLOX-Tiny模型．采用長(zhǎng)沙理工大學(xué)CCTSDB數(shù)據(jù)集(http://www.shujujishi.com/dataset/b3604431-16e2-4771-be74-ae694a2bb4c3.html)測(cè)試并確定兩種模型的權(quán)重．當(dāng)目標(biāo)處于適中距離時(shí), 測(cè)試YOLOX-Tiny模型的權(quán)重在0.6～0.9范圍內(nèi)取不同值時(shí)融合模型的檢測(cè)精度. 平均精度(mean average precision, mAP)和每秒傳輸幀數(shù)(frames persecond, FPS)的結(jié)果見(jiàn)表1．表1結(jié)果顯示, 當(dāng)YOLOX-Tiny權(quán)重為0.7時(shí), 融合模型的效果最好．

表1 YOLOX-Tiny模型不同權(quán)重下融合算法的檢測(cè)結(jié)果

2 路況檢測(cè)

路況檢測(cè)具體流程如圖2所示．首先通過(guò)雙目攝像頭進(jìn)行路況拍攝, 然后將拍攝截圖按照預(yù)設(shè)尺寸進(jìn)行縮放后輸入已訓(xùn)練的模型中, 獲得目標(biāo)物的分類和坐標(biāo),最后根據(jù)目標(biāo)物坐標(biāo)計(jì)算距離, 當(dāng)檢測(cè)距離小于安全距離時(shí),通過(guò)語(yǔ)音提示駕駛員．

圖2 系統(tǒng)流程圖Fig.2 System flow chart

考慮到目標(biāo)檢測(cè)算法計(jì)算資源消耗較大, 如果選用陰影檢測(cè)或圖像處理后再進(jìn)行檢測(cè),會(huì)導(dǎo)致系統(tǒng)整體響應(yīng)速度大幅降低．實(shí)際路況檢測(cè)時(shí), 模型時(shí)效性遠(yuǎn)大于精確性, 宜選用簡(jiǎn)單模型以保證檢測(cè)時(shí)效性．圖3是本模型通過(guò)雙目攝像頭檢測(cè)目標(biāo)物距離的原理圖．以地平面上點(diǎn)Oa為中心建立Oaxayaza坐標(biāo)系, 左右相機(jī)分別位于Oaxaya平面上與ya軸等距離的兩側(cè), 相機(jī)離地面高度均為h．左右相機(jī)光心分別為Ol和Or, 基線b=|OlOr|．相機(jī)的成像平面經(jīng)旋轉(zhuǎn)后位于鏡頭前方, 分別以左右相機(jī)成像中心Fl和Fr建立Flxlylzl和Frxryrzr坐標(biāo)系, 焦距為f．三維空間目標(biāo)物的P點(diǎn)在左右相機(jī)的像點(diǎn)分別為Pl和Pr．視差d=|OlOr|-|PlPr|, 故|PlPr|=|OlOr|-d=b-d．令|PP′|為目標(biāo)P到雙目攝像頭的垂直距離, 記作Z, 該垂線交PlPr于Q, |P′Q|=f．根據(jù)相似三角形理論, |PlPr|/|PQ|=|OlOr|/|PP′|,即(b-d)/(Z-f)=b-Z, 故目標(biāo)P到雙目攝像頭的距離Z=bf/d, 式中視差d可通過(guò)檢測(cè)到的目標(biāo)在圖像中的位置坐標(biāo)計(jì)算得出, 焦距f以算法檢測(cè)目標(biāo)為焦點(diǎn)時(shí)返回的數(shù)值為依據(jù),b為雙目攝像頭固定參數(shù)．

圖3 雙目系統(tǒng)獲取目標(biāo)距離原理圖Fig.3 Schematic diagram of binocular system for acquiring distance to target

3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)選用長(zhǎng)沙理工大學(xué)CCTSDB數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練, 數(shù)據(jù)集包括指示標(biāo)志、禁止標(biāo)志、警告標(biāo)志、非機(jī)動(dòng)車、機(jī)動(dòng)車等5種類型, 訓(xùn)練集與測(cè)試集的比例為8∶2, 訓(xùn)練平臺(tái)為Python3.8, 顯卡為NVIDIA GTX 3060 12 GB．

為了驗(yàn)證算法的檢測(cè)能力, 將本文模型與YOLOX-Tiny、Faster RCNN、YOLOv3-Tiny、SSD算法進(jìn)行對(duì)比實(shí)驗(yàn)．各模型均進(jìn)行了200輪次的訓(xùn)練, 然后分別對(duì)遠(yuǎn)處目標(biāo)、近處目標(biāo)、簡(jiǎn)單場(chǎng)景、適中場(chǎng)景和復(fù)雜場(chǎng)景的數(shù)據(jù)進(jìn)行預(yù)測(cè)．其中,目標(biāo)占攝像頭捕獲圖像上部的1/3位置為遠(yuǎn)處目標(biāo), 占圖像下部2/3位置為近處目標(biāo); 僅前方有車輛的高速道路為簡(jiǎn)單場(chǎng)景; 前方、側(cè)方都有車輛的高速道路為適中場(chǎng)景; 前方、側(cè)方有車輛, 且有交通標(biāo)識(shí)牌的高速道路為復(fù)雜場(chǎng)景．表2為各場(chǎng)景下目標(biāo)檢測(cè)模型的性能對(duì)比．其中AP50是以預(yù)測(cè)框和實(shí)際框重合面積占總面積的比例大于50%為閾值計(jì)算的平均精度．由表2可知, Faster RCNN的mAP比本文算法高3.5%, 但本文算法的FPS提升了30.6幀·s-1; 其他算法與本文算法的FPS相差不大, 但是本算法在mAP上具有明顯優(yōu)勢(shì)．綜合而言, 本文的模型具有較好的檢測(cè)性能．

表2 目標(biāo)檢測(cè)模型性能對(duì)比

圖4為近處和遠(yuǎn)處目標(biāo)檢測(cè)的損失函數(shù)曲線．由圖4可見(jiàn), 隨訓(xùn)練次數(shù)的增加, 各算法的損失函數(shù)曲線均趨于穩(wěn)定, 未出現(xiàn)過(guò)擬合現(xiàn)象．遠(yuǎn)處目標(biāo)檢測(cè)中, YOLOX-Tiny與YOLOv3-Tiny的損失函數(shù)曲線波動(dòng)較大且最大值較高, 說(shuō)明YOLO模型對(duì)于遠(yuǎn)處目標(biāo)檢測(cè)能力不穩(wěn)定．YOLOv3-Tiny整體效率不如YOLOX-Tiny, 原因是YOLOX相較于YOLOv3新增了無(wú)錨點(diǎn)模型．檢測(cè)近處目標(biāo)時(shí), 各算法的損失函數(shù)曲線相近, 但在遠(yuǎn)處目標(biāo)檢測(cè)中本文算法的優(yōu)勢(shì)明顯, 相較于YOLOv3-Tiny和YOLOX-Tiny在初始階段對(duì)遠(yuǎn)處目標(biāo)檢測(cè)能力較弱的情況得到了明顯的改善．相較于SSD和Faster RCNN, 本文算法的損失函數(shù)曲線也更平滑．結(jié)合表2結(jié)果, 基于加權(quán)平均法進(jìn)行的模型融合算法計(jì)算量小, 檢測(cè)性能佳,兼顧了檢測(cè)速度和精度兩方面的需求．不同于常用的以犧牲部分檢測(cè)速度換取高精度的自助聚合和堆疊法, 基于加權(quán)平均法的模型融合算法更適合于在高速公路以及非密集人員區(qū)域的交通道路條件下, 對(duì)駕駛員的視野邊緣區(qū)域目標(biāo)進(jìn)行檢測(cè), 有助于提高駕駛安全性．

圖4 近處(a)和遠(yuǎn)處(b)目標(biāo)檢測(cè)的損失函數(shù)曲線Fig.4 Loss function curves for near (a) and far (b) target detection