黎 洲 黃妙華

1.武漢理工大學(xué)現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，武漢，430070

2.汽車零部件技術(shù)湖北省協(xié)同創(chuàng)新中心，武漢，430070

3.武漢理工大學(xué)汽車工程學(xué)院，武漢，430070

0 引言

面對(duì)居高不下的交通事故率，良好的輔助駕駛系統(tǒng)成為一種日益迫切的需要。如果汽車本身能夠檢測(cè)到周圍環(huán)境中的車輛，通過(guò)合理的控制策略，就能提前提醒駕駛員注意危險(xiǎn)車輛甚至自行采取緊急措施。行車記錄儀的普遍使用，使得在汽車上實(shí)現(xiàn)基于機(jī)器視覺(jué)的車輛目標(biāo)檢測(cè)成為了可能。本文基于車載視頻進(jìn)行車輛目標(biāo)的檢測(cè)。

傳統(tǒng)的車輛目標(biāo)檢測(cè)方法一般是分區(qū)域選擇、候選區(qū)域特征提取、分類器分類三步完成。KACHACH等［1］通過(guò)提取滑動(dòng)窗口內(nèi)方向梯度直方圖（histogram of gradient，HOG）特征，并用線性支持向量機(jī)（support vector machine，SVM）來(lái)進(jìn)行車輛的檢測(cè)。FELZENSZWALB等［2-3］提出了一種多尺度可變形部件模型（deformable parts model，DPM）來(lái)進(jìn)行包括汽車在內(nèi)的目標(biāo)檢測(cè)。傳統(tǒng)的車輛檢測(cè)方法雖能較為準(zhǔn)確地檢測(cè)出車輛，但區(qū)域選擇時(shí)經(jīng)常發(fā)生窗口冗余，整個(gè)過(guò)程復(fù)雜度高，提取出合理的特征難度較大。

文獻(xiàn)［4］的發(fā)表，拉開了基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法的序幕。R-CNN［5］算法是深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域的新秀，該算法在生成候選區(qū)域過(guò)程中采用選擇性搜索（selective search）［6］方法，為后來(lái)出現(xiàn) 的 SPP-net［7］、Fast R-CNN［8］、Faster RCNN［9］、R-FCN［10］開創(chuàng)了一種基于候選區(qū)域的深度學(xué)習(xí)目標(biāo)檢測(cè)的思路。

REDMON等［11］提出了基于回歸思想的深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLO，極大地提高了目標(biāo)檢測(cè)速度。但初始版本的YOLO算法由于在網(wǎng)格劃分以及預(yù)測(cè)邊框數(shù)量的選取方面不太成熟，出現(xiàn)了定位不精準(zhǔn)等問(wèn)題。SSD［12］、YOLO_v2［13］等算法在YOLO算法的基礎(chǔ)上進(jìn)行改進(jìn)，使得檢測(cè)效果有了進(jìn)一步提升。

許多學(xué)者針對(duì)YOLO_v2算法進(jìn)行了研究。ZHANG等［14］運(yùn)用YOLO_v2算法進(jìn)行了中文交通標(biāo)志的實(shí)時(shí)檢測(cè)研究，JO等［15］運(yùn)用YOLO_v2算法進(jìn)行了多目標(biāo)的實(shí)時(shí)跟蹤研究，SEO［16］運(yùn)用YOLO_v2算法和無(wú)人機(jī)對(duì)高速公路上的車輛進(jìn)行了實(shí)時(shí)檢測(cè)研究，魏湧明等［17］運(yùn)用YOLO_v2算法對(duì)航拍圖像進(jìn)行了目標(biāo)定位研究。

筆者在進(jìn)行車輛檢測(cè)時(shí)發(fā)現(xiàn)，傳統(tǒng)的車輛檢測(cè)算法僅能識(shí)別出車輛及該車輛在圖片中的位置，這種單一的檢測(cè)結(jié)果無(wú)法獲取足夠的有用信息，無(wú)法知道被檢測(cè)車輛的運(yùn)動(dòng)趨勢(shì)及距離，對(duì)周圍車輛的預(yù)警效果差，難以對(duì)自身車輛進(jìn)行合理的控制。為了解決上述問(wèn)題，本文在YOLO_v2算法基礎(chǔ)上改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)模型，優(yōu)化模型關(guān)鍵參數(shù)，使其能夠?qū)Σ杉降能囕d視頻信息進(jìn)行多維度的判斷。

1 YOLO_v2車輛目標(biāo)實(shí)時(shí)檢測(cè)模型架構(gòu)

本文設(shè)計(jì)的實(shí)時(shí)車輛檢測(cè)模型架構(gòu)見圖1。定義滿足車輛實(shí)時(shí)檢測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)，并在VOC2007數(shù)據(jù)集中篩選出包含汽車的數(shù)據(jù)集作為訓(xùn)練樣本，再將獲得的汽車數(shù)據(jù)集輸入到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，最終對(duì)訓(xùn)練收斂的網(wǎng)絡(luò)模型進(jìn)行性能測(cè)試。

圖1 YOLO_v2車輛實(shí)時(shí)檢測(cè)模型架構(gòu)Fig.1 YOLO_v2 vehicle real-time detection model architecture

1.1 YOLO_v2網(wǎng)絡(luò)結(jié)構(gòu)介紹

YOLO_v2是在YOLO_v1的基礎(chǔ)上采用一系列優(yōu)化方法得到的。YOLO_v1的網(wǎng)絡(luò)結(jié)構(gòu)由卷積層、池化層和全連接層組成［18］，在YOLO_v2中，為獲得更多空間信息，全連接層被移除并使用錨點(diǎn)框［9］來(lái)預(yù)測(cè)邊框。

基于YOLO_v2的車輛實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)見圖2。首先將輸入圖片歸一化為長(zhǎng)寬均為416像素、3通道的標(biāo)準(zhǔn)輸入圖片，此時(shí)具有416×416×3個(gè)數(shù)值，經(jīng)過(guò)13層卷積和4次池化將圖片轉(zhuǎn)換為26像素、26像素和512通道的特征圖。隨后從2個(gè)方向處理特征圖：第1個(gè)方向是將26×26×512個(gè)數(shù)值按照一定規(guī)律重新組合成13像素、13像素和2 048通道的特征圖，第2個(gè)方向是經(jīng)過(guò)1層池化和7層卷積將特征圖轉(zhuǎn)換為13像素、13像素和1 024通道的特征圖。再將2個(gè)方向處理的結(jié)果進(jìn)行融合，得到13像素、13像素和3 072通道的特征圖。最后經(jīng)過(guò)2層卷積得到最終的特征圖。

圖2 基于YOLO_v2的車輛實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Real-time detection network structure of vehicle based on YOLO_v2

YOLO_v2車輛目標(biāo)實(shí)時(shí)檢測(cè)基本流程如下：

（1）將待測(cè)圖像輸入檢測(cè)模型，得到13像素、13像素和30通道的特征圖；

（2）13個(gè)像素與13個(gè)像素形成了169個(gè)網(wǎng)格，對(duì)于每個(gè)網(wǎng)格，都預(yù)測(cè)5個(gè)邊框，每個(gè)邊框中包括6維信息（包括4維坐標(biāo)信息、1維邊框置信度和1維是否為汽車的類別信息），總共形成1個(gè)30維的向量，即為最終得到的30個(gè)通道；

（3）將上一步預(yù)測(cè)出的13×13×5個(gè)目標(biāo)邊框，先根據(jù)閾值消除概率小的目標(biāo)邊框，再用非極大值抑制（non-maximum suppression，NMS）［19］去除冗余窗口。

其中，邊框置信度代表了該邊框中含有車輛類別的置信度和邊框預(yù)測(cè)準(zhǔn)確度兩重信息，其計(jì)算表達(dá)式為

式中，Pr（Object）表示是否有汽車落入相應(yīng)的單元格中，有汽車則取1，無(wú)汽車則取0；IOUtruthpred為預(yù)測(cè)框和標(biāo)記框的交并除，表示重合度大小；Detection為系統(tǒng)預(yù)測(cè)出來(lái)的邊框；GroundTruth為原圖中標(biāo)記的邊框。

在整個(gè)檢測(cè)流程中不難發(fā)現(xiàn)，YOLO_v2算法不再需要基于候選區(qū)域?qū)ふ夷繕?biāo)，可直接采用回歸的思想就完成了位置與類別的判斷。正是由于YOLO_v2算法將汽車的檢測(cè)轉(zhuǎn)化為一個(gè)回歸問(wèn)題，才使得檢測(cè)速度大大提升，從而使得該算法能夠輕易滿足實(shí)時(shí)性要求。

1.2 訓(xùn)練

在訓(xùn)練過(guò)程中，采用小批量隨機(jī)梯度下降法，每36個(gè)樣本更新一次權(quán)重參數(shù)。電腦內(nèi)存為8G，為防止內(nèi)存不夠，多次實(shí)驗(yàn)后最終決定將36個(gè)樣本分割成6個(gè)大小為6的子樣本來(lái)進(jìn)行訓(xùn)練，迭代次數(shù)為32 000。采用動(dòng)量系數(shù)使訓(xùn)練過(guò)程加速收斂。為防止過(guò)擬合，設(shè)置權(quán)重衰減系數(shù)，并采用數(shù)據(jù)增廣方法進(jìn)行處理（包括隨機(jī)裁剪、旋轉(zhuǎn)，調(diào)整飽和度、色調(diào)、曝光度等）。通過(guò)該方法增大了訓(xùn)練集的樣本容量，并提高了模型的泛化能力。學(xué)習(xí)率的選取采用多分布方法，具體訓(xùn)練參數(shù)見表1。

表1 訓(xùn)練參數(shù)Tab.1 Training parameters

為保證該模型對(duì)不同尺寸的圖像具有良好的魯棒性，采用了多尺度訓(xùn)練方法［13］，在訓(xùn)練過(guò)程中，每隔幾輪便隨機(jī)選擇一種新的輸入圖像尺寸來(lái)進(jìn)行訓(xùn)練，該方法使得模型對(duì)不同分辨率下汽車的檢測(cè)精確度均保持在較高水平。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)平臺(tái)

主要硬件配置為①處理器：Intel（R）Core（TM）i7-6800K CPU@3.40GHz；②GPU卡：NVIDA GeForce GTX 1060 3GB；③內(nèi)存：8G。

YOLO_v2算法的程序設(shè)計(jì)語(yǔ)言為C++語(yǔ)言，整個(gè)開發(fā)環(huán)境為Windows7 X64+VS2013+CUDA 8.0+CUDNN 5.1。通過(guò)NVIDIA公司的基于并行編程模型和指令集架構(gòu)的通用計(jì)算架構(gòu)CUDA，配合應(yīng)用基于深度神經(jīng)網(wǎng)絡(luò)的GPU加速庫(kù)CUDNN，對(duì)數(shù)據(jù)進(jìn)行快速訓(xùn)練及實(shí)時(shí)性驗(yàn)證。

2.2 評(píng)價(jià)方法

在本文中，目標(biāo)檢測(cè)只需要判斷檢測(cè)到的目標(biāo)是否為汽車，是一個(gè)二分類問(wèn)題，故本文最終目的是：能夠檢測(cè)到驗(yàn)證集中所有的汽車，且沒(méi)有將其他目標(biāo)檢測(cè)成汽車。為了較為正確地評(píng)價(jià)本文模型的效果，在此先作True Car、True N-car、False Car、False N-car 4種定義。①True Car：目標(biāo)為汽車，且被系統(tǒng)正確地檢測(cè)成了汽車；②True N-car：目標(biāo)不為汽車，且系統(tǒng)沒(méi)有將其誤檢測(cè)為汽車；③False Car：目標(biāo)不為汽車，但被系統(tǒng)錯(cuò)誤地檢測(cè)成了汽車（誤檢）；④False N-car：目標(biāo)為汽車，但系統(tǒng)沒(méi)有將其檢測(cè)為汽車（漏檢）。

在評(píng)價(jià)過(guò)程中一般采用精確度和召回率來(lái)評(píng)價(jià)算法性能的優(yōu)劣。精確度指的是被正確檢測(cè)出的汽車占檢測(cè)出的汽車的比例，其計(jì)算表達(dá)式為

召回率指的是被正確檢測(cè)出的汽車占驗(yàn)證集中所有汽車的比例，其計(jì)算表達(dá)式為

2.3 實(shí)驗(yàn)結(jié)果及分析

將訓(xùn)練集里面的1 000組信息導(dǎo)入模型，在GPU加速情況下經(jīng)過(guò)約21 h的訓(xùn)練，獲取了迭代32 000次之后的參數(shù)權(quán)重，得到了YOLO_v2車輛目標(biāo)檢測(cè)模型。用驗(yàn)證集中的284組信息進(jìn)行驗(yàn)證，并與另外2種經(jīng)典的目標(biāo)檢測(cè)算法進(jìn)行對(duì)比，結(jié)果見表2。

表2 實(shí)驗(yàn)結(jié)果Tab.2 The results of the experiment

Faster R-CNN是R-CNN系列算法不斷優(yōu)化的結(jié)果，目前是該系列算法中效果最好的算法，具有很強(qiáng)的代表性；DPM算法作為機(jī)器學(xué)習(xí)檢測(cè)算法的頂峰，也具有很強(qiáng)的代表性。本文將YOLO_v2車輛目標(biāo)檢測(cè)算法與這2種算法進(jìn)行對(duì)比，發(fā)現(xiàn)3種算法的精確度均較高，均有較好的檢測(cè)效果；在召回率方面，YOLO_v2車輛目標(biāo)檢測(cè)算法的優(yōu)勢(shì)比較明顯，達(dá)到了97.42%；在實(shí)時(shí)性方面，YOLO_v2車輛目標(biāo)檢測(cè)算法的每秒檢測(cè)幀數(shù)遠(yuǎn)大于Faster R-CNN算法和DPM算法的每秒檢測(cè)幀數(shù)。實(shí)驗(yàn)結(jié)果充分表明了YOLO_v2車輛目標(biāo)檢測(cè)模型在驗(yàn)證集上具有良好的檢測(cè)效果，且每秒檢測(cè)幀數(shù)為40，滿足了實(shí)時(shí)性要求。YOLO_v2車輛目標(biāo)檢測(cè)模型的部分檢測(cè)效果圖見圖3。

圖3 YOLO_v2檢測(cè)效果圖Fig.3 Detection results of YOLO_v2

從圖3中可以看出，雖然YOLO_v2檢測(cè)效果好，但存在一些傳統(tǒng)車輛檢測(cè)算法共有的問(wèn)題。由圖3a～圖3c可以看出，傳統(tǒng)的YOLO_v2車輛檢測(cè)算法僅能識(shí)別出車輛及該車輛在圖片中的位置，這種單一的檢測(cè)結(jié)果無(wú)法獲取足夠的有用信息，無(wú)法知道被檢測(cè)車輛相對(duì)于攝像頭的方位及被檢測(cè)車輛的運(yùn)動(dòng)趨勢(shì)；由圖3d可以看出，當(dāng)圖片中有多輛汽車時(shí)，無(wú)法知道哪輛被檢測(cè)車輛對(duì)自身車輛的行駛有潛在威脅，對(duì)周圍車輛的預(yù)警效果差，難以對(duì)自身車輛進(jìn)行合理的控制。

3 改進(jìn)YOLO_v2算法的車輛實(shí)時(shí)檢測(cè)

3.1 被檢測(cè)車輛相對(duì)于攝像頭的方位定義

本文根據(jù)被檢測(cè)車輛相對(duì)于攝像頭的空間位置及姿態(tài)，將檢測(cè)到的車輛劃分為車輛后部、車輛前部、車輛側(cè)部。按照同車道車輛與異車道車輛2種情況進(jìn)行具體的定義：

（1）同車道車輛方位分類定義。對(duì)于與自身車輛同向行駛的車輛（圖4a），以正前方向左右30°范圍為標(biāo)準(zhǔn)，定義為車輛后部；對(duì)于與自身車輛相向行駛的車輛（圖4b），以正前方向左右30°范圍為標(biāo)準(zhǔn)，定義為車輛前部；其他姿態(tài)的車輛定義為車輛側(cè)部（圖4c）。

圖4 同車道車輛方位定義圖Fig.4 Same-lane vehicle orientation diagram

（2）異車道車輛方位分類定義。對(duì)于與自身車輛同向行駛的車輛（圖5a），以攝像頭采集到的圖像中顯示的被檢測(cè)車輛是否有后輪為臨界位置，若能觀察到后輪，則定義為車輛后部，否則定義為車輛側(cè)部；對(duì)于與自身車輛相向行駛的車輛（圖5b），以攝像頭采集到的圖像中顯示的被檢測(cè)車輛是否有前輪為臨界位置，若能觀察到前輪，則定義為車輛前部，否則定義為車輛側(cè)部。

圖5 異車道車輛方位定義圖Fig.5 Side-lane vehicle orientation diagram

3.2 車距估計(jì)及預(yù)警

從圖3d中可以發(fā)現(xiàn)，距離攝像頭不同距離的被檢測(cè)車輛在圖片中的位置有差異。以被檢測(cè)車輛邊框的下邊框?yàn)闃?biāo)準(zhǔn)，可以發(fā)現(xiàn)被檢測(cè)車輛越靠近攝像頭，下邊框在圖片中的位置越接近下方。基于此特征，本文可以對(duì)被檢測(cè)車輛的距離進(jìn)行估計(jì)。

先在圖片中確定自身車輛的運(yùn)動(dòng)趨勢(shì)區(qū)域，并根據(jù)行駛到該區(qū)域所需時(shí)間的長(zhǎng)短劃分為3級(jí)預(yù)警：1級(jí)預(yù)警為淺度提醒，告知系統(tǒng)前方區(qū)域有車輛；2級(jí)預(yù)警為中度提醒，提醒車輛減速防碰撞；3級(jí)預(yù)警為深度提醒，執(zhí)行減速停車行為，具體示意圖見圖6。然后判斷被檢測(cè)車輛的下邊框是否在未來(lái)運(yùn)動(dòng)趨勢(shì)區(qū)域內(nèi)，若在，則進(jìn)一步判斷在哪一個(gè)安全等級(jí)的區(qū)域內(nèi)，再根據(jù)被檢測(cè)車輛相對(duì)于攝像頭的方位，綜合給出自身車輛的控制策略。

圖6 車輛預(yù)警示意圖Fig.6 Vehicle warning diagram

3.3 改進(jìn)算法的實(shí)驗(yàn)結(jié)果及分析

完成改進(jìn)的YOLO_v2車輛實(shí)時(shí)檢測(cè)模型之后，將采集到的視頻輸入該模型進(jìn)行檢測(cè)，本文視頻取自“上汽杯”汽車軟件挑戰(zhàn)賽復(fù)賽視頻，將視頻導(dǎo)入該模型后，部分檢測(cè)效果圖見圖7。

圖7 車載視頻檢測(cè)效果圖Fig.7 Detection results of vehicle video

從圖7的測(cè)試結(jié)果中發(fā)現(xiàn)，該改進(jìn)模型對(duì)道路上車輛的檢測(cè)效果整體較好，在能準(zhǔn)確檢測(cè)到車輛的基礎(chǔ)上，進(jìn)一步判斷了被檢測(cè)車輛相對(duì)于自身車輛的位置及危險(xiǎn)程度，達(dá)到了周圍車輛實(shí)時(shí)檢測(cè)及實(shí)時(shí)預(yù)警的目的。

結(jié)果表明，基于改進(jìn)YOLO_v2算法的車輛實(shí)時(shí)檢測(cè)模型在訓(xùn)練樣本充足、迭代次數(shù)多的情況下，能夠取得很好的效果，可以結(jié)合方位信息和預(yù)警信息來(lái)控制自身車輛運(yùn)動(dòng)，最終達(dá)到自動(dòng)駕駛的目標(biāo)，該改進(jìn)模型可以很好地應(yīng)用到車載攝像頭領(lǐng)域進(jìn)行周圍車輛的檢測(cè)及預(yù)警。

4 結(jié)語(yǔ)

本文應(yīng)用YOLO_v2算法實(shí)現(xiàn)了車載視頻中的車輛檢測(cè)，解決了以往算法中目標(biāo)檢測(cè)實(shí)時(shí)性不足的問(wèn)題。并針對(duì)傳統(tǒng)車輛檢測(cè)的局限性改進(jìn)了YOLO_v2算法，將傳統(tǒng)的單維度檢測(cè)拓展為多維度檢測(cè)，給基于機(jī)器視覺(jué)的車輛實(shí)時(shí)檢測(cè)提供了研究方向。通過(guò)本文的研究，發(fā)現(xiàn)該改進(jìn)模型可以很好地應(yīng)用于車載攝像頭領(lǐng)域中。筆者接下來(lái)將結(jié)合車載攝像頭、毫米波雷達(dá)和激光雷達(dá)信息，對(duì)多傳感器信息進(jìn)行融合，并把基于視覺(jué)的方位信息和預(yù)警信息作為一種輔助距離估計(jì)方式，提高整車感知系統(tǒng)的穩(wěn)定性。