曹長(zhǎng)玉，鄭佳春,黃一琦

(1.集美大學(xué)航海學(xué)院，福建 廈門(mén) 361021;2.集美大學(xué)信息工程學(xué)院，福建 廈門(mén) 361021)

0 引言

在智能交通管理系統(tǒng)[1]、智能視頻監(jiān)控系統(tǒng)[2]、高級(jí)駕駛輔助系統(tǒng)( ADAS)[3]等系統(tǒng)中車(chē)輛檢測(cè)是必不可少的關(guān)鍵技術(shù)[4-5]。目前國(guó)內(nèi)外關(guān)于車(chē)輛檢測(cè)的研究主要有:文獻(xiàn)[6-7]提出背景建模法，檢測(cè)速度較快且具有一定的適應(yīng)性，但檢測(cè)時(shí)易產(chǎn)生黏連現(xiàn)象，一般只適用于固定場(chǎng)景；Lienhart等[8]提出幀間差分法和光流法，可用于行駛車(chē)輛檢測(cè)，前者檢測(cè)速度較快但準(zhǔn)確率較低，而后者反之；文獻(xiàn)[9-12]提出滑動(dòng)窗口分類(lèi)法，使用分類(lèi)器對(duì)感興趣區(qū)域的特征進(jìn)行分類(lèi)，其穩(wěn)定性與準(zhǔn)確率均較高，但仍存在提取特征難度大、區(qū)域選擇易冗余、計(jì)算復(fù)雜、速度較慢等不足；Girshick等[13]提出R-CNN算法，采用選擇性搜索法(selective search，SS)[14]選取感興趣區(qū)域，檢測(cè)識(shí)別率有所提高，但重復(fù)計(jì)算導(dǎo)致耗時(shí)較長(zhǎng)。采取SPPnet[15]思路對(duì)R-CNN進(jìn)行改進(jìn)，進(jìn)一步提出Fast R-CNN[16]算法，縮短重復(fù)計(jì)算時(shí)間，但感興趣區(qū)域選擇耗時(shí)問(wèn)題仍未解決；Ren等[17]通過(guò)引入region proposal networks(RPN)網(wǎng)絡(luò)，進(jìn)而提出Faster R-CNN算法，極大縮短檢測(cè)時(shí)間；Redmon等[18]提出基于回歸思想的YOLO算法，檢測(cè)速度快，但易出現(xiàn)定位問(wèn)題；后來(lái)Redmon等[19]又提出YOLOv2算法，雖速度快、準(zhǔn)確率高，但定位準(zhǔn)確率低于Faster R-CNN。

針對(duì)多種天氣與多種場(chǎng)景下主干道行駛車(chē)輛的實(shí)時(shí)、準(zhǔn)確、全面檢測(cè)問(wèn)題，本文在對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN算法研究基礎(chǔ)之上，提出一種新的解決算法。

1 Faster R-CNN算法及優(yōu)化

1.1 Faster R-CNN算法

Faster R-CNN(faster region-based convolutional neural networks)算法引入RPN網(wǎng)絡(luò)提取目標(biāo)候選區(qū)域框，該網(wǎng)絡(luò)與檢測(cè)器共享圖片卷積特征。Faster R-CNN通過(guò)將特征提取、候選區(qū)域框選擇、邊界框回歸與分類(lèi)，綜合在單個(gè)網(wǎng)絡(luò)中并采用交替訓(xùn)練方式，提升網(wǎng)絡(luò)的準(zhǔn)確率與速度。

該算法通過(guò)ZF網(wǎng)絡(luò)模型提取任意輸入尺寸圖片的特征，而后用于RPN網(wǎng)絡(luò)和ROI pooling網(wǎng)絡(luò)。RPN網(wǎng)絡(luò)使用3×3的滑動(dòng)窗口在圖片特征上進(jìn)行滑動(dòng)，每個(gè)位置可產(chǎn)生由3種面積3種比例(1∶1,1∶2,2∶1)組成的9個(gè)候選區(qū)域框(anchor框)。其1×1的卷積層預(yù)測(cè)每個(gè)anchor框的偏移縮放量及目標(biāo)類(lèi)別概率。ROI pooling層綜合利用特征圖與候選區(qū)域框，產(chǎn)生固定大小為7×7的ROI特征，將該特征送入全連接網(wǎng)絡(luò)進(jìn)行分類(lèi)與回歸，輸出候選區(qū)域框中的目標(biāo)類(lèi)別概率及對(duì)應(yīng)目標(biāo)精確的偏移與縮放量。

1.2 算法優(yōu)化

為了提高算法的性能，本研究對(duì)算法做了以下三方面的優(yōu)化(流程圖見(jiàn)圖1)：

1)提取更深層次的特征。Shared Convolutionval layer層引入VGG16網(wǎng)絡(luò)模型，將卷積層由5層擴(kuò)展至13層，激活函數(shù)relu擴(kuò)展至13個(gè)。

2)縮短候選區(qū)域選擇時(shí)間。計(jì)算特征圖尺寸(P,Q),利用網(wǎng)絡(luò)總池化倍數(shù)將原圖劃分為P×Q網(wǎng)格，網(wǎng)格點(diǎn)用左上角及右下角坐標(biāo)形式表示。根據(jù)總池化倍數(shù)，初始一組3種面積3種比例組成的anchor框，與每個(gè)網(wǎng)格點(diǎn)坐標(biāo)相加，得P×Q×9個(gè)anchor框。訓(xùn)練過(guò)程中，為簡(jiǎn)化采樣與縮短時(shí)間，從單張圖片中采樣256個(gè)anchor框，用于訓(xùn)練網(wǎng)絡(luò)。由3×3卷積核與并列的1×1卷積核組成區(qū)域平移網(wǎng)絡(luò)，預(yù)測(cè)anchor框的偏移、縮放、類(lèi)別概率。對(duì)anchor框進(jìn)行回歸修正的計(jì)算公式為：rx=xa+pxwa,rw=waepw，ry=ya+pyha,rh=haeph，其中，(px,py,pw,ph)為預(yù)測(cè)anchor框的偏移與縮放量，(xa,ya,wa,ha)為anchor框的中心點(diǎn)、寬高坐標(biāo)。限定超越圖像邊界的回歸修正建議框，使用非極大值抑制( non-maximum suppression，NMS)算法[20]提取得分最高的2000個(gè)回歸修正建議框。

3)固定回歸修正建議框特征。用crop_and_resize方法代替ROI Pooling Layer層，根據(jù)圖像大小對(duì)選取的回歸修正建議框做歸一化處理，通過(guò)裁剪調(diào)整特征大小使其為14×14。采用池化層進(jìn)行降維處理，輸出[128,7,7,512]形式，用于后續(xù)全連接層的輸入。為防止過(guò)擬合，fully connected layer使用dropout函數(shù)。本文研究真實(shí)場(chǎng)景行駛車(chē)輛檢測(cè)問(wèn)題，自制UA_CAR數(shù)據(jù)集，避開(kāi)公開(kāi)數(shù)據(jù)集，優(yōu)化后記為vFaster R-CNN。

2 網(wǎng)絡(luò)訓(xùn)練

此外，回歸損失由區(qū)域平移網(wǎng)絡(luò)回歸損失和預(yù)測(cè)網(wǎng)絡(luò)回歸損失兩部分組成。文獻(xiàn)[17]使用λ/Nreg對(duì)函數(shù)值做歸一化處理，本文則使用1/Mcla方式，如：

3 仿真實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)均在ubuntu1 6.04系統(tǒng)進(jìn)行，處理器為lntel(R)Core i7-7700 CPU @3.60GHz×8,顯卡為英偉達(dá)GeForce GTX1080，軟件編程語(yǔ)言為python 3.5,使用TensorFlow深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。

3.2 數(shù)據(jù)集處理

本文圖片采集于DETRAC數(shù)據(jù)集，該數(shù)據(jù)集場(chǎng)景豐富且背景復(fù)雜，圖片分辨率為960×540像素。從DETRAC數(shù)據(jù)集中采集白天、黃昏、晚上和雨天圖片，將采集的6203張圖片與VOC_2007數(shù)據(jù)集制成VOC_UA數(shù)據(jù)集，26 820張圖片制成UA_CAR數(shù)據(jù)集，使用LabelImg對(duì)圖片中主干道車(chē)輛進(jìn)行標(biāo)注。UA_CAR數(shù)據(jù)集分為測(cè)試集、訓(xùn)練驗(yàn)證集、訓(xùn)練集和驗(yàn)證集四個(gè)子集，訓(xùn)練驗(yàn)證集占UA_CAR數(shù)據(jù)集的70%，訓(xùn)練集占訓(xùn)練驗(yàn)證集的70%。VOC_UA數(shù)據(jù)集的處理同UA_CAR數(shù)據(jù)集。為增強(qiáng)網(wǎng)絡(luò)的魯棒性，使用水平翻轉(zhuǎn)實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，通過(guò)召回率和準(zhǔn)確率對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)價(jià)。

回歸修正建議框的標(biāo)簽初始化為0，若與真實(shí)目標(biāo)框的最大交并比(IOU)大于等于0.5，則將回歸修正建議框定為目標(biāo)框，對(duì)應(yīng)類(lèi)別標(biāo)簽置1；若IOU介于0.1與0.5之間，則將回歸修正建議框定為背景框，其標(biāo)簽保持不變。目標(biāo)框與背景框之和為128，目標(biāo)框個(gè)數(shù)不高于32，余下則填充背景框。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 最優(yōu)閾值

網(wǎng)絡(luò)使用VOC_UA數(shù)據(jù)集訓(xùn)練模型,對(duì)11張圖片進(jìn)行測(cè)試，平均每張圖片中主干道6.54個(gè)“car”。對(duì)NMS閾值與目標(biāo)閾值進(jìn)行控制變量，尋找最優(yōu)參數(shù),計(jì)算每張圖平均預(yù)測(cè)個(gè)數(shù)、平均檢測(cè)時(shí)間、最快檢測(cè)時(shí)間(如表1所示)。

通過(guò)觀察測(cè)試圖片：若NMS閾值設(shè)置過(guò)大，無(wú)法過(guò)濾重疊區(qū)域較小的框，同輛車(chē)易出現(xiàn)復(fù)檢問(wèn)題；若目標(biāo)閾值設(shè)置較大，則易遺漏類(lèi)別概率較小且正確的預(yù)測(cè)框，引發(fā)漏檢問(wèn)題。經(jīng)觀察類(lèi)別概率推理驗(yàn)證，當(dāng)NMS閾值大于等于0.5且目標(biāo)閾值小于0.7時(shí)，復(fù)檢問(wèn)題較多；當(dāng)NMS閾值小于0.4且目標(biāo)閾值大于0.7時(shí)，漏檢問(wèn)題突出；當(dāng)NMS閾值等于0.4且目標(biāo)閾值等于0.7時(shí)，檢測(cè)效果較優(yōu)。故在后續(xù)實(shí)驗(yàn)中，將NMS閾值設(shè)為0.4，目標(biāo)閾值設(shè)為0.7。

3.3.2 不同數(shù)據(jù)集測(cè)試結(jié)果比較

目標(biāo)框與背景框統(tǒng)稱(chēng)為回歸訓(xùn)練框。使用VOC_2007數(shù)據(jù)集、VOC_UA數(shù)據(jù)集、UA_CAR數(shù)據(jù)集訓(xùn)練模型，計(jì)算預(yù)測(cè)準(zhǔn)確率。優(yōu)化后，使用UA_CAR數(shù)據(jù)集訓(xùn)練模型預(yù)測(cè)準(zhǔn)確率高至98.7%，MAP最高可達(dá)90.8，且用時(shí)較少。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同數(shù)據(jù)集訓(xùn)練模型對(duì)測(cè)試影響

3.3.3 優(yōu)化前后比較

為證實(shí)優(yōu)化后vFaster R-CNN的有效性，使用測(cè)試集對(duì)模型進(jìn)行評(píng)價(jià)。優(yōu)化前Faster R-CNN平均精度均值為83.5，用時(shí)69 ms，優(yōu)化后vFaster R-CNN平均精度均值達(dá)90.8，耗時(shí)85 ms，即優(yōu)化后平均精度較優(yōu)化前提高了7.3個(gè)百分點(diǎn)，證實(shí)了優(yōu)化的有效性(見(jiàn)圖2、圖3)。主干道行駛車(chē)輛檢測(cè)時(shí)，優(yōu)化前出現(xiàn)定位不準(zhǔn)確與漏檢現(xiàn)象，而使用本文優(yōu)化后的方法vFaster R-CNN，提取更為深入抽象的特征，抗干擾性強(qiáng)，在一定程度上解決了錯(cuò)檢、漏檢、定位不準(zhǔn)確等問(wèn)題，但隨著網(wǎng)絡(luò)層數(shù)的增加，必導(dǎo)致計(jì)算量的增大，增加運(yùn)行時(shí)間負(fù)擔(dān)。

3.3.4 不同算法比較

進(jìn)一步與R-CNN,SPPnet,Fast R-CNN等算法進(jìn)行車(chē)輛檢測(cè)準(zhǔn)確率、召回率的對(duì)比，結(jié)果如圖4所示。隨著R-CNN算法的不斷改進(jìn)，提取區(qū)域建議框用時(shí)逐漸減少，檢測(cè)速度、準(zhǔn)確率與召回率得以逐步提升，從而實(shí)現(xiàn)對(duì)多種場(chǎng)景與環(huán)境下主干道行駛車(chē)輛的實(shí)時(shí)檢測(cè)。本文將優(yōu)化后算法與其他算法[21]的車(chē)輛檢測(cè)平均精度均值進(jìn)行比較，結(jié)果如表3所示。

表3 不同算法的MAPTab.3 MAP of different algorithms算法Algorithm平均精度均值MAPYOLO83.2SSD85.8vFaster R-CNN90.8

4 結(jié)束語(yǔ)

采用本文優(yōu)化方法可提取更為抽象的特征，改善了多場(chǎng)景與多天氣條件下車(chē)輛定位、漏檢、錯(cuò)位等問(wèn)題，提高了網(wǎng)絡(luò)的泛化性及對(duì)環(huán)境的適應(yīng)性。通過(guò)對(duì)比其他目標(biāo)檢測(cè)算法，本vFaster R-CNN有著較高的平均精度均值(MAP)。優(yōu)化后基于本研究實(shí)驗(yàn)平臺(tái)最快檢測(cè)時(shí)間為0.085s，準(zhǔn)確率達(dá)98.7%。網(wǎng)絡(luò)訓(xùn)練過(guò)程中由于目標(biāo)尺寸不統(tǒng)一，為獲得更佳效果需訓(xùn)練更長(zhǎng)時(shí)間。因此，在接下來(lái)的研究中，將以圖片目標(biāo)尺寸為著入點(diǎn)，對(duì)區(qū)域平移網(wǎng)絡(luò)再度優(yōu)化處理。