陳炳煌12

(1． 福建工程學(xué)院 信息科學(xué)與工程學(xué)院， 福建 福州 350118；2． 福建省汽車電子與電驅(qū)動技術(shù)重點實驗室， 福建 福州 350118)

感知和理解環(huán)境的能力是汽車智能系統(tǒng)的基礎(chǔ)和前提[1]。智能車輛通過感知周圍環(huán)境并做出分析后，將信息提供給控制系統(tǒng)，引導(dǎo)車輛避開障礙物行駛。例如谷歌和德國的無人駕駛汽車配備先進(jìn)的智能識別、自動駕駛和導(dǎo)航系統(tǒng)，可以探測到行人和其他車輛[2-5]。然而，對于高度明顯低于車輛高度的障礙物或者目標(biāo)較小的障礙物，如小石子和道路坑洞等小型障礙物，車載系統(tǒng)在圖像檢測和識別上仍有一些不足之處[6]。這些小障礙物體積和幾何尺寸都較小，導(dǎo)致車輛在快速行駛過程中很難檢測到，從而造成車輛受損甚至人員受傷[7]。而車載視頻檢測小障礙物的低檢出率和實時性低的問題將不能保障車輛安全行駛。對于車輛前方障礙物的視頻圖像檢測，最重要的是圖像檢測算法的實時性和魯棒性[8]。

在圖像目標(biāo)檢測領(lǐng)域，Girshick、Ren 等[9-10]分別提出了快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(fast regional convolutional neural network, Fast R-CNN)和更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)，可以提高圖像檢測的準(zhǔn)確率。但這些算法檢測速度較慢，不適合實時檢測車前障礙物。Redmon等[11]提出YOLO (you only look once)可以滿足檢測速度的要求，其視頻檢測速度達(dá)到45fps。而且YOLO對于小型目標(biāo)的識別精度也較高，這對于實時的車前小型障礙物的圖像檢測與識別是個優(yōu)勢。

為了使駕駛輔助系統(tǒng)能快速地并且實時地識別小型障礙物，提出一種優(yōu)化車載視頻圖像檢測車輛前方小障礙物和新增分類計數(shù)的方法，將優(yōu)化后的YOLO(optimized YOLO，O-YOLO)應(yīng)用于道路坑洞和小石子等小障礙物的圖像檢測。

1 小型障礙物圖像檢測與分類

為了能實時并有效地檢測小型障礙物，并給車輛駕駛員發(fā)出相應(yīng)警示信息，需要對車前小型障礙物的圖像和視頻進(jìn)行檢測識別和分類計數(shù)。整體步驟如下：

(1)建立小型障礙物圖像數(shù)據(jù)庫，并標(biāo)注。

(2)采用k-Means+對數(shù)據(jù)庫進(jìn)行聚類，找到最優(yōu)k值。

(3)針對最優(yōu)k值和小型障礙物圖像數(shù)據(jù)庫進(jìn)行針對性分析計算，得到訓(xùn)練所需的Anchor值。

(4)通過O-YOLO對圖像數(shù)據(jù)庫的訓(xùn)練集進(jìn)行訓(xùn)練，得到最優(yōu)訓(xùn)練權(quán)重。

(5)將該訓(xùn)練權(quán)重應(yīng)用到測試集，并根據(jù)圖像特點設(shè)定感興趣區(qū)域(region of interest，ROI)，對目標(biāo)進(jìn)行檢測識別和分類計數(shù)，輸出結(jié)果。

1.1 YOLO算法原理

YOLO是一種使用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征來檢測對象的對象檢測器，有3個版本。YOLO v3[12]使用了新的網(wǎng)絡(luò)Darknet-53，其結(jié)構(gòu)如圖1所示(以416×416為例)。該模型使用了大量性能良好的3×3和1×1卷積層，有53個卷積層。YOLO v3從輸入圖像中提取出特征，然后將輸入圖像分割成13×13的網(wǎng)格單元。如果ground truth中的對象的中心坐標(biāo)位于網(wǎng)格單元中，則將對該對象進(jìn)行預(yù)測。每個網(wǎng)格單元預(yù)測3個大小不同的邊界框(13×13、26×26、52×52)。目標(biāo)檢測預(yù)測了ground truth與所提出的邊界框之間的IOU(Intersection over Union)。而類別檢測預(yù)測的是該類別是目標(biāo)的概率。輸出特征圖中有兩個維度(寬、高)，如13×13。另一個維度(深度)是

Box×(5 + Class)

(1)

式中，Box表示每個網(wǎng)格單元預(yù)測的邊界框數(shù)，Class表示目標(biāo)類別數(shù)，5表示為4個坐標(biāo)和1個客觀分值。

圖1 YOLO v3的網(wǎng)絡(luò)框架Fig.1 Network of YOLO v3

YOLOv3采用類似SSD(single shot multiBox detector)的多尺度策略，以類似于特征金字塔網(wǎng)絡(luò)的方式從不同尺度提取特征，使用13×13、26×26、52×52三個尺度的特征圖進(jìn)行預(yù)測，使得預(yù)測魯棒性更強(qiáng)。

1.2 k值與Anchor值的優(yōu)化

通過YOLO v3可實現(xiàn)高速的特征提取和高速的對象檢測，但是車前障礙物需要實時準(zhǔn)確地檢測出來，對檢測精度的要求也很高。為解決車前的小型障礙物檢測精度較低的問題，研究對原始的YOLO v3進(jìn)行優(yōu)化。

YOLO借鑒區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(regional convolutional neural network，R-CNN)的思想，引入Anchor值，它是一組k個簇中心框的寬高值，影響目標(biāo)檢測速度和分類識別精度[13]。通過k-Means+對數(shù)據(jù)集中標(biāo)記的目標(biāo)框進(jìn)行維度聚類可以確定k值和Anchor值，找到目標(biāo)框的統(tǒng)計規(guī)律。原始YOLO v3的Anchor值是由微軟COCO(common objects in context)圖像數(shù)據(jù)集聚類確定的。因COCO圖像數(shù)據(jù)集中有80個類別，其Anchor值是由這80個類別生成的，但這并不適用于前方小障礙物數(shù)據(jù)集。因此，為了提高圖像檢測識別和分類的精度，聚類的k值和Anchor值需要重新計算確定。小障礙物數(shù)據(jù)集目標(biāo)框的寬高經(jīng)過k-Means+聚類的最優(yōu)k值由樣本聚類誤差平方和方法確定[14]。

(2)

式中，誤差平方和(SSE)是樣本聚類誤差平方和方法的核心指標(biāo)，s是樣本，di是第i個聚類的中心點。k越大，SSE越小，說明樣本聚合程度越高。通過對小障礙物圖像數(shù)據(jù)集的訓(xùn)練樣本進(jìn)行聚類得到SSE曲線，最先趨于平緩的點即為合適的k值，如圖2所示，k為3。從表1可發(fā)現(xiàn)小障礙物數(shù)據(jù)集的寬高維度值基本表征了小石子和坑洞的幾何尺寸。

圖2 SSE聚類曲線Fig.2 SSE clustering curve

1.3 ROI的確定

在實際應(yīng)用中，車前圖像的獲取是由設(shè)置在車內(nèi)的攝像頭完成，攝像頭可以記錄行車視頻，拍攝事故過程中的重要照片。絕大多數(shù)情況下圖像的上半部分是距離車輛較遠(yuǎn)的區(qū)域，因此將圖像的下半部分確定ROI有利于圖像檢測和分類計數(shù)、提高檢測效果，如圖3所示。而攝像頭的分辨率不同，導(dǎo)致圖像的輸入源不同，因此根據(jù)圖像的比例來確定ROI。

0.03

0.46

(3)

表1 不同數(shù)據(jù)集的Anchor值

式中，X_center和Y_center分別為圖像目標(biāo)框的x軸和y軸中心的坐標(biāo)位置。0.03和0.97分別為寬度比例，0.46和1.00分別為高度比例，當(dāng)圖像分辨率是1 920×1 080時，按比例其寬度為70～1 850，高度為500～1 080，從而匹配任何大小的圖像。

圖3 ROI的確定Fig.3 Setting ROI

1.4 計數(shù)與分類

圖像檢測目標(biāo)對象的計數(shù)一般比較簡單，原始YOLO v3可以檢測圖像中物體的總數(shù)。但是每一類對象不能被原始YOLO v3單獨計數(shù)。因此，提出一種分類計數(shù)算法，并自動生成報表。

Counting and classification algorithm

STEP 1:The counter and the count cache are initialized: js=0, buf=0

STEP 2: Detect small obstacles byO-YOLO. The total number and class of objects can be detected.

STEP 3: For i=0 to num

If (0.03

Then js=js+1, copy class name to buf

End for.

STEP 4: Calculate the number of the same name and output to the TXT document.

從STEP 3可得到相應(yīng)的緩存數(shù)據(jù)如：stone hole stone. STEP 4 中TXT文本保存格式為：002345.jpg圖像中有3個目標(biāo): 小石子2個, 坑洞1個。

2 實驗

數(shù)據(jù)集訓(xùn)練和測試的實驗環(huán)境為：Windows 10系統(tǒng)，內(nèi)存64G，顯卡Nvidia Quadro M4000 (8GB RAM)一張。同時使用Faster R-CNN對同一數(shù)據(jù)集進(jìn)行訓(xùn)練和測試與本算法進(jìn)行對比。

2.1 圖像數(shù)據(jù)庫

由于沒有的小石子和道路坑洞的圖像數(shù)據(jù)集，本文收集了一些不同大小的小型障礙物圖片(jpg格式)，并利用車載攝像頭采集到小型障礙物1 080p高清視頻，通過視頻轉(zhuǎn)換器獲得高清序列圖像。針對小石子和坑洞原始圖像較少的情況，利用圖像剪切、對比度增強(qiáng)、微角度旋轉(zhuǎn)、圖像平移、圖像翻轉(zhuǎn)、加噪聲等方法增大圖像數(shù)據(jù)，共得到3 575張圖片，形成小型障礙物圖像數(shù)據(jù)庫。其中用于O-YOLO訓(xùn)練3 217張，測試358張。設(shè)置2個類別，按小石子(stone)和坑洞(hole)標(biāo)注，如圖4所示。

圖4 車前小型障礙物數(shù)據(jù)集Fig.4 Dataset of small obstacles in front of a vehicle

2.2 訓(xùn)練

針對小障礙物圖像沒有預(yù)先訓(xùn)練的模型，訓(xùn)練過程較費時，訓(xùn)練前需要根據(jù)式(1)，設(shè)定O-YOLO的關(guān)鍵訓(xùn)練參數(shù)“filters”。實驗中，Box取3，Class取2，則filters是21。

其他訓(xùn)練參數(shù)主要包括：學(xué)習(xí)率、動量和衰減。在這個實驗中，動量是0.9，衰減是0.000 5。實驗的學(xué)習(xí)率策略是階段性的。根據(jù)迭代次數(shù)，其具體的變更過程如表2所示。在迭代次數(shù)為20 000次時，學(xué)習(xí)率降低到0.000 1，可以加快訓(xùn)練速度。O-YOLO 416×416模型的損失曲線如圖5所示。最終的平均損失值是0.367 7。圖像輸入分辨率的大小影響檢測的精度[8]，因此使用5種不同分辨率圖像模型(O-YOLO 288×288、352×352、416×416、480×480、544×544)來訓(xùn)練。

表2 學(xué)習(xí)率變化策略

圖5 O-YOLO 416×416模型的損失曲線Fig.5 Loss curve of O-YOLO 416×416

2.3 圖像檢測和對比分析

本實驗針對2個類別分別計算其精度(precision)和召回率(recall)。圖像檢測分析中，閾值t設(shè)置為0.25，以保證檢測精度較高。表3顯示了O-YOLO下5個模型的精度、召回率、基于精度與召回率的調(diào)和平均值(F1-score)和平均精度均值(mAP)。圖6顯示了精度-召回率(P-R)曲線。從表3可見O-YOLO 352×352模型的mAP為最好 (82.88%)。但是在精度相差不多的情況下，O-YOLO 416×416模型的精度(86.1%)、召回率(74.2%)和F1-score值(79.7%)都優(yōu)于O-YOLO 352×352模型。

表3 7種模型的測試結(jié)果

圖6 O-YOLO 5種模型的P-R曲線Fig.6 P-R curves of 5 models of O-YOLO

為進(jìn)一步說明圖像檢測識別與分類方法的有效性和實時性，針對同一個小障礙物圖像數(shù)據(jù)集采用原始YOLO和Faster RCNN算法進(jìn)行檢測分析和對比，如表3所示。O-YOLO 416×416模型的mAP值和F1-score值分別比Faster RCNN算法高1.97%和3.60%，而且分別比原始YOLO算法高10.24%和12.10%，說明經(jīng)過優(yōu)化，該算法對于小型障礙物圖像檢測的精度較為優(yōu)秀。

針對O-YOLO 416×416模型在不同閾值影響下測試的精度和召回率如表4所示。隨著閾值的增加，精度越來越高，召回率越來越小。當(dāng)t= 0.20時，F(xiàn)1-score指標(biāo)是最好的，數(shù)值為0.80，表示416×416模型的魯棒性很好。

表4 精度和召回率的測試數(shù)值

2.4 分類及計數(shù)測試分析

實驗使用O-YOLO 416×416模型來測試358張圖像。圖7為障礙物檢測結(jié)果圖。檢測結(jié)果可以通過分類計數(shù)算法輸出到TXT文檔中。一個文檔對應(yīng)一個識別任務(wù)，每個TXT文檔包含圖像名稱、障礙物名稱和計數(shù)結(jié)果。

圖7 障礙物檢測結(jié)果Fig.7 Obstacle detection results

表5顯示了實際數(shù)據(jù)為376個坑洞和759個小石子時不同閾值下的測試數(shù)據(jù)和相對誤差。由表5可知，當(dāng)t=0.10時，O-YOLO對道路坑洞的檢測效果較好；而t=0.20時，O-YOLO對小石子的檢測效果較好；但是總體統(tǒng)計，當(dāng)閾值t=0.20時O-YOLO的檢測效果較好。這一組358張圖像在O-YOLO的測試用時為35 s，平均一張圖像檢測用時為0.097 s；而在同一測試平臺上使用Faster RCNN來測試用時為125.3 s，平均一張圖像檢測用時為0.350 s，遠(yuǎn)遠(yuǎn)低于O-YOLO的檢測速度，因此該方法在檢測速度和精度上均有上佳表現(xiàn)，能夠勝任車載實時檢測。

表5 測試數(shù)據(jù)與實際數(shù)據(jù)的對比

小型障礙物圖像檢測還存在一些誤差，如圖7(a)的右下角沒有發(fā)現(xiàn)一些小石子，主要是由于目標(biāo)物過小，O-YOLO的檢測精度還不夠高。在此方法的研究基礎(chǔ)上增加更多的數(shù)據(jù)集，并且修改O-YOLO的網(wǎng)絡(luò)結(jié)構(gòu)以提高小障礙物的檢測精度。

3 結(jié)論

針對車輛前方的小型障礙物檢測識別困難、無有效分類和實時性差的問題，本文提出了一種基于YOLO的車輛前方小障礙物圖像檢測優(yōu)化與分類計數(shù)的方法。為提高檢測精度，O-YOLO的k值使用k-Means+方法進(jìn)行優(yōu)化，并對Anchor值進(jìn)行針對性的計算。為了對小石子和道路坑洞這2類小型障礙物進(jìn)行準(zhǔn)確的分類計數(shù)，提出了一種特殊的計數(shù)分類方法。實驗分析和對比，該算法的檢測精度為0.86，檢測速度優(yōu)于Faster RCNN算法，驗證了方法的有效性。