文浩彬 張國輝

摘 要：運用YOLO（You Only Look Once）實時目標(biāo)檢測算法解決了駕駛視頻目標(biāo)檢測問題。針對目標(biāo)檢測算法受環(huán)境條件影響魯棒性差、小目標(biāo)識別能力不高的問題，建立了涵蓋多種天氣環(huán)境、包含疑難目標(biāo)的駕駛視頻樣本數(shù)據(jù)庫，提出了疑難樣本訓(xùn)練方法，訓(xùn)練出可在多種天氣環(huán)境中良好識別小型汽車、行人、公交車及貨車的YOLO檢測模型。實驗結(jié)果表明，該訓(xùn)練方法可有效提升目標(biāo)檢測性能；所得檢測模型具有較高的召回率和精確度，可初步應(yīng)用于實時駕駛視頻的目標(biāo)檢測。

關(guān)鍵詞：駕駛視頻；目標(biāo)檢測；YOLO；碰撞預(yù)警

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：1005-2550（2019）01-0073-04

Abstract： Applying YOLO （You Only Look Once） real-time object detection network to detection tasks in vehicle camera videos. Aiming at the low robustness due to environmental impact， and low performance of small object detection of present algorithms， a dataset containing multiple weather condition samples and Difficult Samples is established. The method of training Difficult Label is proposed. A YOLO model capable of well recognizing small cars， pedestrians， buses， and trucks in complex driving environment is trained， with high Recall rate and Precision， which can effectively improve detection performance and be primarily applied to real-time detection in vehicle camera videos.

Key Words： Vehicle camera video； Object detection； YOLO； Collision Warning System

前言

在各類引起交通事故的因素中，人類因素占90%，駕駛員違法占74% [1]。交通環(huán)境復(fù)雜性是造成駕駛員疲勞、疏忽的主要原因。通過實時檢測交通環(huán)境中的行人和車輛，必要時向駕駛員提供預(yù)警，可有效避免交通事故發(fā)生。

在目標(biāo)檢測領(lǐng)域中深度神經(jīng)網(wǎng)絡(luò)應(yīng)用廣泛。從2014年RCNN[2]提出至今，領(lǐng)域內(nèi)涌現(xiàn)出SPP-NET、SSD、Fast RCNN、RFCN、Faster RCNN、YOLO（You Only Look Once）系列算法等，檢測精度、速度不斷提高。其中，Joseph Redmon等在2018年3月提出YOLO v3[3]，因快速、準確的檢測性能成為關(guān)注焦點。

本文借鑒YOLO系列算法的最新研究成果，將YOLO v3用于駕駛視頻的目標(biāo)檢測。建立了涵蓋多種天氣環(huán)境的駕駛視頻樣本數(shù)據(jù)庫；提出了疑難樣本訓(xùn)練方法。實驗獲得的檢測系統(tǒng)在文中測試數(shù)據(jù)集上的平均精確度達78.06%，目標(biāo)召回率高，可初步應(yīng)用于汽車前向防碰撞系統(tǒng)中的實時駕駛視頻目標(biāo)檢測。

1 前向防撞預(yù)警系統(tǒng)技術(shù)路線

使用單目視覺方法實現(xiàn)汽車前向碰撞預(yù)警的研究較為成熟，常見方案由五部分組成：攝像機采集圖像；目標(biāo)檢測；目標(biāo)距離估算；形成防碰撞策略；執(zhí)行預(yù)警。目標(biāo)檢測作為該技術(shù)的重要環(huán)節(jié)，其檢測精度、檢測速度對汽車行駛安全性影響大。運用YOLO檢測算法對行駛環(huán)境中的目標(biāo)進行識別，有助于實現(xiàn)實時的目標(biāo)檢測。圖1為前向防碰撞預(yù)警系統(tǒng)技術(shù)路線。

2 YOLO網(wǎng)絡(luò)模型的訓(xùn)練

2.1 YOLO v3檢測系統(tǒng)

YOLO v3檢測系統(tǒng)的預(yù)測任務(wù)主要為兩部分：分類預(yù)測和位置預(yù)測。

輸入圖片首先經(jīng)尺寸調(diào)整并被劃為N×N的正方形柵格，包含目標(biāo)中心的柵格單元負責(zé)檢測該目標(biāo)[4]。輸入圖片通過YOLO神經(jīng)網(wǎng)絡(luò)計算后輸出含有分類信息的特征柵格圖。YOLO v3的核心網(wǎng)絡(luò)框架為具有53層卷積層的特征提取網(wǎng)絡(luò)Darknet-53[3]。

目標(biāo)位置預(yù)測運用K-means聚類方法獲得錨點框（Anchor Box）尺寸，通過對錨點框尺寸進行數(shù)學(xué)變換獲得預(yù)測框（Bounding Box）尺寸。YOLO v3使用跨尺度預(yù)測機制（Predictions Across Scales）——在三種尺度的特征圖上執(zhí)行預(yù)測，融合多尺度采樣特征。

2.2 建立駕駛視頻樣本數(shù)據(jù)庫

車輛行駛環(huán)境的開放性增加了目標(biāo)檢測的難度，亮度變化、天氣狀況（雷雨天氣等）、交通路況（并道合流、轉(zhuǎn)彎、上下坡等）等對檢測性能影響大。通過行車記錄儀獲取駕駛視頻樣本圖片，涵蓋上述復(fù)雜環(huán)境及路況。

檢測目標(biāo)類別為4類：行人（Pedestrian）、小型汽車（Car）、公交車（Bus）和貨車（Truck）。使用LabelImg工具添加樣本標(biāo)簽，建立基礎(chǔ)數(shù)據(jù)庫。詳細參數(shù)如表1所示。訓(xùn)練樣本選取具有良好特征的目標(biāo)進行標(biāo)記，測試數(shù)據(jù)則需對樣本圖片中的所有目標(biāo)進行標(biāo)記。將XML標(biāo)簽轉(zhuǎn)化為可供YOLO識別的TXT文本標(biāo)簽，完成基礎(chǔ)樣本數(shù)據(jù)庫的建立。

2.3 網(wǎng)絡(luò)模型訓(xùn)練

以Darknet53為網(wǎng)絡(luò)框架，YOLO v3為檢測模型，訓(xùn)練駕駛視頻目標(biāo)檢測系統(tǒng)。

為提高訓(xùn)練效率，選擇開源的預(yù)訓(xùn)練權(quán)重darknet53.conv.74.weights初始化卷積層。此預(yù)訓(xùn)練權(quán)重通過Darknet53網(wǎng)絡(luò)模型在ImageNet數(shù)據(jù)集上訓(xùn)練多個循環(huán)后獲得。設(shè)置沖量系數(shù)為0.9，權(quán)值衰減系數(shù)為0.0005，最大訓(xùn)練批次為50000步。學(xué)習(xí)率使用分步調(diào)整策略（由10-4至10-6），避免訓(xùn)練出現(xiàn)過擬合。

2.4 訓(xùn)練技巧

批樣本數(shù)量（Batch）與樣本分支數(shù)量（Subdivisions）之比為單個分支中含有的數(shù)據(jù)量（Subdivision Size），該數(shù)據(jù)量大小受到硬件計算能力的限制。適當(dāng)減小批樣本數(shù)量和樣本分支數(shù)量可減少硬件計算負擔(dān)，同時仍可獲得良好的模型檢測性能。

為提升模型檢測精度，更改輸入圖像分辨率適應(yīng)大尺寸圖像的目標(biāo)識別。駕駛視頻中圖像的尺寸普遍較大，將輸入圖像尺寸由默認的416×416像素調(diào)整為544×544像素。文獻[5]指出，檢測系統(tǒng)對大輸入圖片尺寸的檢測速度低但精度高。執(zhí)行跨尺度預(yù)測時，本文模型得到密度更高的特征柵格圖。

采用疑難樣本訓(xùn)練方法提高系統(tǒng)檢測精確度（mAP）。本文定義下的疑難樣本為小尺寸、輪廓不完整以及特征模糊的目標(biāo)。樣本圖片添加標(biāo)記時設(shè)置疑難標(biāo)簽（Difficult Label），獲得包含疑難樣本的訓(xùn)練數(shù)據(jù)集。根據(jù)表2試驗數(shù)據(jù)，該技巧使mAP提升9%。

3 試驗及結(jié)果分析

3.1 試驗環(huán)境

本文試驗環(huán)境如表3所示，該運行環(huán)境下的YOLO駕駛視頻目標(biāo)檢測系統(tǒng)檢測速度可達20FPS。

3.2 檢測結(jié)果分析

網(wǎng)絡(luò)模型訓(xùn)練收斂后，對模型檢測性能進行測試。檢測器在測試數(shù)據(jù)集上進行測試并統(tǒng)計給定閾值下的預(yù)測結(jié)果，計算精確度、召回率等指標(biāo)。表4給出分類概率閾值（Thresh）為0.25時的各類評價指標(biāo)。

其中，檢測系統(tǒng)平均精確度（mean Average Precision， mAP）是單類目標(biāo)平均精確度（Average Precision for each class， Ap）的算術(shù)平均值。目標(biāo)預(yù)

.測正確與否的判斷依據(jù)為IOU值——預(yù)測框與真實矩形框（Ground Truth Box）的交集與并集之比，IOU值大于50%屬正確目標(biāo)。

統(tǒng)計結(jié)果繪制成精確度召回率曲線，分析檢測系統(tǒng)對各類目標(biāo)的檢測性能。X軸為召回率（Recall）、Y軸為精確度（Precision），若兩者同時趨于1則表明檢測系統(tǒng)性能越好。

根據(jù)圖2分析可知，小型汽車的檢測效果最優(yōu)，行人最差。使用疑難樣本數(shù)據(jù)庫訓(xùn)練的YOLO v3網(wǎng)絡(luò)模型中，小型汽車的單類目標(biāo)平均精確度達87.76%，行人僅71.09%。

對比同在基礎(chǔ)數(shù)據(jù)庫上訓(xùn)練得到的YOLO v2與v3網(wǎng)絡(luò)模型。（圖2c）說明，YOLO v3網(wǎng)絡(luò)的應(yīng)用給行人類的平均精確度帶來了17.5%的提升，其余類別精度均有提升，充分說明新網(wǎng)絡(luò)框架優(yōu)化了小尺寸目標(biāo)的識別能力。

此外，疑難樣本訓(xùn)練方法進一步提升了YOLO v3網(wǎng)絡(luò)對各個類別的檢測精度。據(jù)圖2b，相比基礎(chǔ)樣本數(shù)據(jù)庫的訓(xùn)練結(jié)果，小型汽車類AP提升約17%，召回率達90%。

3.3 駕駛視頻檢測結(jié)果

選取具有代表性的行駛場景圖片進行測試，直觀對比YOLO駕駛視頻目標(biāo)檢測系統(tǒng)的性能。檢測結(jié)果包含預(yù)測矩形框、目標(biāo)類別和目標(biāo)分類概率，如圖3所示。預(yù)測矩形框上方的分類概率為后期添加。

根據(jù)圖3測試結(jié)果，各種天氣環(huán)境下的目標(biāo)均得到了合理的分類和定位。從分類預(yù)測角度分析，大部分目標(biāo)的分類概率大于80%，未出現(xiàn)類別誤判；從定位預(yù)測角度分析，圖3c右側(cè)摩托車騎行人位置預(yù)測誤差大，其余目標(biāo)定位準確。

疑難目標(biāo)也獲得了較好的預(yù)測效果。圖3a中較遠處的小汽車、圖b中受白色車輛遮擋的摩托車騎行人以及圖d分類概率為29%的前排車輛，均屬本文定義下的疑難目標(biāo)，其分類概率較低，但能成功預(yù)測。

總體上，該駕駛視頻檢測系統(tǒng)在測試數(shù)據(jù)集上的平均精確度達到78.06%，各類目標(biāo)召回率較高，在日間、夜間和晴天、雨天環(huán)境下保持較好的檢測性能。

4 結(jié)論

將YOLO v3網(wǎng)絡(luò)框架用于實時的駕駛視頻目標(biāo)檢測，可作為汽車前向防碰撞預(yù)警系統(tǒng)技術(shù)中目標(biāo)檢測環(huán)節(jié)的新解決方案。提出了疑難樣本訓(xùn)練方法，解決了YOLO系列檢測算法在小尺寸目標(biāo)及相鄰目標(biāo)檢測上的不足，在檢測精度上表現(xiàn)出優(yōu)異的性能。

由于行人目標(biāo)的特征分布表現(xiàn)為水平方向密集、豎直方向相對稀疏，與YOLO檢測模型對輸入圖片統(tǒng)一劃為正方形柵格的機制不符，導(dǎo)致對行人的檢測效果不夠理想，這是后續(xù)工作需要改進的重點。

參考文獻：

[1]畢建彬.道路交通事故的人因分析與駕駛員可靠性研究[D].北京：北京交通大學(xué)，2012.

[2]R. Girshick， J. Donahue， and T. Darrel. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Conference on Computer Vision and Pattern Recognition （CVPR）， 2014：119-135.

[3]J.Redmon， and A. Farhadi. YOLOv3： An Incremental Improvement[J]. arXiv preprint arXiv：1804.02767，2018.

[4] J.Redmon， S Divvala， and R Girshick. You only look once： unified， real-time object detection [C]. Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2016：779-788.

[5]J.Redmon， and A.Farhadi. YOLO9000： better， faster， stronger[J]. arXiv preprint， arXiv：1612.08242， 2016.