范智翰

（四川大學(xué)視覺(jué)合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都610065）

0 引言

在圖像處理工作中，目標(biāo)檢測(cè)作為科研人員研究的熱門領(lǐng)域，主要采用識(shí)別圖像中目標(biāo)位置的技術(shù)，用于解決“是什么？在哪里”的問(wèn)題。自2012 年AlexNet的誕生后，目標(biāo)檢測(cè)領(lǐng)域科研人員的研究方向從傳統(tǒng)向深度學(xué)習(xí)轉(zhuǎn)變，因?yàn)榛谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)不僅具有較低的誤檢率和漏檢率，并且隨著顯卡性能高速增長(zhǎng)準(zhǔn)確率也逐漸接近理想值。近年來(lái)目標(biāo)檢測(cè)最熱門的應(yīng)用領(lǐng)域是道路目標(biāo)檢測(cè)，無(wú)論是近年來(lái)各大科技公司投入巨資的無(wú)人駕駛汽車領(lǐng)域，還是有著不錯(cuò)前景的車載攝像頭測(cè)距，都迫切的需要一個(gè)準(zhǔn)確率與實(shí)時(shí)性俱佳的目標(biāo)檢測(cè)算法。

傳統(tǒng)目標(biāo)檢測(cè)方法一般是在給定的圖像上選出一些候選區(qū)域，之后對(duì)這些區(qū)域提取特征，這個(gè)過(guò)程一般需要人工來(lái)獲取原始輸入中與目標(biāo)有關(guān)的表達(dá)信息，最后在提取出的與目標(biāo)相關(guān)的特征信息上進(jìn)行分類器學(xué)習(xí)，例如經(jīng)典的SIFT［1］、HoG［2］等方法。然而這些方法都有一個(gè)明顯缺陷，就是特征的選取會(huì)受限于算法設(shè)計(jì)者的經(jīng)驗(yàn)與復(fù)雜的實(shí)際情況，這會(huì)導(dǎo)致設(shè)計(jì)者在特征選取上較為困難，并且可能出現(xiàn)選取特征不足以較為完整地描述該目標(biāo)導(dǎo)致信息丟失的情況。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）結(jié)合了人工神經(jīng)網(wǎng)絡(luò)和卷積運(yùn)算，對(duì)不同類型的目標(biāo)及諸如形變、截?cái)嘁约芭で忍厥馇闆r也具有良好的魯棒性；除此之外它通過(guò)稀疏連接和權(quán)值共享大大減少了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量，很多基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法或模型在各種目標(biāo)識(shí)別場(chǎng)景中都獲得了令人較為滿意的結(jié)果。2014 年Girshick 等人在提出了R-CNN 算法［3］，在目標(biāo)檢測(cè)這一領(lǐng)域引入CNN，檢測(cè)結(jié)果明顯優(yōu)于傳統(tǒng)目標(biāo)檢測(cè)算法，之后又誕生了Fast R-CNN［4］、Faster R-CNN［5］等改進(jìn)算法。這類算法是先由候選區(qū)域算法生成一些樣本候選框，之后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本分類。這類算法主要通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成目標(biāo)檢測(cè)過(guò)程，要提取CNN 卷積特征，在訓(xùn)練網(wǎng)絡(luò)時(shí)首先是訓(xùn)練RPN 網(wǎng)絡(luò)，然后訓(xùn)練目標(biāo)區(qū)域檢測(cè)的網(wǎng)絡(luò)，可以看作是兩步操作，所以這類算法也被稱為two-stage 類的目標(biāo)檢測(cè)算法。這類算法準(zhǔn)確度不錯(cuò)，但是在檢測(cè)時(shí)間上很難滿足道路目標(biāo)檢測(cè)實(shí)時(shí)性的要求。

但實(shí)時(shí)目標(biāo)檢測(cè)模型應(yīng)該能夠在極短時(shí)間內(nèi)檢測(cè)并解析目標(biāo)，為了提高檢測(cè)速率，此領(lǐng)域相關(guān)科研人員提出了一類直接回歸計(jì)算物體的類別概率和位置坐標(biāo)的算法，這類算法主要通過(guò)主干網(wǎng)絡(luò)給出類別和位置信息，不使用RPN 網(wǎng)絡(luò)所以只有一步操作，也被稱為one-stage 類目標(biāo)檢測(cè)算法，YOLO 便是這類算法中的一個(gè)佼佼者。

1 YOLO的原理及發(fā)展

YOLO（You Only Look Once）網(wǎng)絡(luò)在2015 年 由Joseph Redmon 團(tuán)隊(duì)提出，是最早的one-stage 類目標(biāo)檢測(cè)算法。YOLO 網(wǎng)絡(luò)將縮放后的圖像劃分成S×S 個(gè)區(qū)域，每個(gè)區(qū)域負(fù)責(zé)檢測(cè)中心點(diǎn)位于本網(wǎng)格內(nèi)的物體。每個(gè)區(qū)域會(huì)預(yù)測(cè)N 個(gè)不同的邊界框，即對(duì)每幅圖像一共生成S×S×N 個(gè)邊界候選框[6]。最后采用置信度來(lái)評(píng)估每個(gè)預(yù)測(cè)目標(biāo)是否準(zhǔn)確，置信度由兩個(gè)指標(biāo)綜合判斷，分別是存在目標(biāo)物體的概率以及邊界框的準(zhǔn)確度，其中邊界框的準(zhǔn)確度用交并比IOU 來(lái)表示：

公式中分子代表有效區(qū)域面積，即圖1 中的灰色部分，分母代表兩個(gè)邊界框一共所占面積（重疊部分只算一次）。

圖1

YOLO 自誕生起就引起了廣泛的關(guān)注，它使實(shí)時(shí)檢測(cè)變?yōu)榱丝赡?。遺憾的是，雖然速度大幅提升，但犧牲了準(zhǔn)確率。官方團(tuán)隊(duì)為了兼顧速度與效率，相繼推出了YOLOv2 與YOLOv3，還有適用于簡(jiǎn)單場(chǎng)景的YOLO-Tiny 版本。

YOLO 的官方實(shí)現(xiàn)框架是DarkNet，DarkNet 是一種比較小眾的框架，也有相關(guān)研究人員用TensorFlow與Keras 實(shí)現(xiàn)，但截至2019 年底，YOLO 的歷代版本更迭都采用DarkNet 框架，本實(shí)驗(yàn)也是基于DarkNet 實(shí)現(xiàn)的YOLOv3-Tiny 進(jìn)行改動(dòng)。

2 相關(guān)工作

2.1 批規(guī)范化處理BN層

機(jī)器學(xué)習(xí)訓(xùn)練過(guò)程中，每次會(huì)從訓(xùn)練集中選取設(shè)定批次大小的訓(xùn)練數(shù)據(jù)，但每批數(shù)據(jù)的特征表現(xiàn)并不一致，隨著網(wǎng)絡(luò)不斷深入，每批數(shù)據(jù)的特征差距會(huì)對(duì)收斂速度產(chǎn)生明顯影響。針對(duì)這個(gè)問(wèn)題可采用BN（Batch Normalization）來(lái)規(guī)范化某些層或所有層的輸入，從而可以固定每層輸入信號(hào)的均值與方差。這樣一來(lái)，即使網(wǎng)絡(luò)模型較深層的響應(yīng)或梯度很小，也可通過(guò)BN 的規(guī)范化作用將其的尺度變大，以此便可減少深層網(wǎng)絡(luò)訓(xùn)練很可能帶來(lái)的梯度起伏變化的相關(guān)問(wèn)題[7]。

批量規(guī)范化處理不僅加快了模型收斂速度，而且更重要的是能有效抑制在不斷深入的神經(jīng)網(wǎng)絡(luò)中可能發(fā)生的“梯度彌散”、“梯度爆炸”等問(wèn)題，從而使得訓(xùn)練深層網(wǎng)絡(luò)模型更加穩(wěn)定，所以BN 層成為了幾乎所有卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)配。

YOLO 從v2 版本起也加入了BN 來(lái)改進(jìn)訓(xùn)練和mAP，之后的版本也都采用了BN 層對(duì)數(shù)據(jù)進(jìn)行處理。但加入BN 層本身是需要計(jì)算資源的，對(duì)于檢測(cè)目標(biāo)類別少，且網(wǎng)絡(luò)層數(shù)不多的YOLOv3-Tiny，是否真的需要BN 層是一個(gè)值得思考的問(wèn)題。如前文所述加入BN層是為了解決每一層特征分布不均衡的問(wèn)題，而在淺層網(wǎng)絡(luò)中，特征不均引起的梯度問(wèn)題并不明顯，而加入BN 層讓計(jì)算量明顯增大，會(huì)大大影響YOLO 的實(shí)時(shí)性，所以本實(shí)驗(yàn)去掉了BN 層來(lái)增加YOLO 的檢測(cè)速度。

2.2 密集神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)CNN 為了更好、更高效、更準(zhǔn)確地去挖掘深層特征，會(huì)將網(wǎng)絡(luò)加深或者將網(wǎng)絡(luò)結(jié)構(gòu)變寬使得模型能更好地去描述輸入數(shù)據(jù)內(nèi)容。

CVPR 2017 獲獎(jiǎng)?wù)撐淖髡吆芴岢隽艘环N新的方式來(lái)獲取更多的特征，他表示隨著網(wǎng)絡(luò)深度的加深，梯度消失問(wèn)題會(huì)愈加明顯，在保證網(wǎng)絡(luò)中每層特征信息都能盡可能傳輸?shù)那疤嵯拢苯幼尞?dāng)前層連接前面所有層。為了能夠保證前面網(wǎng)絡(luò)層的特性，每一層將之前所有層的輸入進(jìn)行整合，之后將輸出的特征圖傳遞給之后的所有層。這種連接方式使得特征和梯度的傳遞更加有效，網(wǎng)絡(luò)收斂速度就會(huì)加快，更容易得到理想的訓(xùn)練結(jié)果。每一層都可以直接利用損失函數(shù)的梯度以及最開(kāi)始的輸入信息，相當(dāng)于是一種無(wú)形的深度監(jiān)督（implicit deep supervision）[8]。將每層輸入都接收之前層的輸出，每層的輸出特征都是之后所有層的輸入，這種稠密連接模塊（dense block）的會(huì)比傳統(tǒng)的卷積網(wǎng)絡(luò)擁有更少的參數(shù)，因?yàn)樗恍枰僦匦聦W(xué)習(xí)多余的特征圖，特征收斂更快。傳統(tǒng)的網(wǎng)絡(luò)層間特征傳遞可以被看成一種層與層之間依次傳遞的算法。每一層接收前一層的輸出，然后將新的特征傳遞給下一層。它改變了本來(lái)的特征圖，但也保留了需要的特征，讓其依舊能提供給后面的網(wǎng)絡(luò)。但當(dāng)網(wǎng)絡(luò)很深的時(shí)候，每一層接收到之前網(wǎng)絡(luò)層的特征信息會(huì)非常龐大，處理巨量的信息會(huì)使訓(xùn)練和收斂都明顯變慢，并且對(duì)特征的提取也變得更加困難，所以dense block 更適合在淺層網(wǎng)絡(luò)中使用，而本試驗(yàn)改進(jìn)的YOLOv3-Tiny 本身是一個(gè)淺層網(wǎng)絡(luò)，所以實(shí)驗(yàn)在去掉BN 層的同時(shí)加入密集連接層，既能加快收斂，也能更好提高準(zhǔn)確率與檢測(cè)速度。

本實(shí)驗(yàn)改動(dòng)后的網(wǎng)絡(luò)如圖2。

圖2 網(wǎng)絡(luò)示意圖

本實(shí)驗(yàn)改動(dòng)后的網(wǎng)絡(luò)命名為YOLO-DWB（YOLODenseNetWithoutBN）。

如前文所訴，前考慮網(wǎng)絡(luò)前段信息本身較少，收斂速度較快，基本特征較為明顯。在網(wǎng)絡(luò)收斂明顯變慢的后段加入一層密集連接層，接收更多的信息來(lái)減少后面網(wǎng)絡(luò)的計(jì)算量。

3 實(shí)驗(yàn)

本實(shí)驗(yàn)采用個(gè)人標(biāo)注的道路實(shí)況數(shù)據(jù)集，實(shí)驗(yàn)基于YOLO 的DarkNet 框架實(shí)現(xiàn)，采用一種配置訓(xùn)練，兩種配置測(cè)試：一種CPU 是Intel Core i7-8700，顯卡為NVIDIA GTX-1080Ti，也是本試驗(yàn)的訓(xùn)練機(jī)；另一種CPU 是Intel Core i5-6400，顯卡為NVIDIA GT-730，采用本組配置進(jìn)行測(cè)試是考慮到在車載環(huán)境下，移動(dòng)端微型計(jì)算機(jī)顯卡性能有限，但一般會(huì)好于NVIDIA GT730，故采用此配置作為移動(dòng)端能否實(shí)時(shí)快速的衡量標(biāo)準(zhǔn)。

3.1 數(shù)據(jù)集描述及訓(xùn)練過(guò)程

為了更好地模擬車載攝像頭檢測(cè)環(huán)境，本實(shí)驗(yàn)采用的數(shù)據(jù)集為由行車記錄儀保存的實(shí)際行車錄像截取的道路實(shí)況圖片。數(shù)據(jù)集包括鄉(xiāng)村道路，城市道路，高速公路等常見(jiàn)道路行車，存在各種程度的遮擋和截?cái)啵x取的圖片均為白天或光線較好的情況下的道路實(shí)況。本實(shí)驗(yàn)一共有三個(gè)類別的標(biāo)簽，分別為：person、car、motor，其中motor 類是如電瓶車、自行車這類物體的，因?yàn)槠涮卣飨嗨?，區(qū)分度較小，故歸為一類。本實(shí)驗(yàn)一共選取2800 張不同路況的道路圖片，選取其中2300 張作為訓(xùn)練集，500 張作為測(cè)試集。數(shù)據(jù)集樣例圖及識(shí)別樣例圖如圖3 與圖4 所示。

圖3

圖4

YOLO 官方的DarkNet 框架實(shí)現(xiàn)中提供了數(shù)據(jù)增廣，對(duì)圖片進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、截取等操作來(lái)提升準(zhǔn)確率與泛化能力。本文網(wǎng)絡(luò)YOLO-DWB 將訓(xùn)練圖像縮放至416×416 像素，按前文的網(wǎng)絡(luò)示意圖過(guò)程進(jìn)行訓(xùn)練。批次大?。˙atchSize）設(shè)置為128，學(xué)習(xí)率初始為10-3，后依次下降至10-4，迭代10 萬(wàn)次后為10-5，每25000 次迭代測(cè)試一次數(shù)據(jù)，一共迭代150000 次。

3.2 評(píng)價(jià)指標(biāo)與結(jié)果分析

本實(shí)驗(yàn)以檢測(cè)率和檢測(cè)速率兩項(xiàng)指標(biāo)對(duì)YOLO 與YOLO-DWB 進(jìn)行評(píng)估，其中，檢測(cè)率為成功檢測(cè)的物體個(gè)數(shù)除以該類別物體總個(gè)數(shù)，成功檢測(cè)的目標(biāo)是指物體類別正確且置信度大于0.5 的檢出目標(biāo)，公式如下：

檢測(cè)速率即檢測(cè)一張圖片的時(shí)間，本實(shí)驗(yàn)換算為FPS 表示，即每秒檢測(cè)的圖片數(shù)量。本實(shí)驗(yàn)繪圖表示了兩種網(wǎng)絡(luò)在迭代過(guò)程中的收斂速度，橫軸為迭代次數(shù)，縱軸為檢測(cè)率。

圖5 迭代次數(shù)檢測(cè)率變化折線圖

從圖中可以看到，YOLO-DWB（虛線）的收斂速度要略優(yōu)于YOLO，但差距不大，在迭代次數(shù)巨大時(shí)有一定優(yōu)勢(shì)，最終檢測(cè)率基本一樣，YOLO-DWB 在準(zhǔn)確率方面沒(méi)有明顯優(yōu)勢(shì)。

檢測(cè)率及檢測(cè)速度如表1、表2 所示。

表1 （檢測(cè)率）

表2 （檢測(cè)速率）

從表1 中可以看到，去掉BN 層后再加入密集連接模塊，YOLO 的識(shí)別率變化不大，只有一點(diǎn)很小的提升，考慮到訓(xùn)練誤差可以忽略。其中汽車和摩托類檢測(cè)率比較理想，行人類檢測(cè)率較低，這是因?yàn)樾∧繕?biāo)物體的漏檢問(wèn)題一貫是目標(biāo)檢測(cè)算法中一個(gè)比較難解決的問(wèn)題。不過(guò)從表2 中看，檢測(cè)速率提升明顯，特別是在圖形性較弱的NVIDIA GT-730 上，速度提升了54.43%。在NVIDIA 1080Ti 上提升僅為16.61%，考慮這張顯卡本身性能強(qiáng)勁，原網(wǎng)絡(luò)已經(jīng)擁有很高的幀率，提升幅度會(huì)更多地受其他因素影響。YOLO-DWB 能在NVIDIA GT-730 上跑出24.4 幀/秒的速度，那么對(duì)于目前移動(dòng)端性能較強(qiáng)的GPU 來(lái)說(shuō)能夠輕松達(dá)到30幀以上的幀率，行車記錄儀中視頻默認(rèn)為30 幀，故達(dá)到30 幀以上便能夠?qū)崿F(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)。

4 結(jié)語(yǔ)

本文實(shí)驗(yàn)將以DarkNet 為實(shí)現(xiàn)框架YOLO 去掉BN 層，并在網(wǎng)絡(luò)中段加入一層密集連接層，從結(jié)果來(lái)總結(jié)實(shí)驗(yàn)中的兩個(gè)改動(dòng)可以得到如下結(jié)論：

（1）通過(guò)對(duì)訓(xùn)練曲線的觀察，密集連接在YOLO 網(wǎng)絡(luò)中對(duì)收斂速度有較為明顯的影響，能更快地達(dá)到理想的效率。

（2）在YOLO 網(wǎng)絡(luò)中去掉批規(guī)范化處理BN 層后，加入密集連接層，對(duì)網(wǎng)絡(luò)最終模型的識(shí)別速度有較大影響，特別是GPU 能力偏弱的顯卡提升尤為明顯，對(duì)于在移動(dòng)端需要實(shí)時(shí)的目標(biāo)檢測(cè)識(shí)別等任務(wù)具有參考意義。