鮑敬源，薛榕剛

1.海裝武漢局駐武漢地區(qū)第二軍事代表室，武漢 430070

2.武漢理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430070

1 引言

近年來(lái)，我國(guó)汽車保有量不斷增加。汽車在給人們的生產(chǎn)生活帶來(lái)極大方便的同時(shí)，也造成了一系列的社會(huì)問(wèn)題，如交通擁擠、環(huán)境污染、交通事故等。特別是交通事故，在造成巨大直接經(jīng)濟(jì)損失的同時(shí)，給當(dāng)事人及其家屬造成無(wú)法挽回的傷害。在造成交通事故的各種原因中，疲勞駕駛所造成的交通事故最多。如何從技術(shù)上提高駕駛安全，減少交通事故的發(fā)生已經(jīng)成為一個(gè)世界性的難題。

隨著無(wú)人駕駛及輔助駕駛系統(tǒng)的興起，從技術(shù)上減少因疲勞駕駛等原因引起的交通事故正成為現(xiàn)實(shí)。在無(wú)人駕駛及輔助駕駛系統(tǒng)中，交通標(biāo)志檢測(cè)是其中非常重要的一個(gè)環(huán)節(jié)[1]。當(dāng)前對(duì)交通標(biāo)志的檢測(cè)方法主要有四類，基于顏色的方法、基于形狀的方法、基于多特征融合的方法和基于深度學(xué)習(xí)的方法[2]?；陬伾牡缆方煌?biāo)志檢測(cè)主要利用顏色閾值對(duì)圖像進(jìn)行分割，去除背景區(qū)域得到特征區(qū)域，再對(duì)特征區(qū)域所包含的圖像進(jìn)行識(shí)別分類。2009年，沙莎等人[3]結(jié)合RGB和HIS多顏色通道信息對(duì)交通標(biāo)志進(jìn)行檢測(cè)，并通過(guò)曲線擬合的最小二乘法進(jìn)行交通標(biāo)志的精確定位與類型判別。2010年，Chourasia 等人[4]提出使用顏色質(zhì)心匹配算法對(duì)交通標(biāo)志進(jìn)行檢測(cè)，該算法使用YCbCr 空間進(jìn)行顏色分割，可有效降低光照對(duì)圖像分割的影響?；谛螤畹牡缆方煌?biāo)志檢測(cè)方法主要是利用交通標(biāo)志固有的形狀進(jìn)行檢測(cè)。2008 年，Keller 等人[5]使用一種基于形狀的興趣算子對(duì)交通標(biāo)志進(jìn)行檢測(cè)，提取具有對(duì)稱性的候選區(qū)域，并通過(guò)基于Harr 小波特征的分類器對(duì)圖像進(jìn)行分類，檢測(cè)出速度標(biāo)志。2011 年，何明一等人[6]結(jié)合交通標(biāo)志顏色特征，通過(guò)邊緣檢測(cè)及非線性最小二乘技術(shù)對(duì)圓形交通標(biāo)志進(jìn)行檢測(cè)。由于受天氣、光照等因素的影響，僅僅通過(guò)顏色信息檢測(cè)交通標(biāo)志難以得到理想的檢測(cè)結(jié)果。2015 年，湯凱等人[7]提出一種顏色特征、形狀特征和尺度特征的多特征系統(tǒng)方法對(duì)交通標(biāo)志進(jìn)行檢測(cè)。傳統(tǒng)的道路交通標(biāo)志檢測(cè)方法檢測(cè)速度快、對(duì)設(shè)備性能要求較低，但易受天氣、拍攝角度等因素的影響，且需要手動(dòng)提取目標(biāo)特征。而基于深度學(xué)習(xí)的交通標(biāo)志檢測(cè)方法能夠自動(dòng)提取目標(biāo)特征，且模型泛化能力較好。2017年，長(zhǎng)沙理工大學(xué)張建明團(tuán)隊(duì)[8]提出了一種基于YOLOv2的實(shí)時(shí)交通標(biāo)志檢測(cè)算法，該算法能有效檢測(cè)較小的交通標(biāo)志，且其檢測(cè)速度達(dá)到0.017 s/張，真正實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)。2019 年，Tabernik 等人[9]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)交通標(biāo)志進(jìn)行端到端的檢測(cè)識(shí)別，取得了較好的效果。曲佳博等人[10]提出了一種集時(shí)空關(guān)系與多尺度卷積網(wǎng)絡(luò)于一體的時(shí)空卷積神經(jīng)網(wǎng)絡(luò)。在保證準(zhǔn)確率的前提下雖然有效地降低了參數(shù)輸入，但檢測(cè)時(shí)間相對(duì)較長(zhǎng)。李東潔等人[11]針對(duì)YOLOv3 動(dòng)態(tài)跟蹤實(shí)時(shí)性較差的問(wèn)題進(jìn)行了主干網(wǎng)絡(luò)的改進(jìn)，同時(shí)創(chuàng)新性地提出了改進(jìn)背景對(duì)目標(biāo)跟蹤的方法，對(duì)交通標(biāo)志實(shí)時(shí)檢測(cè)有重大的啟發(fā)意義。宋艷艷等人[12]將YOLOv3 與殘差網(wǎng)絡(luò)相結(jié)合，證明了二者融合的有效性。

隨著深度學(xué)習(xí)網(wǎng)絡(luò)規(guī)模的增大，模型計(jì)算復(fù)雜度隨之增加，嚴(yán)重限制了模型在各種資源受限平臺(tái)設(shè)備中的應(yīng)用[13]。因此，對(duì)模型進(jìn)行壓縮優(yōu)化，使模型的結(jié)構(gòu)更小，參數(shù)量更少，運(yùn)行速度更快，能夠在資源受限平臺(tái)中得以應(yīng)用成為學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)問(wèn)題之一。深度學(xué)習(xí)模型的壓縮方法可分為兩大類，一類是基于緊湊型的網(wǎng)絡(luò)結(jié)構(gòu)，如 SqueezeNet[14]、MobileNet[15]、shuffleNet[16]等，這些緊湊型的網(wǎng)絡(luò)結(jié)構(gòu)使用1×1的卷積層進(jìn)行通道變換以減少參數(shù)數(shù)量及計(jì)算量，從而達(dá)到壓縮模型的效果。另一類是通過(guò)剪枝、量化、二值化神經(jīng)網(wǎng)絡(luò)等方式對(duì)模型進(jìn)行壓縮。Han等人[17]首先通過(guò)剪枝減少網(wǎng)絡(luò)的連接數(shù)量，然后通過(guò)共享權(quán)重和權(quán)重進(jìn)行索引編碼來(lái)減小權(quán)重?cái)?shù)量和存儲(chǔ)空間，最后用霍夫曼編碼的方式來(lái)編碼第二階段的權(quán)重和索引，這樣可以進(jìn)一步壓縮空間。馬治楠等人[18]采用剪枝的方法對(duì)深度學(xué)習(xí)模型進(jìn)行壓縮，使模型能夠應(yīng)用于嵌入式平臺(tái)。二值化神經(jīng)網(wǎng)絡(luò)常用的方法有BinaryConnect[19]、XnorNet[20]等。2018年，徐喆等人[21]提出了一種基于比例的網(wǎng)絡(luò)壓縮知識(shí)提取算法，泛化能力強(qiáng)，根據(jù)類間關(guān)系進(jìn)行訓(xùn)練，減少了訓(xùn)練時(shí)間。黃聰?shù)热薣22]設(shè)計(jì)了一種權(quán)值的剪枝方法以及可分的卷積，有效降低了計(jì)算量。

在資源受限平臺(tái)中運(yùn)行的模型應(yīng)具備以下特點(diǎn)：第一，模型的結(jié)構(gòu)更小，參數(shù)量更少，占用更少的內(nèi)存空間；第二，模型運(yùn)行速度更快，不占用平臺(tái)的大量計(jì)算資源且運(yùn)行速度滿足實(shí)時(shí)性要求；第三，模型精度能滿足相應(yīng)場(chǎng)景的要求。只有平衡好模型占用內(nèi)存大小、模型運(yùn)行速度和模型精度這三方面，才能將卷積神經(jīng)網(wǎng)絡(luò)更好地應(yīng)用于資源受限平臺(tái)。本文采用FireModlue結(jié)構(gòu)對(duì)YOLOv3 模型進(jìn)行壓縮，設(shè)計(jì)出Strong Tiny-YOLOv3模型。相比于 YOLOv3 模型，Strong Tiny-YOLOv3 模型的參數(shù)量、模型實(shí)際內(nèi)存大小、檢測(cè)實(shí)時(shí)性都有了大幅度的優(yōu)化。且與現(xiàn)有的YOLOv3 模型的壓縮模型TinyYOLOv3相比，Strong Tiny-YOLOv3在檢測(cè)精度及檢測(cè)速度方面都有提升。

2 相關(guān)工作

2.1 YOLOv3模型

為克服YOLOv1 模型[23]對(duì)小目標(biāo)預(yù)測(cè)效果差的缺點(diǎn)以進(jìn)一步提高模型的預(yù)測(cè)準(zhǔn)確度，YOLOv3[24]在YOLOv1 和YOLOv2[25]的基礎(chǔ)上做了進(jìn)一步的改進(jìn)，在網(wǎng)絡(luò)中引入了基于多尺度預(yù)測(cè)的特征金字塔結(jié)構(gòu)[26]（FPN），如圖1所示，小的物體會(huì)在淺層的特征圖中被檢測(cè)出來(lái)，大的物體會(huì)在較深的特征圖中被檢測(cè)出來(lái)。首先，使用k-means聚類算法得到9個(gè)先驗(yàn)框，每種尺度下各三個(gè)，每種尺度下的一個(gè)網(wǎng)格負(fù)責(zé)預(yù)測(cè)三個(gè)邊界框。然后，使用darknet-53網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取，當(dāng)提取到最深層特征時(shí)，進(jìn)行輸出，同時(shí)進(jìn)行上采樣，與另一尺度下的特征進(jìn)行融合。這樣，每層特征圖中都會(huì)包含淺層的低級(jí)特征（如物體的邊緣、顏色、初級(jí)位置信息等）和深層的高級(jí)特征（如物體的語(yǔ)義信息等），預(yù)測(cè)的準(zhǔn)確度也會(huì)有所提高。另外，由于darknet-53 中加入了殘差塊，使網(wǎng)絡(luò)的結(jié)構(gòu)可以設(shè)置得更深，因而具有更強(qiáng)的特征提取能力。

圖1 YOLOv3中的特征金字塔結(jié)構(gòu)

YOLOv3網(wǎng)絡(luò)模型的損失函數(shù)如公式（1）所示：

損失函數(shù)可分為三部分，bbox_loss代表模型的邊界框損失，conf_loss代表模型的置信度損失，prob_loss則代表模型的預(yù)測(cè)類別損失。由于模型中三種類別的損失在損失函數(shù)中所占的比例不同，lcoord、lnobj為比例因子。公式（1）中，表示第i個(gè)網(wǎng)格的第j個(gè)先驗(yàn)框是否負(fù)責(zé)預(yù)測(cè)目標(biāo)邊界框的位置，若負(fù)責(zé)預(yù)測(cè)則其值為1，若不負(fù)責(zé)預(yù)測(cè)，則其值為0；表示第i個(gè)網(wǎng)格的第j個(gè)邊界框不預(yù)測(cè)目標(biāo)位。由于YOLOv3 在三種不同尺度下進(jìn)行預(yù)測(cè)，所以最終的損失函數(shù)為三種尺度下loss的和。

2.2 Tiny-YOLOv3模型

Tiny-YOLOv3是YOLOv3網(wǎng)絡(luò)的簡(jiǎn)化版本，其卷積層的數(shù)量比YOLOv3 小得多，因此Tiny-YOLOv3 模型所需的內(nèi)存及計(jì)算量也相對(duì)較小，可部署在嵌入式設(shè)備中。但與YOLOv3 模型相比，由于特征提取能力不足，Tiny-YOLOv3的檢測(cè)精度較低。

Tiny-YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，網(wǎng)絡(luò)主要是由卷積層和池化層組成。卷積層一共有13 層，負(fù)責(zé)對(duì)圖像提取特征，最大池化層有6 層，對(duì)特征圖進(jìn)行下采樣操作。Tiny-YOLOv3 模型在兩個(gè)尺度下對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，通過(guò)卷積、池化得到13×13的特征圖后，再進(jìn)行全連接操作輸出預(yù)測(cè)結(jié)果。同時(shí)，對(duì)13×13的特征圖進(jìn)行上采樣，與26×26 的特征圖融合后，進(jìn)行另一尺度下的預(yù)測(cè)。與YOLOv3 相同，Tiny-YOLOv3 模型中，每個(gè)單元格負(fù)責(zé)預(yù)測(cè)三個(gè)邊界框。Tiny-YOLOv3 模型的參數(shù)量約為9×106，是YOLOv3 模型參數(shù)量的14.3%，模型參數(shù)量的減少也會(huì)使計(jì)算量相應(yīng)地降低。

圖2 Tiny-YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖

3 Strong Tiny-YOLOv3

3.1 基于FireModule的網(wǎng)絡(luò)結(jié)構(gòu)

Tiny-YOLOv3網(wǎng)絡(luò)模型的深度較淺，因而對(duì)圖像特征提取能力不足，在檢測(cè)精度上相比于YOLOv3模型有很大的降低，且Tiny-YOLOv3 模型中存在卷積核數(shù)量為512 和1 024 的卷積層，這些卷積核所包含的參數(shù)在模型參數(shù)中占很大比例。因而，需提高Tiny-YOLOv3模型的特征提取能力，同時(shí)，盡可能地對(duì)模型進(jìn)行進(jìn)一步的壓縮。

Iandola 等人[14]提出的 SqueezeNet 將模型中 3×3 的卷積核采用1×1的卷積核來(lái)代替，這一操作可有效減小模型的參數(shù)量。同時(shí)，對(duì)于3×3 的卷積核，其參數(shù)量為3×3×M×N，M、N分別為輸入特征圖與輸出特征圖的通道數(shù)，通過(guò)減小M、N的數(shù)量可有效減小模型的參數(shù)量和計(jì)算量。

SqueezeNet是由若干FireModule結(jié)合卷積神經(jīng)網(wǎng)絡(luò)中卷積層、降采樣層和全連接層組成，其中，F(xiàn)ireModule是SqueezeNet網(wǎng)絡(luò)的主要結(jié)構(gòu)。FireModule是由Squeeze部分和Expand 部分組成，其結(jié)構(gòu)如圖3（a）所示，其中Squeeze 部分是由一組連續(xù)的1×1 的卷積組成，負(fù)責(zé)對(duì)模型進(jìn)行壓縮，也被稱為瓶頸層，Expand部分是由一組連續(xù)的1×1卷積和一組連續(xù)的3×3卷積組成，負(fù)責(zé)對(duì)模型進(jìn)行擴(kuò)充。FireModule 的輸出結(jié)果為Expand 部分兩層卷積結(jié)果的合并。為詳細(xì)解釋FireModule的結(jié)構(gòu)，以Tiny-YOLOv3 中第五個(gè)卷積層為例進(jìn)行說(shuō)明。圖像在Tiny-YOLOv3模型中經(jīng)過(guò)四層卷積池化后，特征圖大小為26×26×128，第五層卷積層卷積核為3×3×256。若使用如圖3（b）所示的FireModule替換Tiny-YOLOv3 第五層卷積層，則輸入特征圖首先經(jīng)過(guò)Squeeze層1×1×32的卷積核進(jìn)行通道變換后輸出26×26×32的特征圖。該特征圖再分別與Expand 層的1×1×128 與3×3×128 的卷積核進(jìn)行卷積，得到兩個(gè)26×26×128 的特征圖，將這兩個(gè)特征圖進(jìn)行連接即可得到26×26×256的特征圖，與Tiny-YOLOv3 模型第五層卷積后的輸出結(jié)果相同。Fire-Module 中 Squeeze 部分1×1 卷積核的通道數(shù)記為s1，Expand 部分 1×1 和 3×3 的卷積核通道數(shù)分別記為e1和e3。在FireModule中，作者建議s1＜e1+e3，SqueezeNet模型中，作者使用的策略是4×s1=e1=e3。

圖3 FireModule結(jié)構(gòu)介紹圖

SequeezeNet 中使用FireModule 對(duì)模型進(jìn)行壓縮，取得了良好的效果，且由于網(wǎng)絡(luò)結(jié)構(gòu)變寬加深，模型的精度沒(méi)有受到影響。本文中，嘗試采用FireModule 對(duì)YOLOv3 模型進(jìn)行壓縮，以減少模型的參數(shù)量及計(jì)算量，使模型能夠在嵌入式設(shè)備中達(dá)到實(shí)時(shí)檢測(cè)的效果，且盡可能減少模型壓縮對(duì)檢測(cè)精度造成的影響。在介紹本文提出的壓縮模型前，首先介紹模型參數(shù)的計(jì)算方法，以便更好地對(duì)模型參數(shù)做出比較，確定模型壓縮效果。卷積層參數(shù)量的計(jì)算公式如下：

其中，W為某卷積層卷積核的參數(shù)量，m為卷積層輸入特征通道數(shù)，n為卷積層輸出特征通道數(shù)，k為卷積核的大小，b為偏置項(xiàng)的數(shù)量，其值為1。對(duì)于FireModule，其參數(shù)計(jì)算方式如下：

Wfire為FireModule層的參數(shù)量，ks1為Squeeze層卷積核大小，其值為1，s1為Squeeze 層輸出通道數(shù)，ke1和ke3為Expand層的卷積核的大小，其值分別為1和3，e1、e3為Expand 層的兩個(gè)卷積層輸出通道的數(shù)量。若不考其他因素的影響，將Tiny-YOLOv3 中的卷積層全部使用FireModule層替換，且4×s1=e1=e3，則其參數(shù)如表1所示。

表1 Tiny-YOLOv3卷積層及對(duì)應(yīng)FireModule參數(shù)量對(duì)比

由表1 可計(jì)算出Tiny-YOLOv3 卷積層的參數(shù)量約為8.65×106，卷積層對(duì)應(yīng)FireModule層的參數(shù)量為1.27×106，參數(shù)量可減少約85%。由此可見(jiàn)，采用FireModule來(lái)代替卷積層后，其帶來(lái)的參數(shù)縮減效果非常明顯，即便是在卷積核尺寸為1 時(shí)，F(xiàn)ireModule 也能明顯減少卷積核的參數(shù)量。究其原因，是因?yàn)镕ireModule瓶頸層的特征圖輸出通道僅為該卷積層特征圖輸出通道的1/8，且由于瓶頸層輸出通道數(shù)量減少，會(huì)使Expand 層的輸入特征圖通道數(shù)量減少，因而能減少整體參數(shù)量。

本文首先對(duì)FireModule進(jìn)行優(yōu)化，從而可以進(jìn)一步減少參數(shù)量。SqueezeNet中FireModule的Squeeze層輸出通道數(shù)量為s1，Expand層輸出通道數(shù)量為e1+e3，且4×s1=e1=e3。若進(jìn)一步增大s1與e1和e3之間的比例關(guān)系，則模型的參數(shù)量可得到進(jìn)一步壓縮，與此同時(shí)，特征圖可能會(huì)損失較多的信息，所以，優(yōu)化的關(guān)鍵點(diǎn)在于找到s1與e1和e3之間的最佳比例。本文在GTSDB 數(shù)據(jù)集上進(jìn)行了三組實(shí)驗(yàn)，s1與e1和e3之間的比例關(guān)系分別設(shè)為4、6、8。當(dāng)比例關(guān)系取不到4、6、8 時(shí)，則取較為接近4、6、8的數(shù)，實(shí)驗(yàn)結(jié)果如表2所示。由表2可知，當(dāng)s1與e1和e3之間的比例關(guān)系取4 或6 時(shí)，模型在GTSDB數(shù)據(jù)集上的mAP差別不大，比例關(guān)系為8時(shí)，則模型mAP 有明顯降低。因此，在本實(shí)驗(yàn)中，將Squeeze層輸出通道與Expand層輸通道之間的關(guān)系改為4×s1≤e1=e3≤6×s1，即減小 FireModule 瓶頸層的輸出通道數(shù)，也就是Expand層的輸入通道數(shù)，從而減小模型參數(shù)量。如對(duì)于表1 中的Conv7，使用改進(jìn)的FireModule 來(lái)代替卷積層后，其參數(shù)量變?yōu)?12×86+86+86×512+512+3×3×86×512+512=485 462，相比優(yōu)化前的參數(shù)量722 048減小32.8%。使用改進(jìn)后的FireModule 對(duì)YOLOv3 模型進(jìn)行壓縮，壓縮后的YOLOv3 模型稱為Strong Tiny-YOLOv3，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

表2 GTSDB數(shù)據(jù)集上s1 與e1和e3 比例關(guān)系實(shí)驗(yàn)

Strong Tiny-YOLOv3 通過(guò)引入 FireModule 來(lái)減小模型參數(shù)，實(shí)現(xiàn)對(duì)模型的壓縮，同時(shí)，由于FireModule的引入，模型的深度較Tiny-YOLOv3有所增加，模型的特征提取能力也更強(qiáng)。Strong Tiny-YOLOv3 模型的前半部分與Tiny-YOLOv3 模型結(jié)構(gòu)形同，由卷積層和池化層交替組成。隨著層數(shù)的加深，特征圖的通道數(shù)越來(lái)越多，由其導(dǎo)致的參數(shù)規(guī)模也越來(lái)越大。將Tiny-YOLOv3模型中尺寸為3×3 通道數(shù)不小于256 的卷積層替換為FireModule，同時(shí)，為提高模型的特征提取能力，增加了多個(gè)FireModule層對(duì)26×26及13×13的特征圖做進(jìn)一步特征提取。Strong Tiny-YOLOv3 模型深度為31 層，相比于Tiny-YOLOv3增加了12層，其各層具體信息如表3所示。Strong Tiny-YOLOv3 模型的參數(shù)量為1.1×106，比Tiny-YOLOv3模型減小87.3%。

3.2 加入short-cut

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，網(wǎng)絡(luò)的深度對(duì)模型訓(xùn)練結(jié)果存在著深遠(yuǎn)影響，深度網(wǎng)絡(luò)表征能力強(qiáng)。理論上，網(wǎng)絡(luò)深度同誤差成反比關(guān)系，即網(wǎng)絡(luò)越深誤差越小。原因是根據(jù)淺層模型作恒等映射可以構(gòu)造深層模型的解。但是，網(wǎng)絡(luò)深度增加伴隨著反向傳播過(guò)程中運(yùn)算不穩(wěn)定性因素上升，易產(chǎn)生梯度爆炸或梯度擴(kuò)散，導(dǎo)致實(shí)際結(jié)果與預(yù)期結(jié)果大相徑庭。雖然加入正則化可以緩解梯度爆炸和梯度擴(kuò)散的問(wèn)題，但是隨著深度的增加仍然會(huì)產(chǎn)生退化問(wèn)題。

圖4 Strong Tiny-YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖

ResNet 網(wǎng)絡(luò)中首次利用跨越多層的short-cut 構(gòu)建優(yōu)秀模型解決了退化問(wèn)題。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)采用堆疊式網(wǎng)絡(luò)架構(gòu)進(jìn)行的是仿射變換-非線性變換，但是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中恒等映射并不容易擬合。為了解決該問(wèn)題，通過(guò)加入short-cut構(gòu)造恒等映射條件，由傳統(tǒng)的擬合恒等映射轉(zhuǎn)化為優(yōu)化殘差，計(jì)算由傳統(tǒng)的乘法實(shí)現(xiàn)了加法的轉(zhuǎn)變，計(jì)算更加穩(wěn)定，緩解了深度與退化的矛盾，實(shí)現(xiàn)了深度與精確度的雙飛躍。之后，YOLOv3對(duì)ResNet殘差塊進(jìn)行了優(yōu)化。為此，借鑒YOLOv3 中殘差塊的思想，本文在Strong Tiny-YOLOv3的Fire Module層之間引入short-cut，來(lái)增強(qiáng)網(wǎng)絡(luò)的特征提取能力。加入short-cut后，Strong Tiny-YOLOv3 模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。對(duì)于FireModule層來(lái)說(shuō)，前一個(gè)FireModule層的輸入與其輸出相結(jié)合作為其下一個(gè)FireModule 層的輸入。這樣，網(wǎng)絡(luò)中的信息流可以通過(guò)short-cut 進(jìn)行跨層傳遞，在網(wǎng)絡(luò)的前向傳播過(guò)程中，short-cut可幫助網(wǎng)絡(luò)中的特征進(jìn)行恒等映射，在反向傳播過(guò)程中，short-cut 可幫助傳到梯度，讓模型成功訓(xùn)練。

表3 Strong Tiny-YOLOv3各層具體信息

圖5 加入short-cut的Strong Tiny-YOLOv3網(wǎng)絡(luò)

3.3 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)數(shù)據(jù)集全部采用德國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集（German Traffic Sign Detection Benchmark，GTSDB）和中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集（CSUST Chinese Traffic Sign Detection Benchmark，CCTSDB），兩種數(shù)據(jù)集的具體數(shù)量如表4所示。

表4 實(shí)驗(yàn)數(shù)據(jù)詳情

GTSDB數(shù)據(jù)集共包含900張圖像，其中訓(xùn)練集600張，測(cè)試集300張，圖像分辨率為1 360×800。該數(shù)據(jù)集包含的道路場(chǎng)景圖像背景復(fù)雜，包含大部分的光照變化情況及各種拍攝角度，且存在背景干擾遮擋及照片運(yùn)動(dòng)模糊等情況。GTSDB 數(shù)據(jù)集可分為三類：指示標(biāo)志（mandatory）、警告標(biāo)志（danger）、禁止標(biāo)志（prohibitory）。如圖6 所示[16]，指示標(biāo)志一般為圓形，標(biāo)志為白色，底色為藍(lán)色；警告標(biāo)志為三角形，紅色外圈，底色為白色；禁止標(biāo)志為圓形，紅色外圈，白色底色。每張圖像中，交通標(biāo)志的大小為16×16到128×128。

CCTSDB數(shù)據(jù)集包含15 734張圖像，其中對(duì)13 829張圖像做了標(biāo)簽。測(cè)試集共包含400張圖像，數(shù)據(jù)量較少。因此，本文實(shí)驗(yàn)中從標(biāo)簽數(shù)據(jù)中選取10 000張圖像作為訓(xùn)練集，其余3 829 張圖像作為測(cè)試集。如圖7 所示[16]，CCTSDB數(shù)據(jù)集同樣分為三大類：指示標(biāo)志、警告標(biāo)志、禁止標(biāo)志。

圖6 GTSDB數(shù)據(jù)集中交通標(biāo)志種類

圖7 CCTSDB數(shù)據(jù)集中交通標(biāo)志種類

實(shí)驗(yàn)中，采用PASCAL VOC標(biāo)準(zhǔn)對(duì)模型進(jìn)行測(cè)評(píng)，即計(jì)算預(yù)測(cè)框與真實(shí)框的IoU等于0.5時(shí)的mAP。mAP的計(jì)算方法如下：假設(shè)N個(gè)樣本有M個(gè)正例，就會(huì)得到M個(gè)召回率的值R(1/M,2/M,…,M/M) ，對(duì)每個(gè)召回率取最大的準(zhǔn)確率P，然后對(duì)這M個(gè)P值取平均值，最后得到AP 值即為mAP。由于實(shí)驗(yàn)中分別使用FireModule及short-cut對(duì)模型進(jìn)行改進(jìn)，為比較不同方法對(duì)模型檢測(cè)效果的提升作用，Strong Tiny-YOLOv3模型的基本結(jié)構(gòu)稱為Strong Tiny-YOLOv3-A，加入short-cut后的Strong Tiny-YOLOv3稱為Strong Tiny-YOLOv3-B。

為了更加真實(shí)地測(cè)試Strong Tiny-YOLOv3模型在資源受限平臺(tái)上的檢測(cè)效果，本實(shí)驗(yàn)在PC機(jī)上進(jìn)行。實(shí)驗(yàn)在Intel?Core? i5-7200U CPU上進(jìn)行訓(xùn)練，其內(nèi)存為8 GB。同時(shí)，采用Intel?Core? i5-7200U CPU和NVIDIA的 GeForce 940MX 進(jìn)行測(cè)試，GeForce 940MX 實(shí)際上是一款移動(dòng)獨(dú)立顯卡，其內(nèi)存容量為2 GB，包含384 個(gè)核心流處理器，并支持CUDA的相關(guān)計(jì)算功能。在實(shí)驗(yàn)過(guò)程中，Tiny-YOLOv3 模型的訓(xùn)練次數(shù)為50 輪，Strong Tiny-YOLOv3模型的迭代次數(shù)為100輪。

4 實(shí)驗(yàn)結(jié)果分析

4.1 算法mAP分析

表5 為 YOLOv3、Tiny-YOLOv3 及 Strong Tiny-YOLOv3-A及Strong Tiny-YOLOv3-B四種模型在GTSDB和CCTSDB 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。由表5 可知，在GTSDB數(shù)據(jù)集上，YOLOv3模型的檢測(cè)mAP為91.2%，Tiny-YOLOv3 模型的檢測(cè)mAP 為67.44%，模型壓縮后檢測(cè)精度下降幅度較大；而Strong Tiny-YOLOv3-B模型的檢測(cè)mAP為75.53%，比Strong Tiny-YOLOv3-A模型提高了6.59 個(gè)百分點(diǎn)，表明模型加入short-cut 后，檢測(cè)mAP 有了加大幅度的提升。同時(shí)，與Tiny-YOLOv3 模型相比，Strong Tiny-YOLOv3-B 模型的檢測(cè)mAP 提高了12%。在CCTSB數(shù)據(jù)集上，YOLOv3模型的檢測(cè)mAP為93.2%，Tiny-YOLOv3模型和Strong Tiny-YOLOv3模型的檢測(cè)mAP下降相對(duì)較小，且StrongTiny-YOLOv3-B模型的檢測(cè)mAP比Tiny-YOLOv3模型提高了3.8%。在GTSDB 數(shù)據(jù)集上，Strong Tiny-YOLOv3-B 的檢測(cè)精度提升最為明顯。

表5 幾種模型在兩數(shù)據(jù)集上的mAP對(duì)比

由實(shí)驗(yàn)結(jié)果可知，Strong Tiny-YOLOv3-A 模型由于FireModule 的引入，模型的深度較Tiny-YOLOv3 有所增加，模型的特征提取能力也更強(qiáng)，所以相較Tiny-YOLOv3，其模型壓縮后的檢測(cè)精度略有提升。Strong Tiny-YOLOv3-B 在 Fire Module 層之間 引入 short-cut，網(wǎng)絡(luò)的特征提取能力得到進(jìn)一步增強(qiáng)。但是相較于YOLOv3，Strong Tiny-YOLOv3-B 在數(shù)據(jù)集 GTSDB 上mAP下降15.7%，在數(shù)據(jù)集CCTSDB上mAP下降7.6%。所以本文算法相較于YOLOv3，檢測(cè)精度沒(méi)有達(dá)到預(yù)期的效果，仍有很大的提升空間。

4.2 模型參數(shù)量與實(shí)際存儲(chǔ)大小分析

由 3.1 節(jié)分析可知，Strong Tiny-YOLOv3 模型的參數(shù)量為1.1×106。YOLOv3模型參數(shù)量約為62.8×106，相比減少98.3%。Tiny-YOLOv3 模型的參數(shù)量約為8.65×106，相比減少87.3%。模型參數(shù)量的減少也會(huì)使計(jì)算量相應(yīng)的降低，從而有更高的檢測(cè)速度。

由于資源受限平臺(tái)的內(nèi)存資源有限，勢(shì)必要求模型占據(jù)很小的內(nèi)存空間，本文對(duì)比了Strong TinyYOLOv3模型與YOLO 系類模型的實(shí)際內(nèi)存，如表6 所示。與YOLOv1、YOLOv2、YOLOv3模型大小相比，Tiny-YOLOv3和Strong Tiny-YOLOv3 模型要小得多。Strong Tiny-YOLOv3模型的內(nèi)存大小為7.5 MB，約為YOLOv3模型的1/32。與Tiny-YOLOv3相比，Strong Tiny-YOLOv3模型占用的存儲(chǔ)空間減小26.5 MB，相比于Tiny-YOLOv3減小了77.9%。

4.3 模型Bflops結(jié)果分析

BFlops（Billion Float Operations Per Second）是描述某次卷積運(yùn)算需要多少個(gè)十億次浮點(diǎn)運(yùn)算，是影響模型訓(xùn)練及測(cè)試耗時(shí)的一個(gè)重要指標(biāo)，可用來(lái)衡量深度學(xué)習(xí)模型的時(shí)間復(fù)雜度。可通過(guò)計(jì)算模型每一層的BFlops，然后將它們?nèi)肯嗉拥玫秸麄€(gè)模型的BFlops。單個(gè)卷積層的BFlops計(jì)算公式如下：

其中，2 表示一次乘法和一次加法的浮點(diǎn)數(shù)運(yùn)算，ci表示卷積輸入通道數(shù)，co表示輸出通道數(shù)，k為卷積核的大小，wout表示卷積輸出特征圖的寬，hout表示卷積輸出特征圖的高。整個(gè)模型的BFlops 可通過(guò)如下公式計(jì)算得到：

其中n為模型卷積層總數(shù)。

表7列出了Strong Tiny-YOLOv3模型各個(gè)層的BFlops值，計(jì)算可知Strong Tiny-YOLOv3模型的BFlops為1.924。其中，9層FireModule包含卷積層的深度為18，占整個(gè)模型深度的58%，其BFlops 為0.41，僅占整個(gè)模型BFlops的21.3%。也就是說(shuō)，Strong Tiny-YOLOv3 模型中的FireModule在增加網(wǎng)絡(luò)深度，提高模型特征提取能力的基礎(chǔ)上，還能有效減少模型的計(jì)算量，提高模型的檢測(cè)速度。由表8可知，Strong Tiny-YOLOv3模型的BFlops約為YOLOv3模型的1/27，且相比于Tiny-YOLOv3模型減少了65%，更適用于資源受限平臺(tái)。

4.4 算法實(shí)時(shí)性分析

Strong Tiny-YOLOv3 由于 FireModule 的引入，模型的深度較Tiny-YOLOv3 有所增加，模型的特征提取能力也更強(qiáng)。但是由4.2節(jié)與4.3節(jié)可知，優(yōu)化后的Fire-Module對(duì)YOLOv3模型進(jìn)行壓縮，減少了模型的參數(shù)量及計(jì)算量，相比YOLOv3 和Tiny-YOLOv3，有更高的檢測(cè)速度。本文在Intel?Core? i5-7200U CPU和GeForce 940MX 兩平臺(tái)上對(duì)視頻信息進(jìn)行檢測(cè)，并計(jì)算對(duì)比YOLOv3模型、Tiny-YOLOv3模型和Strong Tiny-YOLOv3模型在兩平臺(tái)上的檢測(cè)速度，驗(yàn)證本文的設(shè)想。由表9可看出，在Intel?Core? i5-7200U CPU和GeForce 940M兩資源受限型平臺(tái)上，Tiny-YOLOv3 模型和Strong Tiny-YOLOv3 模型的檢測(cè)速度明顯優(yōu)于YOLOv3 模型。在Intel?Core? i5-7200U CPU平臺(tái)上，Strong Tiny-YOLOv3 的檢測(cè)速度是 YOLOv3 模型的 10.92 倍，相比于TinyYOLOv3 的檢測(cè)速度提高了17.2%。在GeForce 940MX 平臺(tái)上，Strong Tiny-YOLOv3 的檢測(cè)速度為33.78 幀/s，約為 YOLOv3 的 8.64 倍，比 Tiny-YOLOv3 模型的檢測(cè)速度提高了22.8%。實(shí)驗(yàn)結(jié)果表明，Strong Tiny-YOLOv3 模型有較高的檢測(cè)速度，在資源受限平臺(tái)GeForce 940MX上的檢測(cè)速度能夠滿足實(shí)時(shí)檢測(cè)的需求。

表6 算法模型尺寸對(duì)比

表7 Strong Tiny-YOLOv3模型各層BFlops值

表8 不同算法BFlops對(duì)比

表9 算法實(shí)時(shí)性能對(duì)比 幀·s?1

5 結(jié)束語(yǔ)

本文提出了一種YOLOv3 模型的壓縮模型Strong Tiny-YOLOv3 模型。Strong Tiny-YOLOv3 模型中使用改進(jìn)后的FireModule及short-cut對(duì)模型進(jìn)行壓縮優(yōu)化，使YOLOv3模型的參數(shù)量從62.8×106減少為1.1×106，模型實(shí)際內(nèi)存大小從241.1 MB 減少為7.5 MB，且模型檢測(cè)的速度得到大幅度提升。在GTSDB 和CCTSDB 數(shù)據(jù)集上，Strong Tiny-YOLOv3模型的檢測(cè)速度、檢測(cè)精度都比YOLOv3 的壓縮模型Tiny-YOLOv3 要好。壓縮后的Strong Tiny-YOLOV3 模型不需要高性能GPU 也能實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，能夠部署在車輛中對(duì)交通標(biāo)志進(jìn)行檢測(cè)。模型壓縮必然會(huì)導(dǎo)致其檢測(cè)精度的降低，與YOLOv3相比，檢測(cè)精度還有較大差距，下一步繼續(xù)對(duì)模型的壓縮方法進(jìn)行研究，以盡可能減小模型壓縮后的精度損失。