劉 勝 馬社祥* 孟 鑫 李 嘯

1(天津理工大學電氣電子工程學院 天津 300384)2(天津理工大學海運學院 天津 300384)3(天津理工大學計算機科學與工程學院 天津 300384)

0 引 言

交通標志識別在高級輔助駕駛系統(tǒng)和自動駕駛中扮演重要角色，對提高駕駛員的安全性起著至關重要的作用。交通標志識別任務可詳細分為兩部分：交通標志檢測和交通標志識別。交通標志檢測主要任務是解決交通標志的定位問題，即在一幅圖像或一段視頻中用矩形框標記出交通標志；交通標志識別則是在檢測的基礎上進一步區(qū)分矩形框中目標的詳細類別[1]。因交通標志有目標小、背景復雜、易受環(huán)境因素影響等特點，所以與一般目標相比更難檢測。針對這一問題，一些傳統(tǒng)檢測算法在檢測精度上已取得很好的效果。如文獻[2-4]在GTSDB數(shù)據(jù)集上的檢測準確率約為100%，但運行時間卻無法滿足快速檢測的要求。而對高級輔助駕駛系統(tǒng)或自動駕駛而言，檢測時間是非常重要的一項技術指標，只有快速檢測才能對駕駛員起到及時提醒的作用，以保證駕駛員的安全。

近年來，由于計算機性能的發(fā)展使得深度學習取得了實質(zhì)性的進展。深度學習在計算機視覺、自然語言處理等領域都有良好表現(xiàn)。在計算機視覺領域中，卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)在目標檢測、分類和分割等任務上都有很好的表現(xiàn)?；诰矸e神經(jīng)網(wǎng)絡的檢測器大致可分為兩類：二階段檢測器和一階段檢測器。二階段檢測器如Faster R-CNN[5]和R-FCN[6]等，相比一階段檢測器有更高的檢測精度；而一階段檢測器運行速度更快，如YOLOv3[7]、SSD[8]和RetinaNet[9]等。近年來基于卷積神經(jīng)網(wǎng)絡的檢測方法也逐漸應用于交通標志檢測中，文獻[10]提出使用全卷積網(wǎng)絡提取感興趣區(qū)域，并利用深度卷積神經(jīng)網(wǎng)絡對目標分類。Aghdam等[11]提出一種利用擴張卷積在CNN中實現(xiàn)多尺度滑動窗的方法，該方法在GTSDB數(shù)據(jù)集上得到優(yōu)異的檢測結果。Zhu等[12]提出一種端到端的多任務CNN網(wǎng)絡，可以同時實現(xiàn)目標的檢測和分類任務。

本文針對傳統(tǒng)檢測方法檢測速度慢以及深度神經(jīng)網(wǎng)絡檢測精度偏低的問題，提出一種基于YOLOv3的端到端交通標志檢測網(wǎng)絡。首先，特征提取網(wǎng)絡的最后兩個尺度輸出通道數(shù)量被改為1 024，以便提取更多的全局特征信息。通過采用減少頂層兩個尺度殘差塊的數(shù)量和插入1×1卷積層的方法來降低計算量。然后，融合除第一個尺度外的所有尺度特征信息，并將更大尺度特征圖作為輸出端之一，以便得到更多的局部特征信息。最后，本文應用K-means[7]聚類算法生成適合交通標志數(shù)據(jù)集的錨點框[7]。在TT100K (Tsinghua-Tencent 100K)[12]和GTSDB (German Traffic Sign Detection Benchmark)[13]數(shù)據(jù)集上的實驗結果表明，改進網(wǎng)絡對小尺寸交通標志檢測效果有明顯提升，且檢測速度也優(yōu)于大多數(shù)檢測方法。

1 YOLOv3網(wǎng)絡

YOLOv3檢測網(wǎng)絡通常應用于普通的目標檢測任務，屬于一階段檢測器。該網(wǎng)絡采用Darknet-53作為特征提取網(wǎng)絡，實現(xiàn)對圖像的多尺度特征提取。表1為Darknet-53的具體參數(shù)配置。Darknet-53包含23個殘差塊，每個殘差塊包含一個1×1卷積層和一個3×3卷積層，共52個卷積層。該網(wǎng)絡實現(xiàn)5次下采樣，能夠提取不同尺度的特征。特征提取后，網(wǎng)絡輸出8×8、16×16和32×32三個尺度的特征圖。檢測網(wǎng)絡對每個尺度預測3個邊界框，每個邊界框包括4個坐標參數(shù)，1個目標分數(shù)和C個類別。因此，輸出張量為N×N×[3×(4+1+C)][7]，其中N×N為輸出特征圖的尺寸。然后將三個輸出張量分別經(jīng)過預測模塊、非極大值抑制(Non Maximum Suppression，NMS)和分數(shù)閾值過濾處理后得到相應的預測值。

表1 Darknet-53參數(shù)配置

式中：TP、FP、FN分別表示正確識別的正樣本、錯誤識別的正樣本和錯誤識別的負樣本。

bx=σ(tx)+cxby=σ(ty)+cybw=pwexptwbh=phexpth

(1)

式中：(cx,cy)是單元格相對于圖像左上角的偏移量；pw和ph表示相應錨點框的寬度和高度；σ是Sigmoid函數(shù)；bx、by、bw、bh表示相對于整幅圖像的4個坐標預測。邏輯回歸用于預測邊界框的中心坐標，指數(shù)函數(shù)用于預測邊界框的寬度和高度。

本節(jié)對提出的基于YOLOv3的端到端卷積網(wǎng)絡詳細說明。根據(jù)交通標志尺寸小的特點對YOLOv3進行如下改進：(1) 通過增加特征提取網(wǎng)絡頂層兩個尺度的輸出特征圖數(shù)量來提升網(wǎng)絡對大尺寸交通標志檢測效果。(2) 利用多尺度特征融合的方法解決小尺寸目標檢測困難和目標尺度變化問題。(3) 利用K-means聚類算法生成更適合交通標志的錨點框。

(2)

水上安全“鐵三角”初步建成，安全形勢更加穩(wěn)定；今年1-11月份西江肇慶段 “零事故零傷亡零污染”；肇慶市所有涉水部門積極參與，首次由市政府牽頭舉辦的大型水上應急演習圓滿舉辦……

(3)

式中：bo代表目標分數(shù)；Pr(Classi|Object)表示類別條件概率；Pr(Classi)表示預測的類別概率；i為類別索引值。

每個網(wǎng)格單元預測C個類別概率。預測方式如下：

Pr(Classi)=σ(tc)

(4)

式中：σ為Sigmoid函數(shù)；tc表示通過檢測網(wǎng)絡預測的類別概率。

2 多尺度特征融合網(wǎng)絡

北京燕禹水務科技有限公司………………………… （1、3、5、7、9、11、13、15、17、19、21、23）

2.1 特征提取

（1）生產(chǎn)參數(shù)。為提高工程施工質(zhì)量，上面層采用改性瀝青混合料，生產(chǎn)時必須嚴格把控拌和溫度和時間參數(shù)，通過試拌法以瀝青混合料無明顯離析、結團成塊為標準[3]，最終確定AC—16瀝青混合料的生產(chǎn)參數(shù)為：礦料加熱溫度180～190℃，改性瀝青加熱溫度150～160℃，混合料出料溫度155～165℃，拌和時間60～70s。

表2 改進后特征提取網(wǎng)絡參數(shù)配置

圖1 改進后檢測網(wǎng)絡整體結構

首先將Scale2的輸出特征圖數(shù)量由512改為1 024，以便提取更多的交通標志全局特征。為了降低計算量和網(wǎng)絡參數(shù)，在殘差塊之間插入1×1卷積層，并且將Darknet-53中Scale1和Scale2的殘差塊數(shù)量由原4個和8個分別減少至2個和6個。然后，對殘差塊結構進行調(diào)整。如圖2所示，每個殘差塊包含一個1×1卷積層和一個3×3卷積層，每個卷積層后采用批歸一化層(Batch Normalization,BN)[14]處理特征。激活層采用LeakyReLU[15]，并將最后的激活層移至相加層后，與傳統(tǒng)的殘差塊結構相似。

圖2 殘差塊結構

2.2 特征融合

特征金字塔網(wǎng)絡(Feature Pyramid Networks，F(xiàn)PN)[16]在目標檢測領域表現(xiàn)優(yōu)異，大多檢測網(wǎng)絡在特征提取后都應用FPN來融合多尺度特征。YOLOv3中也應用類似FPN的網(wǎng)絡結構，通過上采樣和級聯(lián)的方式融合頂層三個尺度的特征，最終得到三個尺度的輸出。而提出的多尺度特征融合網(wǎng)絡在FPN的基礎上針對交通標志尺寸小和尺度變化的問題加以改進，如圖1所示。由于第一個卷積層存在過多冗余信息，因此該方法融合除第一個卷積層外的所有尺度特征。首先，將原Scale3輸出端調(diào)整為Scale4，以便提取更多的細粒度信息。其次，將Scale3特征通過最大值池化(Maxpooling)處理后分別與Scale1和Scale2兩個尺度特征相加。然后，將Scale5特征通過最大值池化(Maxpooling)處理后與Scale4特征相加，并將Scale1特征上采樣后與Scale2特征相加。將融合后的Scale2特征經(jīng)過上采樣后與Scale4相加。最終把融合后的Scale1、Scale2、Scale4三個尺度特征輸入卷積模塊處理。

AP近似等于precision/recall曲線下面積，定義如下：

d(box,centroid)=1-IOU(box,centroid)

(5)

式中：IOU(box,centroid)是真實邊界框和計算所得的錨點框的交并比(Intersection Over Union，IOU)。將TT100K數(shù)據(jù)集的錨點框設置為(17,19)、(24,26)、(30,33)、(38,40)、(47,52)、(60,64)、(75,79)、(96,102)、(141,147)。將GTSDB數(shù)據(jù)集的錨點框設置為(22,22)、(27,27)、(33,33)、(38,37)、(42,41)、(48,48)、(58,58)、(76,73)、(108,106)。

3 實 驗

對于目標分數(shù)預測，每個網(wǎng)格單元首先預測3個邊界框的置信度。置信度體現(xiàn)了預測邊界框的準確度，等于預測邊界框和真實邊界框之間的IOU。定義為：

實驗中采用Keras深度學習框架搭建模型。在訓練圖像輸入模型前，首先將圖像尺寸都縮放為416×416，然后對訓練數(shù)據(jù)進行數(shù)據(jù)增強，如圖像翻轉、扭曲、旋轉等。在訓練時，應用遷移學習的方法來加速訓練，將在Imagenet數(shù)據(jù)集中訓練好的Darknet-53的前35層卷積層權重導入模型。首先凍結前35層，訓練35層之后的網(wǎng)絡。在迭代50次之后解除凍結，并微調(diào)模型中所有層。最終訓練至損失收斂則停止訓練。表3為訓練中超參數(shù)的詳細配置。

表3 超參數(shù)配置

3.1 準確度評價指標

平均精度均值(mAP)是目前目標檢測領域中評估檢測準確度最常用的指標之一。本文采用mAP來評估檢測網(wǎng)絡的檢測精度。首先，計算精確率(precision)和召回率(recall)：

(6)

特征提取網(wǎng)絡是檢測網(wǎng)絡中必不可少的一部分，它對目標檢測效果起至關重要的作用。在YOLOv3中，作者提出了特征提取網(wǎng)絡Darknet-53，且測試結果優(yōu)于ResNet101。本文針對交通標志尺寸小的特點改進Darknet-53網(wǎng)絡。改進后共19個殘差塊，46層卷積層，具體參數(shù)如表2所示。與 Darknet-53相比，前35層卷積層相同，以便在訓練過程中應用遷移學習。因此本文對35層之后的網(wǎng)絡加以改進，如圖1所示。圖中Scale1-Scale5分別代表尺度為13×13、26×26、52×52、104×104和208×208的輸出特征圖。

特征融合后，采用YOLOv3的預測方法預測相應的邊界框、目標分數(shù)和類別。對于邊界框的預測，首先要為每個尺度設置3個錨點框，共9個錨點框。不同于一般的檢測目標，交通標志的真實邊界框的橫縱比約為1∶1。因此，本文采用K-means聚類算法生成更適合交通標志的錨點框。距離度量定義為：

(7)

實驗平臺配備雙路TITAN Xp GPU，Intel(R) Core(TM) i7-7800X CPU，3.5 GHz×12，32 GB內(nèi)存，Ubuntu16.04操作系統(tǒng)。選用兩個交通標志數(shù)據(jù)集基準作為訓練和測試數(shù)據(jù)，分別為TT100K和GTSDB。TT100K是中國交通標志數(shù)據(jù)集基準，該數(shù)據(jù)集包含大量中國交通標志圖像，每幅圖像的分辨率為2 048×2 048，且涵蓋了多種不同光照條件下的交通標志。與其他交通數(shù)據(jù)集相比，該數(shù)據(jù)集數(shù)據(jù)豐富，且包含更小的交通標志，因此檢測難度更大。TT100K的訓練集包含6 105幅圖像，測試集包含3 071幅圖像。根據(jù)交通標志的含義將數(shù)據(jù)標注為3類：Prohibitory、Mandatory和Danger。GTSDB交通標志數(shù)據(jù)集是德國現(xiàn)實交通標志數(shù)據(jù)集，該數(shù)據(jù)集包含600幅訓練圖像和300幅測試圖像，每幅圖像的分辨率為1 360×800，且覆蓋了不同光照條件下的交通標志。本文將該數(shù)據(jù)集標注為與TT100K相同的三類。

(8)

mAP等于所有類別AP的均值，定義如下：

(9)

式中：m為類別數(shù)量。

式中：area(Bgt)、area(Bp)和area(Bgt∩Bp)分別表示真實邊界框的面積、預測邊界框的面積和真實邊界框與預測邊界框相交的面積。

(10)

通過計算預測邊界框(Bp)和真實邊界框(Bgt)之間的交并比來驗證預測的準確度。IOU定義如下：

與傳統(tǒng)檢測算法比較曲線下面積(Area Under Curve，AUC)來分析改進網(wǎng)絡的檢測精度。AUC可通過數(shù)值積分直接計算ROC曲線下面積得到。AUC數(shù)值越大，檢測網(wǎng)絡性能越好，相反則性能越差。

3.2 實驗結果分析

(1) TT100K實驗結果分析。由于TT100K交通標志數(shù)據(jù)集與其他數(shù)據(jù)集相比目標尺寸更小，圖像分辨率更高，因此本節(jié)選用TT100K來評估改進網(wǎng)絡對小尺寸交通標志的檢測能力。通過對YOLOv3應用消融實驗來驗證改進方法的有效性。采用不同方法改進YOLOv3后的檢測mAP如表4所示。由實驗結果可知，改進的三部分都能實現(xiàn)對檢測網(wǎng)絡的性能提升，其中多尺度特征融合網(wǎng)絡對檢測準確度的影響最大，mAP約提升5個百分點。YOLOv3在應用全部改進方法后實現(xiàn)了最佳檢測性能。后文實驗中的改進網(wǎng)絡即為應用全部改進方案的檢測網(wǎng)絡。

表4 改進部分有效性分析

為了比較改進網(wǎng)絡的檢測效果，本文分別對改進網(wǎng)絡、YOLOv3、Faster R-CNN Resnet50、RetinaNet Resnet50四種模型訓練和測試。四種模型的分數(shù)閾值設置為0.3，IOU閾值為0.5。圖3為三種類別的precision/recall曲線圖。改進網(wǎng)絡的精確率和召回率都優(yōu)于其他三個模型。其中：RetinaNet Resnet50的召回率最低，而Faster R-CNN Resnet50的準確率較差。改進網(wǎng)絡的三種類別的平均精度分別為81.73%、80.56%和85.88%，都高于YOLOv3的檢測結果。所以，對于小尺寸的交通標志，改進網(wǎng)絡的檢測效果更佳。

圖3 四種檢測網(wǎng)絡的precision/recall曲線分析

運行時間對于交通標志檢測是非常重要的因素。在運行時間上，四個網(wǎng)絡使用相同設備測試評估。圖4為運行時間與mAP關系。運行速度最快的為YOLOv3，每幅圖像運行時間約為31.4 ms，mAP為76.59%。改進網(wǎng)絡的運行時間約為37.2 ms，mAP為82.73%。Faster R-CNN Resnet50和RetinaNet Resnet50檢測準確度偏低，且運行速度較慢。總體來說，改進網(wǎng)絡的整體性能更好。

圖4 基于TT100K的運行時間與mAP分析

最后，測試了不同IOU下四種模型的mAP，結果如圖5所示，IOU取值范圍為[0.1,1.0]。在IOU∈[0.4,0.6]時四種模型的mAP均已達到最大值。結合目前目標檢測任務中IOU閾值大多取值范圍在[0.4,0.6]，最終設置四個網(wǎng)絡的IOU閾值為0.5，并且其他實驗的IOU閾值均設置為0.5。

圖5 最佳IOU閾值分析

(2) GTSDB實驗結果分析。GTSDB是目前交通標志檢測任務中應用最廣泛的數(shù)據(jù)集，應用該數(shù)據(jù)集原因在于一些優(yōu)秀的交通標志檢測算法或深度網(wǎng)絡大多都針對GTSDB數(shù)據(jù)集訓練和測試。在訓練中，使用遷移學習的方法，微調(diào)由TT100K數(shù)據(jù)集訓練好的網(wǎng)絡。該方法得到的檢測結果要遠優(yōu)于微調(diào)Imagenet預訓練模型。實驗中設置分數(shù)閾值為0.3，IOU閾值為0.5。表5為深度網(wǎng)絡的對比結果?？梢钥闯龈倪M網(wǎng)絡對三種類別的召回率和平均精度均達到最佳。因此，與其他深度網(wǎng)絡相比，改進網(wǎng)絡在檢測精度上表現(xiàn)更好。

表5 四種網(wǎng)絡準確率對比分析 %

如圖6所示，在運行時間上，改進網(wǎng)絡運行時間約為32.8 ms，mAP約為92.66%。一階段檢測器的表現(xiàn)優(yōu)于二階段檢測器，其中表現(xiàn)最好的是SSD Inception V2模型，但其檢測效果最差。對于綜合運行時間和mAP，改進網(wǎng)絡的性能優(yōu)于其他深度網(wǎng)絡。

圖6 基于GTSDB的運行時間與mAP分析

最后，將改進網(wǎng)絡與傳統(tǒng)檢測方法對比分析。傳統(tǒng)檢測方法中對于GTSDB數(shù)據(jù)集的個別類別的檢測準確度已經(jīng)達到100%[2]，但這些方法的運行時間不能達到現(xiàn)實應用的要求。表6為不同檢測方法對三種類別的檢測AUC和運行時間。文獻[2]在Prohibitory類的AUC達到100%，Danger類也已達到98.85%，但運行時間較慢。文獻[19]中的方法在運行時間上有所提升，基本達到實時檢測的要求，檢測AUC也表現(xiàn)良好。改進網(wǎng)絡的檢測精度可達到與文獻[19]相當?shù)臋z測水平，但運行時間約為文獻[19]的1/5。因此，與傳統(tǒng)檢測方法相比，改進網(wǎng)絡在保證檢測精度的同時能夠?qū)崿F(xiàn)快速檢測。

表6 不同檢測方法的AUC及運行時間對比

4 結 語

交通標志檢測是計算機視覺中的一個重要研究方向，對自動駕駛和高級輔助駕駛系統(tǒng)的研究也有重要意義。交通標志因目標尺寸小、背景復雜、容易受環(huán)境因素的影響等特點，與傳統(tǒng)的目標相比更難檢測。本文針對傳統(tǒng)檢測方法檢測慢和深度網(wǎng)絡檢測精度偏低的問題，提出一個基于YOLOv3的端到端檢測網(wǎng)絡。通過對YOLOv3中特征提取網(wǎng)絡和特征融合網(wǎng)絡加以改進，使得檢測網(wǎng)絡對小尺寸目標檢測效果更佳。采用TT100K和GTSDB兩個數(shù)據(jù)集來評估改進網(wǎng)絡的檢測性能。通過與不同檢測方法的檢測精度和運行時間的對比，驗證了改進網(wǎng)絡的有效性。

從實驗數(shù)據(jù)可以看出檢測網(wǎng)絡對Mandatory類檢測效果較差，主要原因是GTSDB訓練集的類別不平衡。未來將主要針對檢測網(wǎng)絡召回率偏低和數(shù)據(jù)集類別不平衡的問題加以改進，將交通標志分為更詳細的類別，從而實現(xiàn)交通標志識別系統(tǒng)的實時檢測和識別。