馬露茜，吳欽木

（貴州大學(xué)電氣工程學(xué)院，貴陽550025）

1 引言

交通標(biāo)志檢測與識別是無人駕駛領(lǐng)域的研究熱點(diǎn)之一。獲得準(zhǔn)確的交通標(biāo)志信息是行車安全的基本前提，實(shí)現(xiàn)安全的無人駕駛更是如此。而交通標(biāo)志檢測與識別的特點(diǎn)之一是環(huán)境多變，需要在無法預(yù)知的復(fù)雜天氣、環(huán)境下進(jìn)行檢測，檢測速度和精度往往會受到較大影響[1]。除了檢測過程中面臨的環(huán)境多變之外，小目標(biāo)檢測也是一個難以解決的問題。對此已有眾多研究成果被提出。董天天[2]等采用改進(jìn)后的YOLOv3對雨雪天氣下的交通標(biāo)志進(jìn)行檢測與識別，該方法的mAP達(dá)到了0.9123，超過了SSD和Fast-RCNN方法。趙坤[3]等采用YOLOv3模型對弱光條件下的交通標(biāo)志進(jìn)行檢測與識別，同時對YOLOv3的損失函數(shù)做出了改進(jìn)，使訓(xùn)練模型更具有魯棒性。

以上方法均沒有構(gòu)建復(fù)雜環(huán)境下的中國交通標(biāo)志檢測數(shù)據(jù)集，在此首先對這一部分研究空白做了填補(bǔ)，并提出一種基于改進(jìn)YOLOv3的交通標(biāo)志檢測網(wǎng)絡(luò)，增加特征尺度提取較淺層次細(xì)節(jié),使網(wǎng)絡(luò)可以收集獲得更豐富的圖像信息。通過遷移學(xué)習(xí)訓(xùn)練測試網(wǎng)絡(luò)的識別效果，與改進(jìn)前的算法展開對比。

2 數(shù)據(jù)集構(gòu)建

對于YOLOv3在復(fù)雜環(huán)境下的交通標(biāo)志檢測必須具備復(fù)雜環(huán)境下的中國交通標(biāo)志數(shù)據(jù)集[4]。在此使用的數(shù)據(jù)集場景包含復(fù)雜自然場景下不同的天氣狀況，例如大霧、大雨天、陰天等天氣狀況下拍攝的圖片，如圖1所示。

圖1 數(shù)據(jù)集中的典型圖片

數(shù)據(jù)集的構(gòu)建過程主要為數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注與數(shù)據(jù)劃分三步，詳細(xì)如下：

數(shù)據(jù)采集：樣本主要來源有兩種，第一部分來源于CCTSDB[5]（中國交通系統(tǒng)的一個數(shù)據(jù)集）；第二部分為在大霧大雨等情況下通過拍照實(shí)地采集。具體的數(shù)據(jù)分布情況如圖2。

圖2 交通標(biāo)志數(shù)據(jù)分布

數(shù)據(jù)標(biāo)注：采用LableImg軟件標(biāo)注每幅圖像，標(biāo)注信息以xml格式保存，以備訓(xùn)練時使用。數(shù)據(jù)劃分為3個類別:指示標(biāo)志、禁止標(biāo)志、警告標(biāo)志。詳細(xì)圖標(biāo)如圖3所示。

圖3 交通標(biāo)志示例

數(shù)據(jù)劃分：將圖像按照7:3的比例劃分訓(xùn)練集和測試集，共計(jì)圖像3415張，包含訓(xùn)練集2390張，測試集1025張。為了豐富數(shù)據(jù)量，訓(xùn)練時通過圖像旋轉(zhuǎn)、翻轉(zhuǎn)等方式對原始圖片進(jìn)行數(shù)據(jù)增強(qiáng)。

3 YOLOv3算法改進(jìn)

3.1 YOLOv3檢測網(wǎng)絡(luò)結(jié)構(gòu)

特征金字塔網(wǎng)絡(luò)（FPN）的上采樣（up-sample）和融合法在網(wǎng)絡(luò)中具有選擇優(yōu)勢，其表達(dá)效果通常由網(wǎng)絡(luò)層次決定，效果隨網(wǎng)絡(luò)層次的加深而變好。例如在進(jìn)行16倍降采樣檢測時，如果直接采用第4次下采樣特征進(jìn)行目標(biāo)檢測，則只有淺層特征得到使用，檢測結(jié)果通常不好。在此基礎(chǔ)上使用32倍降采樣后的特征，會有深層次下采樣大小太小的問題，因此YOLO v3使用上采樣（步長約為2），把32倍降采樣后所得到的特征圖的大小增加一倍，以此實(shí)現(xiàn)和16倍降采樣后相同的維度。

YOLO v3通過 上采樣方法提取到一個深層的特征，它的維度應(yīng)該是與即將融合到的特征層維度相同（通道數(shù)不同）。采用多尺度方法來對不同規(guī)模和大小的目標(biāo)物件進(jìn)行檢查，grid cell設(shè)置越精細(xì)，可檢目標(biāo)就越豐富[6]。

3.2 YOLOv3網(wǎng)絡(luò)優(yōu)化

在所構(gòu)建的交通標(biāo)志數(shù)據(jù)集中，大部分都為霧雨天環(huán)境下的小目標(biāo)，目標(biāo)小且不清晰。YOLOv3只利用三個尺度的特征，對淺層信息的利用并不充分，富含詳細(xì)信息的低層特征因此浪費(fèi)掉了，導(dǎo)致大部分小目標(biāo)的位置信息消失，無法完成小目標(biāo)檢測。

針對復(fù)雜環(huán)境影響和小目標(biāo)消失等問題，在此設(shè)計(jì)提出一種改進(jìn)YOLOv3深度神經(jīng)網(wǎng)絡(luò)，它增加了第4個特征尺度：104×104。通過對4個尺度檢測的特征層采取融合處理，不僅留存了深層次的圖像語義信息，也能取得更豐富的淺層圖像信息，因此能夠兼容不同尺度的目標(biāo)[7]。

具體做法為：YOLOv3網(wǎng)絡(luò)中將檢測尺度為13×13的特征層在經(jīng)過2倍上采樣后，原來特征尺度52×52就可提高至104×104，若要充分使用深層特征和淺層特征，應(yīng)當(dāng)將第109層與特征提取網(wǎng)絡(luò)的第11層特征通過route層進(jìn)行特征融合[8]。剩余的特征融合為2倍上采樣后輸出的第85層和第97層。分別將第85層與第61層，第97層與第36層的特征圖通過route層進(jìn)行特征融合。

各個特征圖層具體情況如表1所示。四個特征尺度分別為：13×13、26×26、52×52、104×104。改進(jìn)后的多尺度預(yù)測結(jié)構(gòu)如圖4所示。在圖4中的虛線部分，為提高算法對小目標(biāo)檢測的精度，YOLOv3對輸入圖片做5次降采樣，在最后3次降采樣中對目標(biāo)預(yù)測，以此輸出3個不同尺度的特征，分別為預(yù)測輸出1、輸出2、輸出3，邊長規(guī)律為13:26:52，深度為255。粗線箭頭部分則為一種經(jīng)過改進(jìn)的多尺度網(wǎng)絡(luò)結(jié)構(gòu)。與原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)相比，所設(shè)計(jì)的4個檢測模型尺寸可以同時使用深層交通特征的高語義信息和低層交通特征的精確性高分辨率，網(wǎng)絡(luò)的復(fù)雜程度沒有明顯的增加。改進(jìn)的YOLOv3網(wǎng)絡(luò)架構(gòu)更適應(yīng)復(fù)雜環(huán)境交通標(biāo)志的檢測與識別。

圖4 改進(jìn)的多尺度預(yù)測結(jié)構(gòu)

4 訓(xùn)練結(jié)果評估

4.1 實(shí)驗(yàn)環(huán)境及評測指標(biāo)

實(shí)驗(yàn)環(huán)境配置情況如表2所示。配置文件中要用到的五個參數(shù)的實(shí)際設(shè)置情況如表3。

表2 實(shí)驗(yàn)環(huán)境配置

表3 配置文件參數(shù)

為評估交通標(biāo)志檢測效果，所使用的指標(biāo)為平均準(zhǔn)確率mAP（mean Average Precision）和每張圖片所需的時間t=1/N。mAP的計(jì)算分為兩步，第一步為計(jì)算每個類別的平均精度AP（Average Precision），第二步為對平均精度取均值。AP近似等于Precision-Recall（PR）曲線下的面積，定義為：

式中，m表示類別數(shù)量。mAP值和檢測效果成正比，檢測時間和檢測速度成反比。

4.2 實(shí)驗(yàn)結(jié)果分析

為比較改進(jìn)網(wǎng)絡(luò)的檢測效果，用所采集的中國交通標(biāo)志檢測數(shù)據(jù)集分別對改進(jìn)前后的YOLOv3網(wǎng)絡(luò)模型以及SSD模型進(jìn)行訓(xùn)練和測試。三種類別的PR曲線如圖5所示，對應(yīng)具體數(shù)值如表4所示。通過對比可以看出改進(jìn)網(wǎng)絡(luò)的精確率和召回率都優(yōu)于YOLOv3、SSD模型。

圖5 不同標(biāo)志類別PR曲線對比圖

表4 具體AP值對比單位：%

在實(shí)時性上，標(biāo)準(zhǔn)YOLOv3和改進(jìn)YOLOv3方法檢測圖片時間分別為31.4ms和34.2ms，達(dá)到了實(shí)時檢測的需求。具體實(shí)驗(yàn)數(shù)據(jù)如表5所示。

表5 mAP和運(yùn)行時間分析

對雨天、霧天檢測的實(shí)際效果如圖6、圖7所示。設(shè)定的檢測閾值為0.5。通過對比可以直觀地看到改進(jìn)后的YOLOv3檢測算法檢測效果最好。

圖6 雨天檢測結(jié)果展示

圖7 霧天檢測結(jié)果展示

5 結(jié)束語

通過構(gòu)建復(fù)雜環(huán)境下的交通標(biāo)志數(shù)據(jù)集，將增加了特征尺度的改進(jìn)YOLOv3應(yīng)用到交通標(biāo)志的檢測與識別當(dāng)中，取得良好的效果。通過對比實(shí)驗(yàn)橫向?qū)Ρ雀倪M(jìn)后YOLOv3算法與標(biāo)準(zhǔn)YOLOv3、SSD算法的性能差異，證明所提出的改進(jìn)算法具有更高的召回率、準(zhǔn)確率及檢測精度。研究達(dá)到了增強(qiáng)圖像檢測準(zhǔn)確度的目的，但其速度提升有限，因此在后續(xù)工作中，需要對圖像樣本做出合理調(diào)整，進(jìn)一步提高并完善復(fù)雜環(huán)境下交通標(biāo)志檢測識別性能。