馬露茜,吳欽木
(貴州大學(xué)電氣工程學(xué)院,貴陽550025)
交通標(biāo)志檢測(cè)與識(shí)別是無人駕駛領(lǐng)域的研究熱點(diǎn)之一。獲得準(zhǔn)確的交通標(biāo)志信息是行車安全的基本前提,實(shí)現(xiàn)安全的無人駕駛更是如此。而交通標(biāo)志檢測(cè)與識(shí)別的特點(diǎn)之一是環(huán)境多變,需要在無法預(yù)知的復(fù)雜天氣、環(huán)境下進(jìn)行檢測(cè),檢測(cè)速度和精度往往會(huì)受到較大影響[1]。除了檢測(cè)過程中面臨的環(huán)境多變之外,小目標(biāo)檢測(cè)也是一個(gè)難以解決的問題。對(duì)此已有眾多研究成果被提出。董天天[2]等采用改進(jìn)后的YOLOv3對(duì)雨雪天氣下的交通標(biāo)志進(jìn)行檢測(cè)與識(shí)別,該方法的mAP達(dá)到了0.9123,超過了SSD和Fast-RCNN方法。趙坤[3]等采用YOLOv3模型對(duì)弱光條件下的交通標(biāo)志進(jìn)行檢測(cè)與識(shí)別,同時(shí)對(duì)YOLOv3的損失函數(shù)做出了改進(jìn),使訓(xùn)練模型更具有魯棒性。
以上方法均沒有構(gòu)建復(fù)雜環(huán)境下的中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集,在此首先對(duì)這一部分研究空白做了填補(bǔ),并提出一種基于改進(jìn)YOLOv3的交通標(biāo)志檢測(cè)網(wǎng)絡(luò),增加特征尺度提取較淺層次細(xì)節(jié),使網(wǎng)絡(luò)可以收集獲得更豐富的圖像信息。通過遷移學(xué)習(xí)訓(xùn)練測(cè)試網(wǎng)絡(luò)的識(shí)別效果,與改進(jìn)前的算法展開對(duì)比。
對(duì)于YOLOv3在復(fù)雜環(huán)境下的交通標(biāo)志檢測(cè)必須具備復(fù)雜環(huán)境下的中國(guó)交通標(biāo)志數(shù)據(jù)集[4]。在此使用的數(shù)據(jù)集場(chǎng)景包含復(fù)雜自然場(chǎng)景下不同的天氣狀況,例如大霧、大雨天、陰天等天氣狀況下拍攝的圖片,如圖1所示。
圖1 數(shù)據(jù)集中的典型圖片
數(shù)據(jù)集的構(gòu)建過程主要為數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注與數(shù)據(jù)劃分三步,詳細(xì)如下:
數(shù)據(jù)采集:樣本主要來源有兩種,第一部分來源于CCTSDB[5](中國(guó)交通系統(tǒng)的一個(gè)數(shù)據(jù)集);第二部分為在大霧大雨等情況下通過拍照實(shí)地采集。具體的數(shù)據(jù)分布情況如圖2。
圖2 交通標(biāo)志數(shù)據(jù)分布
數(shù)據(jù)標(biāo)注:采用LableImg軟件標(biāo)注每幅圖像,標(biāo)注信息以xml格式保存,以備訓(xùn)練時(shí)使用。數(shù)據(jù)劃分為3個(gè)類別:指示標(biāo)志、禁止標(biāo)志、警告標(biāo)志。詳細(xì)圖標(biāo)如圖3所示。
圖3 交通標(biāo)志示例
數(shù)據(jù)劃分:將圖像按照7:3的比例劃分訓(xùn)練集和測(cè)試集,共計(jì)圖像3415張,包含訓(xùn)練集2390張,測(cè)試集1025張。為了豐富數(shù)據(jù)量,訓(xùn)練時(shí)通過圖像旋轉(zhuǎn)、翻轉(zhuǎn)等方式對(duì)原始圖片進(jìn)行數(shù)據(jù)增強(qiáng)。
特征金字塔網(wǎng)絡(luò)(FPN)的上采樣(up-sample)和融合法在網(wǎng)絡(luò)中具有選擇優(yōu)勢(shì),其表達(dá)效果通常由網(wǎng)絡(luò)層次決定,效果隨網(wǎng)絡(luò)層次的加深而變好。例如在進(jìn)行16倍降采樣檢測(cè)時(shí),如果直接采用第4次下采樣特征進(jìn)行目標(biāo)檢測(cè),則只有淺層特征得到使用,檢測(cè)結(jié)果通常不好。在此基礎(chǔ)上使用32倍降采樣后的特征,會(huì)有深層次下采樣大小太小的問題,因此YOLO v3使用上采樣(步長(zhǎng)約為2),把32倍降采樣后所得到的特征圖的大小增加一倍,以此實(shí)現(xiàn)和16倍降采樣后相同的維度。
YOLO v3通過 上采樣方法提取到一個(gè)深層的特征,它的維度應(yīng)該是與即將融合到的特征層維度相同(通道數(shù)不同)。采用多尺度方法來對(duì)不同規(guī)模和大小的目標(biāo)物件進(jìn)行檢查,grid cell設(shè)置越精細(xì),可檢目標(biāo)就越豐富[6]。
在所構(gòu)建的交通標(biāo)志數(shù)據(jù)集中,大部分都為霧雨天環(huán)境下的小目標(biāo),目標(biāo)小且不清晰。YOLOv3只利用三個(gè)尺度的特征,對(duì)淺層信息的利用并不充分,富含詳細(xì)信息的低層特征因此浪費(fèi)掉了,導(dǎo)致大部分小目標(biāo)的位置信息消失,無法完成小目標(biāo)檢測(cè)。
針對(duì)復(fù)雜環(huán)境影響和小目標(biāo)消失等問題,在此設(shè)計(jì)提出一種改進(jìn)YOLOv3深度神經(jīng)網(wǎng)絡(luò),它增加了第4個(gè)特征尺度:104×104。通過對(duì)4個(gè)尺度檢測(cè)的特征層采取融合處理,不僅留存了深層次的圖像語義信息,也能取得更豐富的淺層圖像信息,因此能夠兼容不同尺度的目標(biāo)[7]。
具體做法為:YOLOv3網(wǎng)絡(luò)中將檢測(cè)尺度為13×13的特征層在經(jīng)過2倍上采樣后,原來特征尺度52×52就可提高至104×104,若要充分使用深層特征和淺層特征,應(yīng)當(dāng)將第109層與特征提取網(wǎng)絡(luò)的第11層特征通過route層進(jìn)行特征融合[8]。剩余的特征融合為2倍上采樣后輸出的第85層和第97層。分別將第85層與第61層,第97層與第36層的特征圖通過route層進(jìn)行特征融合。
各個(gè)特征圖層具體情況如表1所示。四個(gè)特征尺度分別為:13×13、26×26、52×52、104×104。改進(jìn)后的多尺度預(yù)測(cè)結(jié)構(gòu)如圖4所示。在圖4中的虛線部分,為提高算法對(duì)小目標(biāo)檢測(cè)的精度,YOLOv3對(duì)輸入圖片做5次降采樣,在最后3次降采樣中對(duì)目標(biāo)預(yù)測(cè),以此輸出3個(gè)不同尺度的特征,分別為預(yù)測(cè)輸出1、輸出2、輸出3,邊長(zhǎng)規(guī)律為13:26:52,深度為255。粗線箭頭部分則為一種經(jīng)過改進(jìn)的多尺度網(wǎng)絡(luò)結(jié)構(gòu)。與原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)相比,所設(shè)計(jì)的4個(gè)檢測(cè)模型尺寸可以同時(shí)使用深層交通特征的高語義信息和低層交通特征的精確性高分辨率,網(wǎng)絡(luò)的復(fù)雜程度沒有明顯的增加。改進(jìn)的YOLOv3網(wǎng)絡(luò)架構(gòu)更適應(yīng)復(fù)雜環(huán)境交通標(biāo)志的檢測(cè)與識(shí)別。
圖4 改進(jìn)的多尺度預(yù)測(cè)結(jié)構(gòu)
實(shí)驗(yàn)環(huán)境配置情況如表2所示。配置文件中要用到的五個(gè)參數(shù)的實(shí)際設(shè)置情況如表3。
表2 實(shí)驗(yàn)環(huán)境配置
表3 配置文件參數(shù)
為評(píng)估交通標(biāo)志檢測(cè)效果,所使用的指標(biāo)為平均準(zhǔn)確率mAP(mean Average Precision)和每張圖片所需的時(shí)間t=1/N。mAP的計(jì)算分為兩步,第一步為計(jì)算每個(gè)類別的平均精度AP(Average Precision),第二步為對(duì)平均精度取均值。AP近似等于Precision-Recall(PR)曲線下的面積,定義為:
式中,m表示類別數(shù)量。mAP值和檢測(cè)效果成正比,檢測(cè)時(shí)間和檢測(cè)速度成反比。
為比較改進(jìn)網(wǎng)絡(luò)的檢測(cè)效果,用所采集的中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集分別對(duì)改進(jìn)前后的YOLOv3網(wǎng)絡(luò)模型以及SSD模型進(jìn)行訓(xùn)練和測(cè)試。三種類別的PR曲線如圖5所示,對(duì)應(yīng)具體數(shù)值如表4所示。通過對(duì)比可以看出改進(jìn)網(wǎng)絡(luò)的精確率和召回率都優(yōu)于YOLOv3、SSD模型。
圖5 不同標(biāo)志類別PR曲線對(duì)比圖
表4 具體AP值對(duì)比單位:%
在實(shí)時(shí)性上,標(biāo)準(zhǔn)YOLOv3和改進(jìn)YOLOv3方法檢測(cè)圖片時(shí)間分別為31.4ms和34.2ms,達(dá)到了實(shí)時(shí)檢測(cè)的需求。具體實(shí)驗(yàn)數(shù)據(jù)如表5所示。
表5 mAP和運(yùn)行時(shí)間分析
對(duì)雨天、霧天檢測(cè)的實(shí)際效果如圖6、圖7所示。設(shè)定的檢測(cè)閾值為0.5。通過對(duì)比可以直觀地看到改進(jìn)后的YOLOv3檢測(cè)算法檢測(cè)效果最好。
圖6 雨天檢測(cè)結(jié)果展示
圖7 霧天檢測(cè)結(jié)果展示
通過構(gòu)建復(fù)雜環(huán)境下的交通標(biāo)志數(shù)據(jù)集,將增加了特征尺度的改進(jìn)YOLOv3應(yīng)用到交通標(biāo)志的檢測(cè)與識(shí)別當(dāng)中,取得良好的效果。通過對(duì)比實(shí)驗(yàn)橫向?qū)Ρ雀倪M(jìn)后YOLOv3算法與標(biāo)準(zhǔn)YOLOv3、SSD算法的性能差異,證明所提出的改進(jìn)算法具有更高的召回率、準(zhǔn)確率及檢測(cè)精度。研究達(dá)到了增強(qiáng)圖像檢測(cè)準(zhǔn)確度的目的,但其速度提升有限,因此在后續(xù)工作中,需要對(duì)圖像樣本做出合理調(diào)整,進(jìn)一步提高并完善復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)識(shí)別性能。