王瑩 丁鵬

摘 要：交通信號(hào)燈的在線識(shí)別是無(wú)人駕駛和輔助決策系統(tǒng)中的重要研究?jī)?nèi)容，文章給出了一種基于深度學(xué)習(xí)的交通信號(hào)燈識(shí)別和分類方法，該方法使用YOLO（You Only Look Once）模型，基于Microsoft COCO 數(shù)據(jù)集的預(yù)訓(xùn)練模型進(jìn)行二次遷移學(xué)習(xí)：先使用Bosch數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)，再使用自制數(shù)據(jù)集做遷移學(xué)習(xí)。測(cè)試表明該方法訓(xùn)練后的模型具有較高準(zhǔn)確率和實(shí)時(shí)性。同時(shí)，文章給出了基于檢測(cè)結(jié)果提取綜合路況信息的策略。

關(guān)鍵詞：深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；交通信號(hào)燈

中圖分類號(hào)：U665 文獻(xiàn)標(biāo)識(shí)碼：B 文章編號(hào)：1671-7988（2018）17-89-03

Abstract： The online recognition of traffic lights is an important topic in unmanned and assisted decision-making systems. This paper presents a deep learning approach to traffic lights identification and classification. This method uses YOLO （You Only Look Once） model. The pre-training model of the COCO dataset is used for double-transfer learning： Bosch dataset is used for the first transfer learning， and self-made dataset is used for the secondary transfer learning. The test result shows that the model trained by this method has higher accuracy and real-time performance. Also， we presents a strategy for extracting comprehensive road condition information based on detection results.

Keywords： Deep Learning； Neural Networks； Traffic Lights

CLC NO.： U665 Document Code： B Article ID： 1671-7988（2018）17-89-03

前言

交通信號(hào)燈檢測(cè)和識(shí)別是無(wú)人駕駛和輔助駕駛領(lǐng)域的重要研究?jī)?nèi)容，國(guó)內(nèi)外許多機(jī)構(gòu)及研究者針對(duì)交通燈檢測(cè)和識(shí)別開(kāi)展了研究。但大多研究?jī)?nèi)容都基于人工設(shè)置特征及檢測(cè)方法[1-4]，這些方法在較為復(fù)雜環(huán)境中檢測(cè)和識(shí)別率不高，容易受到背景干擾、過(guò)爆、光暈、汽車尾燈，路燈和各種反射影響，造成誤檢或漏檢。

交通信號(hào)燈有許多不同的數(shù)量，位置，形狀，尺寸和布局，對(duì)于基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法，這些差異是很容易的——只需收集汽車駕駛區(qū)域中交通燈類型的示例。算法可以自主學(xué)習(xí)交通信號(hào)燈特征，減少了人工干預(yù)，能較好應(yīng)對(duì)復(fù)雜的交通背景，排除各種干擾，提高識(shí)別效率。本文基于卷積神經(jīng)網(wǎng)絡(luò)算法，利用二次遷移學(xué)習(xí)方法，訓(xùn)練出了精度較高的交通信號(hào)燈識(shí)別模型，并提出了基于檢測(cè)信息的綜合應(yīng)用策略。

1 數(shù)據(jù)集選取

1.1 公開(kāi)數(shù)據(jù)集

深度學(xué)習(xí)中數(shù)據(jù)集是決定最終模型精確度的重要因素，目前包含交通信號(hào)燈的大型圖像數(shù)據(jù)集有ImageNet和COCO，針對(duì)交通信號(hào)燈的專門數(shù)據(jù)集有LISA、TLR、Bosch交通信號(hào)燈。

基于數(shù)據(jù)集分析可以看出，針對(duì)交通信號(hào)燈識(shí)別，COCO數(shù)據(jù)集具有更大數(shù)據(jù)量，基于COCO數(shù)據(jù)集的預(yù)訓(xùn)練模型能很好地提取物體特征，辨識(shí)出信號(hào)燈。缺點(diǎn)在于分類中只有交通信號(hào)燈這一大類，不能識(shí)別具體的狀態(tài)。

Bosch交通信號(hào)燈[5]數(shù)據(jù)集給出了14中不同的紅綠燈狀態(tài)，較好的覆蓋了圓形標(biāo)志和箭頭標(biāo)志，但樣本量偏小，同時(shí)存在樣本不均勻的現(xiàn)象：例如紅色直行、紅色右轉(zhuǎn)、綠色直行、綠色右轉(zhuǎn)等帶箭頭的紅綠燈樣本量明顯偏少。

1.2 自制數(shù)據(jù)集

為了克服以上數(shù)據(jù)集的缺點(diǎn)，我們基于無(wú)錫市濱湖區(qū)實(shí)際交通情況制作了小型數(shù)據(jù)集，圖片大小為1920x1280像素，共683張，其中標(biāo)注紅綠燈樣本數(shù)一共1527個(gè)，分布情況如表3所示。

2 目標(biāo)識(shí)別框架選取

當(dāng)前主要基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法包括基于候選區(qū)域（region proposal）的兩步檢測(cè)法：Faster R-CNN、Mask R-CNN，以及基于回歸的一步檢測(cè)法：YOLO、SSD。

權(quán)衡官網(wǎng)給定的計(jì)算性能和檢測(cè)精度比對(duì)數(shù)據(jù)，本文選取SSD_Inception_v2、Faster_RCNN_Inception_v2和YOLO v3基于COCO數(shù)據(jù)集的預(yù)訓(xùn)練模型對(duì)比檢測(cè)效果。

論文[6]討論了使用不同深度學(xué)習(xí)框架時(shí)的權(quán)衡，指出SSD在識(shí)別中型和大型目標(biāo)時(shí)效果較好，小目標(biāo)時(shí)效果不如Faster RCNN。由于之后SSD、YOLO等算法均有改進(jìn)版本，因此，本文以實(shí)際場(chǎng)景圖為例，比對(duì)不同方法的檢測(cè)效果。

從檢測(cè)比對(duì)效果圖看，SSD和Faster RCNN針對(duì)遠(yuǎn)處較小交通信號(hào)燈的檢測(cè)均存在較明顯的漏檢現(xiàn)象，YOLO v3檢測(cè)結(jié)果最好，幾乎識(shí)別出了圖中所有的交通信號(hào)燈。故本文采用YOLO v3框架進(jìn)行訓(xùn)練學(xué)習(xí)。

3 模型訓(xùn)練方法

遷移學(xué)習(xí)的優(yōu)勢(shì)在于，能將已訓(xùn)練好的模型應(yīng)用到新的模型訓(xùn)練中，克服新模型樣本數(shù)少的問(wèn)題，并且因?yàn)椴恍枰獜念^開(kāi)始訓(xùn)練整個(gè)網(wǎng)絡(luò)，能極大提高訓(xùn)練收斂速度。

本文使用YOLO v3基于COCO數(shù)據(jù)的預(yù)訓(xùn)練模型，使用Bosch交通信號(hào)燈數(shù)據(jù)庫(kù)做一次訓(xùn)練，然后基于自制數(shù)據(jù)集做二次訓(xùn)練，最終得到區(qū)分十種交通信號(hào)燈狀態(tài)的模型。

最終模型在自制測(cè)試數(shù)據(jù)集上取得的96.3%的準(zhǔn)確率，圖6為測(cè)試效果。在CPU i7-7700HQ、GPU GTX1060機(jī)器上測(cè)試1080p視頻，處理速度為18 FPS。

4 綜合使用策略

要能根據(jù)信號(hào)燈狀況提供實(shí)時(shí)策略，僅僅辨別紅綠燈狀態(tài)還不行，應(yīng)為會(huì)存在以下情況：

路口很多紅綠燈，有的并不是針對(duì)行駛方向的，屬于不需要關(guān)心的狀態(tài)；

正對(duì)行駛方向的也可能應(yīng)為兩個(gè)十字路口間隔較近，出現(xiàn)判出多個(gè)紅綠燈的情況。

故提取正對(duì)行駛方向最近的紅綠燈狀態(tài)是應(yīng)用中必須克服的問(wèn)題。

本文提出根據(jù)紅綠燈位置和提取區(qū)域大小綜合判斷的策略，步驟如下：

Step1.使用yolo算法提取所有紅綠燈區(qū)域。

Step2.將提取目標(biāo)按區(qū)域大小排序。

Step3.按正對(duì)紅綠燈區(qū)域一般位于圖片中上方的原則進(jìn)行過(guò)濾。

Setp4.將區(qū)域大小相近的前3個(gè)紅燈信息提取，空間距離較大且信息一致的視為一個(gè)。

Setp5.將提取信息按表4得出綜合結(jié)論。

5 結(jié)論

本文給出了一種基于深度學(xué)習(xí)的交通信號(hào)燈識(shí)別方法，創(chuàng)建了一個(gè)小型紅綠燈數(shù)據(jù)集，使用YOLO v3構(gòu)架，提出了基于COCO數(shù)據(jù)集的二次遷移學(xué)習(xí)策略，并給出了檢測(cè)結(jié)果綜合使用策略。從訓(xùn)練模型使用效果看，該模型識(shí)別準(zhǔn)確率較高，實(shí)時(shí)性能較好，能為無(wú)人駕駛和輔助駕駛系統(tǒng)提供較好的支撐。

參考文獻(xiàn)

[1] 谷明琴，蔡自興，黃振威，何芬芬.城市環(huán)境中箭頭型交通信號(hào)燈的實(shí)時(shí)識(shí)別算法[J].中南大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，44（04）： 1403-1408.

[2] 武瑩，張小寧，何斌.基于圖像處理的交通信號(hào)燈識(shí)別方法[J].交通信息與安全， 2011， 29（3）：51-54.

[3] 吳澤峰，張重陽(yáng)，許明文.基于投影特征值的交通信號(hào)燈檢測(cè)與識(shí)別方法[J].現(xiàn)代電子技術(shù)，2016，39（09）：160-163.

[4] 葛俊輝.交通信號(hào)燈檢測(cè)與識(shí)別算法研究[D].中南大學(xué)， 2014.

[5] Behrendt K， Novak L， Botros R. A deep learning approach to traffic lights：Detection，tracking，and classification[C] International Confer -ence on Robotics and Automation. IEEE， 2017.

[6] Huang J， Guadarrama S， Murphy K， et al. Speed/Accuracy Trade- Offs for Modern Convolutional Object Detectors[J]. 2016：3296- 3297.