楊廣柱,龍澤鏈,李 毅,王天生,黃紹信

(廣西交通職業(yè)技術(shù)學(xué)院,廣西 南寧 530013)

0 引言

隨著城市基礎(chǔ)設(shè)施的全面建設(shè)和汽車產(chǎn)業(yè)的蓬勃發(fā)展,汽車已成為人們?nèi)粘３鲂兄凶畛Ｓ玫慕煌üぞ摺Ｅc此同時(shí),交通安全和交通擁堵問(wèn)題也日益嚴(yán)重。尤其在經(jīng)濟(jì)快速發(fā)展的背景下,交通安全和擁堵問(wèn)題成為亟待解決的工程技術(shù)難題。智能交通系統(tǒng)(Intelligent Transport System,ITS)被視為提高交通安全性和效率的有效途徑之一[1]。

智能交通系統(tǒng)中的一個(gè)重要組成部分是自動(dòng)交通標(biāo)志檢測(cè)和識(shí)別技術(shù),其可以從視覺(jué)傳感器掃描的圖像信息中提取人性化信息和路況信息等,為智能交通系統(tǒng)的交通行為決策提供信息支持。因此,交通標(biāo)志檢測(cè)和識(shí)別廣泛應(yīng)用于駕駛員輔助系統(tǒng)、智能無(wú)人駕駛車輛、道路標(biāo)志維護(hù)等智能交通領(lǐng)域。這些應(yīng)用不僅可以有效提高駕駛員的安全性,還能推動(dòng)無(wú)人駕駛技術(shù)的發(fā)展,提高交通維護(hù)效率,極大緩解交通安全和擁堵問(wèn)題[2]。

目前,基于卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法在交通標(biāo)志識(shí)別應(yīng)用中表現(xiàn)出高準(zhǔn)確度和強(qiáng)抗干擾能力,成為解決自動(dòng)交通標(biāo)志識(shí)別可靠性低的關(guān)鍵突破口。然而,由于國(guó)內(nèi)交通標(biāo)志算法訓(xùn)練數(shù)據(jù)集的不足,特定場(chǎng)景下交通標(biāo)志檢測(cè)和識(shí)別精度不高的問(wèn)題仍然存在[3]?；谶@個(gè)背景,本文綜述基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別技術(shù),厘清傳統(tǒng)交通標(biāo)志識(shí)別與基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別的關(guān)系,著重介紹尤為出色的卷積神經(jīng)網(wǎng)絡(luò)交通標(biāo)志識(shí)別算法,并分析近年來(lái)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別算法取得的突破性進(jìn)展,以期能為交通標(biāo)志識(shí)別技術(shù)的發(fā)展提供新思路,為廣西智慧交通建設(shè)積累實(shí)踐經(jīng)驗(yàn)。

1 交通標(biāo)志識(shí)別技術(shù)

1.1 傳統(tǒng)交通標(biāo)志識(shí)別

交通標(biāo)志的主要用途是指導(dǎo)與警告駕駛員前方道路信息與行人信息,以及調(diào)節(jié)道路交通流量與交通疏導(dǎo)。世界各國(guó)交通標(biāo)志因其政治文化的獨(dú)特性而盡顯不同,我國(guó)的交通標(biāo)志主要分為指示類標(biāo)志、禁令類標(biāo)志和警告類標(biāo)志三大類。這三大類交通標(biāo)志在顏色上有藍(lán)色、黃色和紅色,在形狀上有圓形、三角形,交通標(biāo)志在圖像上有非常顯著的顏色特征和形狀特征,這是用于檢測(cè)識(shí)別交通標(biāo)志的主要依據(jù)。

交通標(biāo)志識(shí)別技術(shù)中兩個(gè)關(guān)鍵的內(nèi)容是:檢測(cè)和識(shí)別交通標(biāo)志。檢測(cè)標(biāo)志是指使用形狀信息、顏色信息或形狀顏色信息結(jié)合的形式,在具有背景噪聲的圖像幀中提取交通標(biāo)志信息,為后續(xù)的識(shí)別分類提供關(guān)鍵數(shù)據(jù)。識(shí)別標(biāo)志是指對(duì)檢測(cè)到的交通標(biāo)志進(jìn)行特征識(shí)別分類,為智能交通系統(tǒng)的交通決策提供道路信息。即交通標(biāo)志檢測(cè)與識(shí)別對(duì)應(yīng)于人的眼睛觀察與大腦認(rèn)識(shí)判斷,“眼睛”在復(fù)雜的交通環(huán)境中掃描出交通標(biāo)志的圖像信息,“大腦”根據(jù)“眼睛”觀察到的交通標(biāo)志圖像進(jìn)行識(shí)別,并對(duì)內(nèi)容進(jìn)行分類,為下一步的交通行為提供判斷依據(jù)。

在交通標(biāo)志中顏色是其最顯著的特征之一,顏色特征法的交通標(biāo)志檢測(cè)具有較高的反應(yīng)度。一些學(xué)者早先提出直接利用原始RGB圖像空間的像素級(jí)閾值分割進(jìn)行交通標(biāo)志檢測(cè)[4],由于原始RGB圖像存在色彩失真甚至圖像模糊等因素,對(duì)于交通環(huán)境及天氣的依賴極高,因此存在一定缺陷性。在此基礎(chǔ)上,部分學(xué)者提出先對(duì)原始圖像進(jìn)行預(yù)處理再對(duì)處理后的結(jié)果進(jìn)行分割檢測(cè)的交通標(biāo)志檢測(cè)方案,該方法能夠?qū)GB圖像進(jìn)行色彩空間增強(qiáng)以及矢量濾波等處理,能夠有效降低交通環(huán)境的影響,提高交通標(biāo)志檢測(cè)的準(zhǔn)確度[5]。盡管眾多學(xué)者在RGB圖像檢測(cè)方法上做了大量的改進(jìn),然而R、G和B分量之間具有高度相關(guān)性且易受溫度、濕度和光照等外界因素影響的特性,基于RGB進(jìn)行的交通標(biāo)志檢測(cè)很難實(shí)現(xiàn)高可靠性檢測(cè)?；诖?部分學(xué)者提出先將原始RGB圖像非線性變換為HIS顏色空間再對(duì)H和S分量進(jìn)行閾值分割,以實(shí)現(xiàn)ROI區(qū)域檢測(cè),該方法能夠一定程度地規(guī)避RGB容易受環(huán)境影響的問(wèn)題,但仍然存在一定缺陷[6]。

基于此,形狀特征法、顏色與形狀特征混合法先后被提出用于交通標(biāo)志檢測(cè),旨在解決交通標(biāo)志檢測(cè)過(guò)程存在準(zhǔn)確度低及容易受環(huán)境影響的問(wèn)題。形狀特征法是采用數(shù)學(xué)形態(tài)學(xué)方法檢測(cè)交通標(biāo)志內(nèi)核形狀的形態(tài)特征,能有效克服環(huán)境照度等條件的干擾,但卻較易受到外界噪聲的影響且計(jì)算耗時(shí)較長(zhǎng),該方法對(duì)自然環(huán)境交通標(biāo)志檢測(cè)的實(shí)用性較低[7]。目前,基于顏色特征和形狀特征檢測(cè)相結(jié)合的交通識(shí)別方法,可以綜合兩者的優(yōu)勢(shì)特點(diǎn)而規(guī)避其劣勢(shì),能夠達(dá)到較好的檢測(cè)速度和效果[8]。

總體而言,依賴圖像顏色及形狀特征進(jìn)行交通標(biāo)志識(shí)別的傳統(tǒng)方法,在簡(jiǎn)單方便性及識(shí)別速率上均有較大優(yōu)勢(shì),但該方法容易受到如光照強(qiáng)度、天氣及遮擋物等不可避免的外界因素干擾,導(dǎo)致其識(shí)別準(zhǔn)確性及可靠性不足以滿足無(wú)人駕駛等高智能交通系統(tǒng)的要求[9]。

1.2 基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別

盡管傳統(tǒng)的交通標(biāo)志識(shí)別技術(shù)得到一定發(fā)展,但是傳統(tǒng)算法在克服自然環(huán)境等因素影響方面仍然不盡人意,難以得出高可靠性、高準(zhǔn)確率的識(shí)別效果。基于此,諸多學(xué)者提出將以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法應(yīng)用于交通標(biāo)志識(shí)別,卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法與傳統(tǒng)機(jī)器識(shí)別算法的最大區(qū)別是:卷積神經(jīng)網(wǎng)絡(luò)可以一邊訓(xùn)練一邊提取特征,雙管齊下,能有效提高檢測(cè)與訓(xùn)練效率。這使得卷積神經(jīng)網(wǎng)絡(luò)在檢測(cè)性能和準(zhǔn)確性方面具有巨大優(yōu)勢(shì),尤其在光照增強(qiáng)、天氣狀況、物體遮擋和拍攝角度等復(fù)雜情況下進(jìn)行交通標(biāo)志識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)最具代表性的識(shí)別算法是Lecun等提出的手寫數(shù)字識(shí)別網(wǎng)絡(luò)LeNet-5網(wǎng)絡(luò),該網(wǎng)絡(luò)模型首次利用局部連接與權(quán)值共享的方式對(duì)輸入灰度圖像進(jìn)行特征提取,極大地降低了模型的訓(xùn)練復(fù)雜度,極大地提高了模型識(shí)別分類的準(zhǔn)確率[10]。隨后AlexNet網(wǎng)絡(luò)[11]、VGGNet網(wǎng)絡(luò)[12]相繼被提出,其主要特點(diǎn)是增加卷積層和連接層,以提高模型的分類識(shí)別能力。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,目前基于卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)模型主要分為單階段模型[13]和兩階段模型[14-15]。其中單階段模型是一種只需要通過(guò)一個(gè)深度卷積網(wǎng)絡(luò)就能夠直接識(shí)別目標(biāo)位置并完成分類任務(wù)的目標(biāo)檢測(cè)算法;兩階段模型則是需要先后通過(guò)兩個(gè)檢測(cè)器來(lái)分別完成提取目標(biāo)候選區(qū)域以及完成候選區(qū)的坐標(biāo)修正及目標(biāo)分類處理,才能夠?qū)崿F(xiàn)實(shí)現(xiàn)高精度檢測(cè),但由于流程復(fù)雜不可避免地導(dǎo)致檢測(cè)速度慢的問(wèn)題。

1.3 卷積神經(jīng)網(wǎng)絡(luò)交通標(biāo)志識(shí)別技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的設(shè)計(jì)靈感來(lái)源于生物學(xué)中的視覺(jué)系統(tǒng),通過(guò)模擬視覺(jué)皮層的處理方式,能夠自動(dòng)學(xué)習(xí)和提取圖像中的特征,是一種深度學(xué)習(xí)算法,被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域,尤其在圖像和視頻處理任務(wù)中取得了顯著的成果。CNNs的核心思想是利用卷積層和池化層來(lái)提取輸入圖像的特征,并通過(guò)全連接層進(jìn)行分類或回歸等任務(wù),實(shí)現(xiàn)圖像的識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于其能夠通過(guò)多個(gè)卷積層和池化層的組合,逐級(jí)提取輸入數(shù)據(jù)的高級(jí)特征標(biāo)識(shí)。這使得其在圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割和人臉識(shí)別等任務(wù)上表現(xiàn)出色。尤其在交通標(biāo)志識(shí)別上得到成功應(yīng)用。

近年來(lái),基于CNN的交通標(biāo)志檢測(cè)方法得到了越來(lái)越多研究者的認(rèn)可。相對(duì)于傳統(tǒng)方法,這種方法能有效減少主觀單一性并解決語(yǔ)義信息不充分的問(wèn)題,從而改進(jìn)目標(biāo)檢測(cè)效果,因此在實(shí)踐中被廣泛應(yīng)用。基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法可分為兩類:基于候選區(qū)域提取和基于端到端[16]。

基于候選區(qū)域提取是最早被提出并廣泛使用的方法。Krizhevsky A等[17]最早提出使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別,推動(dòng)了卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)領(lǐng)域的快速發(fā)展。2004年,Girshick R等[18]基于候選區(qū)域提取方法提出了R-CNN算法,該算法具備豐富的特征層次結(jié)構(gòu),并采用選擇搜索方式來(lái)選取候選框,實(shí)現(xiàn)了精確的對(duì)象檢測(cè)和語(yǔ)義分割。該算法在VOC 2012數(shù)據(jù)集上取得了53.3%的成績(jī)。Wang F等[19]對(duì)Faster R-CNN算法進(jìn)行了改進(jìn),應(yīng)用于交通標(biāo)志檢測(cè),提高了計(jì)算效率并實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)。為解決Fast R-CNN算法中的候選框問(wèn)題,Ren S等[20]提出了改進(jìn)的Faster R-CNN算法,改進(jìn)了候選框生成算法,提高了檢測(cè)效率和精度。盡管R-CNN系列算法在目標(biāo)檢測(cè)精度方面表現(xiàn)出色,但由于屬于兩階段檢測(cè)網(wǎng)絡(luò),檢測(cè)速度相對(duì)較慢,難以在實(shí)際交通標(biāo)志檢測(cè)中應(yīng)用。盡管基于候選區(qū)域提取的這些網(wǎng)絡(luò)經(jīng)過(guò)多次優(yōu)化和改進(jìn),在交通標(biāo)志檢測(cè)與識(shí)別上取得了良好應(yīng)用和理想的檢測(cè)精度,但其速度仍然不夠快,難以滿足實(shí)時(shí)性需求。

鑒于基于候選區(qū)域提取的卷積神經(jīng)網(wǎng)絡(luò)存在明顯的檢測(cè)實(shí)時(shí)性差的問(wèn)題,而實(shí)時(shí)檢測(cè)交通標(biāo)志在實(shí)際應(yīng)用場(chǎng)景中至關(guān)重要,因此引入了端到端的卷積神經(jīng)網(wǎng)絡(luò)以解決這一問(wèn)題。端到端的卷積神經(jīng)網(wǎng)絡(luò)具備出色的實(shí)時(shí)檢測(cè)能力,其中最為突出的是Redmon J等[21-23]提出的YOLO系列網(wǎng)絡(luò)。YOLO算法的應(yīng)用極大地提高了檢測(cè)速度,但相比Fast R-CNN算法,其檢測(cè)精度稍遜一籌。為解決這個(gè)問(wèn)題,Redmon等繼續(xù)提出了YOLOv2算法,通過(guò)優(yōu)化改進(jìn)提高了目標(biāo)檢測(cè)精度,2018年,在YOLOv2的基礎(chǔ)上提出了YOLOv3算法,利用殘差模型和FPN結(jié)構(gòu)顯著提高了檢測(cè)性能。盡管YOLOv3算法改善了目標(biāo)檢測(cè)效果,但對(duì)于小目標(biāo)的檢測(cè)效果仍不理想。為解決這個(gè)問(wèn)題,Bochkovskiy等[24]改進(jìn)了YOLOv3算法,提出了YOLOv4算法,進(jìn)一步提升了目標(biāo)檢測(cè)性能。因此,研究人員提出了一些輕量級(jí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型,如SSDLite[25]、YOLO-LITE[26]等。這些輕量級(jí)網(wǎng)絡(luò)通過(guò)壓縮模型參數(shù)來(lái)實(shí)現(xiàn)高效運(yùn)行,盡管在一定程度上犧牲了一些檢測(cè)精度,但對(duì)于設(shè)計(jì)輕量級(jí)且高性能的目標(biāo)檢測(cè)網(wǎng)絡(luò)具有重要的科研意義。隨后,為了應(yīng)對(duì)無(wú)人駕駛場(chǎng)景中交通標(biāo)志檢測(cè)精度低和實(shí)時(shí)性差等問(wèn)題,研究人員提出了改進(jìn)SSD網(wǎng)絡(luò)的交通標(biāo)志檢測(cè)方法[27]。此外,Yin等[28]使用YOLOv3的進(jìn)化版本中的YOLOv5網(wǎng)絡(luò),實(shí)現(xiàn)了對(duì)復(fù)雜背景下交通標(biāo)志的實(shí)時(shí)識(shí)別。這些研究中的算法具有良好的檢測(cè)實(shí)時(shí)性,彌補(bǔ)了基于候選區(qū)域提取的方法的不足,但這些端到端網(wǎng)絡(luò)在小目標(biāo)檢測(cè)方面的準(zhǔn)確率仍有待提高。由此可見(jiàn),卷積神經(jīng)網(wǎng)絡(luò)算法在交通標(biāo)志識(shí)別上盡管有出色的表現(xiàn),且相關(guān)算法的優(yōu)化推動(dòng)了該算法的性能,但是要全方位提升該算法的識(shí)別性能仍然存在諸多問(wèn)題,需要進(jìn)一步解決[29]。

2 結(jié)語(yǔ)

交通標(biāo)志識(shí)別技術(shù)能夠自動(dòng)識(shí)別交通標(biāo)志信息,為自動(dòng)駕駛等智能交通系統(tǒng)提供交通決策信息,是智能交通系統(tǒng)實(shí)施的關(guān)鍵環(huán)節(jié)。因此,近年來(lái)交通標(biāo)志識(shí)別技術(shù)得到廣泛研究和應(yīng)用,尤其基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方法在交通標(biāo)志檢測(cè)方面取得了顯著的進(jìn)展。與傳統(tǒng)方法相比,CNN方法能夠減少主觀單一性和解決語(yǔ)義信息不充分的問(wèn)題,從而提高了目標(biāo)檢測(cè)效果。在識(shí)別性能仍存在系列問(wèn)題亟須優(yōu)化,因此卷積神經(jīng)網(wǎng)絡(luò)先后提出了Faster R-CNN算法、YOLO系列算法以及SSDLite、YOLO-LITE等輕量化算法,旨在提高識(shí)別精度、計(jì)算速度和計(jì)算實(shí)時(shí)性,滿足在交通系統(tǒng)中的有效應(yīng)用。