安徽理工大學(xué)電氣與信息工程學(xué)院 張 狀
交通標(biāo)志識別是智能交通系統(tǒng)的一個(gè)重要研究方向,也是未來無人駕駛發(fā)展的關(guān)鍵一環(huán)。特別是針對存在外部因素影響的情況下,比如光照、遮擋等,一個(gè)準(zhǔn)確性高、魯棒性強(qiáng)的交通標(biāo)志識別系統(tǒng)急需出現(xiàn),可以有效的減少交通事故的發(fā)生,保障人身安全和社會財(cái)產(chǎn)。本文介紹了交通標(biāo)志識別技術(shù)的發(fā)展背景,交通標(biāo)志相關(guān)數(shù)據(jù)集的介紹,和利用深度學(xué)習(xí)關(guān)于交通標(biāo)志識別的技術(shù)研究,最后總結(jié)了交通標(biāo)志識別技術(shù)的前景和發(fā)展趨勢。
現(xiàn)如今社會經(jīng)濟(jì)發(fā)展蓬勃,以汽車為代表的制造業(yè)蒸蒸日上,自動駕駛、無人駕駛也逐步出現(xiàn)并且進(jìn)入商業(yè)應(yīng)用,交通標(biāo)志識別對行車安全至關(guān)重要,因此必須解決交通標(biāo)志的識別問題。在智能交通系統(tǒng)中交通標(biāo)志識別系統(tǒng)發(fā)揮著無可替代的作用,其可以在駕駛員安全行駛中起到保障作用,減少事故發(fā)生率。交通標(biāo)志識別系統(tǒng)主要由兩個(gè)核心技術(shù)構(gòu)成,分別是交通標(biāo)志的檢測和交通標(biāo)志的識別。交通標(biāo)志的檢測包含獲取原始圖像、對原始圖像做預(yù)處理和閾值分割;交通標(biāo)志的識別又分為對交通標(biāo)志的特征提取和標(biāo)志的分類兩種。交通標(biāo)志識別系統(tǒng)首先是檢測,然后是識別,兩者相輔相成才能得到準(zhǔn)確的識別效果。
國內(nèi)外近些年都在大力發(fā)展無人駕駛技術(shù),標(biāo)志著傳統(tǒng)汽車行業(yè)新的研究方向,無人駕駛技術(shù)上的關(guān)鍵環(huán)節(jié)交通標(biāo)志識別技術(shù)便成了各國學(xué)者爭先恐后的研究對象。在各國研究人員的努力下,圖像的分類與識別已經(jīng)有了階躍性發(fā)展,識別方式也由傳統(tǒng)圖像識別向深度學(xué)習(xí)識別轉(zhuǎn)變,并且在一些領(lǐng)域已經(jīng)得到了證實(shí)與應(yīng)用。傳統(tǒng)的交通標(biāo)志識別算法主要分為對原始圖像進(jìn)行特征提取和機(jī)器學(xué)習(xí)兩種。算法步驟是首先找到原始圖像中自己感興趣的區(qū)域,并對圖像進(jìn)行預(yù)處理,通過算法提取區(qū)域的相關(guān)特征,之后利用這些特征通過計(jì)算機(jī)訓(xùn)練來得到分類器,最后用分類器來對交通標(biāo)志圖像進(jìn)行匹配從而達(dá)到識別的目的。
卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中的非常經(jīng)典的一個(gè)網(wǎng)絡(luò)結(jié)構(gòu),主要由卷積層、采樣層與全連接層構(gòu)成,非常適合解決圖像處理問題。通過不斷地提取原始圖像特征,降低維度較大的特征,經(jīng)過全連接層輸出自己想要的結(jié)果,圖1所示為卷積神經(jīng)網(wǎng)絡(luò)示意圖。利用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行交通標(biāo)志識別也取得了豐碩的成果。在2011年國際神經(jīng)網(wǎng)絡(luò)聯(lián)合大會上,Schmidhuber等用卷積神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志效果,標(biāo)志識別準(zhǔn)確度高達(dá)98.31%,而人眼識別交通標(biāo)志的準(zhǔn)確率為98.84%,令人們感到震驚。
圖1 卷積神經(jīng)網(wǎng)絡(luò)示意圖
約束交通標(biāo)志識別技術(shù)發(fā)展的一個(gè)重要因素就是缺少相關(guān)的數(shù)據(jù)集,因?yàn)槿鄙俦匾臄?shù)據(jù)集,很多研究成果無疾而終,當(dāng)然也有很多成果是研究人員在自己所創(chuàng)造的數(shù)據(jù)集中完成的,并且取得了不錯的效果。僅有的幾個(gè)數(shù)據(jù)集包括德國的GTSRB數(shù)據(jù)集、瑞典的STS數(shù)據(jù)集等。GTSRB數(shù)據(jù)集的圖像樣本包括了43種交通標(biāo)志類別,大約有5萬多張樣本,囊括了大部分的交通標(biāo)志圖像。樣本中有著不同光照亮度、不同旋轉(zhuǎn)角度以及傾斜遮擋的照片,非常貼近實(shí)際,識別難度也相當(dāng)高,圖2顯示的GTSRB數(shù)據(jù)集中的圖像。在2015年,中國公布了第一個(gè)屬于國內(nèi)的交通標(biāo)志數(shù)據(jù)集,這就是由清華大學(xué)與騰訊公司聯(lián)合研發(fā)的Tsinghua-Tencent 100K數(shù)據(jù)集。該數(shù)據(jù)集總共由超過10萬幅圖像組成,其中涉及到交通標(biāo)志的大約有1萬幅左右,并且圖像都很清晰且貼合日常實(shí)際。
圖2 GTSRB數(shù)據(jù)集中的交通標(biāo)志樣例
LeNet-5網(wǎng)絡(luò)是一個(gè)7層的神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)模型較為簡單,對交通標(biāo)志這種多類別的圖像分類識別,準(zhǔn)確率不高,因此研究者通過增加網(wǎng)絡(luò)的深度來提高準(zhǔn)確率。汪貴平等人(汪貴平,盛廣峰,黃鶴,等.基于改進(jìn) Le Net-5 網(wǎng)絡(luò)的交通標(biāo)志識別方法)在傳統(tǒng)LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入Inception卷積模塊組,改變卷積核的大小和數(shù)目,并且增加網(wǎng)絡(luò)的深度,引入批量歸一化算法來防止隨著網(wǎng)絡(luò)層次加深而引起的過擬合和梯度消失等問題。改進(jìn)的LeNet-5網(wǎng)絡(luò)在BelgiumTSC交通標(biāo)志數(shù)據(jù)集上的識別率達(dá)到了98.51%。張猛等人(張猛,錢育蓉,杜嬌,范迎迎.基于改進(jìn)的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)交通標(biāo)志的識別)對原有的LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),通過改變卷積核大小、增加卷積核個(gè)數(shù)、添加Dropout層可以有效地增加信息來源,減少重要特征的丟失,并且減少了過度擬合,能夠更好地識別交通標(biāo)志。
膠囊神經(jīng)網(wǎng)絡(luò)于2017年10月份在機(jī)器學(xué)習(xí)的頂級會議‘神經(jīng)信息處理系統(tǒng)大會(NIPS)’由Hinton教授提出來的。它由卷積神經(jīng)網(wǎng)絡(luò)發(fā)展而來,但在結(jié)構(gòu)上與卷積神經(jīng)網(wǎng)絡(luò)有所不同,主要是膠囊神經(jīng)網(wǎng)絡(luò)在卷積層后面加入了兩個(gè)新層來代替卷積神經(jīng)網(wǎng)絡(luò)中的采樣層,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
程換新等人(程換新,郭占廣,劉文翰,張志浩.基于膠囊神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別研究)引用膠囊神經(jīng)網(wǎng)絡(luò)來進(jìn)行交通標(biāo)志識別,在GTSRB數(shù)據(jù)集上進(jìn)行訓(xùn)練,并提出由輸入層、卷積層、基礎(chǔ)膠囊層、數(shù)字膠囊層、全連接層、輸出層組成的交通信號識別模型,得到收斂于98.51%的準(zhǔn)確度,并證明了使用膠囊神經(jīng)網(wǎng)絡(luò)的方法可以改善識別率低,訓(xùn)練速度慢的問題。但膠囊神經(jīng)網(wǎng)絡(luò)仍處于起步階段,存在一定的穩(wěn)定問題,還有很大的提升空間。
YOLOv3算法在交通標(biāo)志識別中把目標(biāo)檢測的幾個(gè)部分整合到一個(gè)深度神經(jīng)網(wǎng)絡(luò)中,采用一個(gè)獨(dú)立的CNN模型實(shí)現(xiàn)端到端的目標(biāo)檢測。首先要做預(yù)處理,將輸入圖片尺寸進(jìn)行歸一化處理,然后把處理過后的圖片放進(jìn)CNN網(wǎng)絡(luò),最后通過卷積池化等操作預(yù)測結(jié)果得到想要的檢測的目標(biāo)。白士磊等人(白士磊,殷柯欣,朱建啟.輕量級YOLOv3的交通標(biāo)志檢測算法)在算法上對YOLOv3進(jìn)行優(yōu)化以提升對小目標(biāo)檢測的性能,改進(jìn)后的YOLOv3使用4個(gè)比例來檢測不同大小的目標(biāo),并使用8倍下采樣的特征圖來檢測小目標(biāo)。同時(shí)通過規(guī)整的通道剪枝策略,在訓(xùn)練期間通過對網(wǎng)絡(luò)BN層Gamma系數(shù)施加L1正則約束,使得模型朝著結(jié)構(gòu)性稀疏的方向調(diào)整參數(shù),改進(jìn)后的YOLOv3在交通標(biāo)志識別方面準(zhǔn)確率提升顯著。張鐘文等人(張鐘文,高宇,王靜,曹登平.基于YOLOv3的深度學(xué)習(xí)交通標(biāo)志識別系統(tǒng))則首先對原始的TT100K進(jìn)行數(shù)據(jù)擴(kuò)充,來增加樣本的多樣性,同時(shí)修改目標(biāo)類型數(shù)量,使用ADAM優(yōu)化器對神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行優(yōu)化,達(dá)到識別精確率為80%,顯然交通標(biāo)志識別的準(zhǔn)確率還有很大的改善空間。
結(jié)語:交通標(biāo)志識別技術(shù)是智能交通系統(tǒng)中不可或缺的部分,扮演著十分重要的角色,在未來無人駕駛和智能駕駛有著非常廣闊的研究前景和應(yīng)用價(jià)值。交通標(biāo)示識別技術(shù)的發(fā)展日新月異,已經(jīng)不局限使用傳統(tǒng)方法還是深度學(xué)習(xí),更多地是兩者混合使用,可以體現(xiàn)出每種算法的優(yōu)點(diǎn)。目前交通標(biāo)志檢測算法在數(shù)據(jù)集上已經(jīng)碩果累累,在深度學(xué)習(xí)中也得到巨大發(fā)展,加之有著很好的前景,已經(jīng)有越來越多的學(xué)者開始進(jìn)行研究,不過只有在現(xiàn)實(shí)生活中得到安全高效的運(yùn)用才是交通標(biāo)志識別技術(shù)的根本性突破。對交通標(biāo)志識別技術(shù)的研究將大大推動無人駕駛技術(shù)、汽車輔助系統(tǒng)的發(fā)展,必將成為惠及群眾的重要科技手段。
圖3 膠囊神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)