歐華杰
(北京市海淀區(qū)職工大學(xué),北京 100083)
交通管理現(xiàn)狀與需求矛盾的進一步加劇,使每年偽造車牌、肇事逃逸、車輛違章行駛、機動車輛偷盜、遮擋車牌以及套牌車輛的違法案例越來越多[1]。為適應(yīng)我國現(xiàn)代化智能交通建設(shè)的需要,針對交通道路車輛實時運行情況監(jiān)控,因此提出基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)研究[2]?;诰矸e神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)能夠滿足目前治安卡口對車牌識別需求,對來往車輛車牌與類型快速識別,并判斷車輛的合法情況,對違法犯罪車輛自動報警,同時提供查詢功能,快速查詢歷史過往車輛信息、自動生成和導(dǎo)出車輛統(tǒng)計信息,方便操作人員對道路安全進行監(jiān)控[3]。研究過程中,考慮到車輛行駛過程中對周圍環(huán)境信息實時性檢測需求,根據(jù)所檢測到不同類型障礙物采取處理,快速完成不同環(huán)境下車輛識別。
依據(jù)卷積神經(jīng)網(wǎng)絡(luò)特點,車輛識別模型設(shè)計不同網(wǎng)絡(luò)層,通過設(shè)置模型層數(shù)與超參數(shù)影響整體模型訓(xùn)練過程和最終性能。模型以滿足實際應(yīng)用性為基礎(chǔ),使用五個卷積層模塊結(jié)構(gòu),后面緊跟若干個全連接層[4]。在各卷積層中加入不同模塊,加深卷積層內(nèi)部網(wǎng)絡(luò)深度效果,整體全連接層提取能夠更多全局信息[5]。基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別模型示意圖,如圖1所示。
模型包含五個卷積層與兩個圈連接層,將局部信息卷積層特征映射到全連接層,實現(xiàn)網(wǎng)絡(luò)中間部分特征圖不變條件下,實現(xiàn)整體網(wǎng)絡(luò)對任意大小輸入處理。
第一層卷積層示意圖,如圖2所示。
在第一卷積層中,提取圖像大小為224*224*3,卷積核尺寸是3*3,卷積核個數(shù)為32??刂频谝粚泳矸e層參數(shù)量,使用ReLU激活函數(shù),經(jīng)第一層處理后,得到車輛識別最大采樣操作大小為112*112*32的特征圖[6]。
經(jīng)第一卷積層處理后,進入第二卷積層處理,其結(jié)構(gòu)圖,如圖3所示。
第二卷積層操作滑動步長為2,且不使用下層采樣層。其卷積核大小為3*3,卷積核個數(shù)為64,將特征圖尺寸降為56*56,使用ReLU激活函數(shù),最終得到處理后特征車輛圖像尺寸為56*56*64的細節(jié)特征圖像[7]。
模型中第三、第四卷積層操作與第二卷積層操作相同,但卷積層核個數(shù)上升為128和256個;第五卷積層操作與第一卷積層操作相同,但卷積層個數(shù)升為512。
經(jīng)各卷積層處理后,形成不同等級特征提取,構(gòu)成基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別模型。
模型提取車輛數(shù)據(jù)信息后,用卷積核輸入原始圖像,得到卷積圖結(jié)果加偏位置第一層特征圖。隨后得到池化過程,將池化窗口內(nèi)像素相加,通過激活函數(shù)與權(quán)值加權(quán)與加偏,得到原始圖像縮小圖像特征圖[8]。
在車輛圖像卷積過程中,C1卷積層采用6個5*5大小卷積核對大小為256*256的輸入圖像進行卷積,得到C1層輸出大小為252*252的6張?zhí)卣鲌D。該層計算參數(shù)量為6*(5*5+1)=156。得到特征圖大小為:
式中:
W—輸入圖像大小為W×W,其卷積核大小為F×F;
P—填充像素個數(shù);
S—卷積核步長。
圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別模型示意圖
圖2 模型網(wǎng)絡(luò)C1層結(jié)構(gòu)示意圖
圖3 模型網(wǎng)絡(luò)C2層結(jié)構(gòu)示意圖
基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別模型存在大量數(shù)據(jù)樣本,將常見的將小汽車、公交車與貨車分為三個類型,數(shù)據(jù)來源以Stanford Cars Dataset車輛數(shù)據(jù)集、BITVehicle Dataset車輛數(shù)據(jù)集為主,部分缺失數(shù)據(jù)自制補充[9]。Stanford Cars Dataset車輛數(shù)據(jù)集中包括16 185張車輛樣本信息,其中含有8 041張測試樣本與8 144張訓(xùn)練樣本,并含有車輛位置標注信息[10]。BIT-Vehicle Dataset車 輛 數(shù) 據(jù) 集 中 包 含Bus,Microbus,Minivan,Sedan,SUV和Truck六種類別,作為數(shù)據(jù)補充[11]。在兩種數(shù)據(jù)集中包含貨車與公交車樣本數(shù)據(jù)較少,因此自制數(shù)據(jù)庫以構(gòu)建貨車與公交車樣本數(shù)據(jù)集為重點。
考慮到分類過程中,不同天氣和環(huán)境變化對車輛分類有很大的影響,采集不同光照、天氣與環(huán)境條件下車輛圖像作為訓(xùn)練數(shù)據(jù)來訓(xùn)練分類網(wǎng)絡(luò),滿足卷積神經(jīng)網(wǎng)絡(luò)識別模型訓(xùn)練需求[12]。為避免過度擬合現(xiàn)象。在模型中輸入大量樣本數(shù)據(jù)后,使用數(shù)據(jù)增強方式擴大數(shù)據(jù)庫。自制樣本輸入數(shù)據(jù)后,存儲樣本車輛縮放變換圖像、平移變換圖像、對比度變換圖像以及噪聲擾動圖像,方便識別過程中提取各種環(huán)境下不同車輛圖像[13]。
由于不同數(shù)據(jù)集標簽信息不一致,因此對提取車輛特征標簽實現(xiàn)統(tǒng)一化處理,將樣本統(tǒng)一轉(zhuǎn)化為PASCAL VOC的數(shù)據(jù)集的格式,如表1所示。
表1 數(shù)據(jù)樣本格式
其中,數(shù)據(jù)樣本格式中目標類型中0為背景、1類別為小汽車、2為公交車、3為貨車。后面目標位置分別為目標圖像左上角與右上角坐標值[14]。
在輸入圖像后,經(jīng)第一卷積層后得到特征圖大小將變成55x55,同時將步長減到2[15]。修改后網(wǎng)絡(luò)結(jié)構(gòu),如表2所示。
表2 AlexNrt結(jié)構(gòu)
根據(jù)車輛AlexNrt結(jié)構(gòu)不同,完成車輛提取特征圖信息分類。
利用修改后網(wǎng)絡(luò)結(jié)構(gòu)進行batch_size進行訓(xùn)練,采用SoftMax損失函數(shù),依據(jù)圖像的局部信息相關(guān)性,盡可能的保留圖像的特征。車輛特征提取過程,如圖4所示。
特征圖像經(jīng)前三層卷積層處理后,提取到包含輪廓和紋理在內(nèi)的低層次圖像特征。后面兩層卷積層根據(jù)車輛不同區(qū)域具有不同的統(tǒng)計特征的不共享參數(shù),充分提取不同車輛位置的特征信息,得到數(shù)據(jù)庫中相關(guān)信息與不同位置間的相關(guān)性,得到最終分類結(jié)果。
局部卷積核對車輛識別進行有效特征分類,使網(wǎng)絡(luò)在訓(xùn)練時需要訓(xùn)練參數(shù)量大大增加,提高網(wǎng)絡(luò)訓(xùn)練時計算量。通過觀察通用圖像識別網(wǎng)絡(luò)定義車輛不同關(guān)鍵區(qū)域,車輛特征提取示意圖,如圖5所示。
圖4 車輛特征提取過程
得到提取特征后,提取數(shù)據(jù)庫中對應(yīng)區(qū)域訓(xùn)練得到不共享卷積參數(shù),使相互獨立的網(wǎng)絡(luò)只在他們所對應(yīng)的區(qū)域上進行訓(xùn)練。最終將大卷積核改為多個小卷積核后AlexNet。得到車輛關(guān)鍵區(qū)域特征識別網(wǎng)絡(luò),如表3所示。
根據(jù)車輛關(guān)鍵區(qū)域特征識別,完成車輛特征識別,同時提取數(shù)據(jù)庫中車輛信息,完成卷積神經(jīng)網(wǎng)絡(luò)的車輛識別。
設(shè)計仿真實驗對比基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)、基于視頻圖像處理的車輛識別技術(shù)的在相同實驗環(huán)境下識別結(jié)果準確率。實驗硬件測試環(huán)境采用常見交通管理系統(tǒng)硬件,其配置如表4所示。
實驗選取包括21個品牌,總共356款車型在內(nèi)的車輛圖像7 086張,將識別樣本分為10個測試集,車輛拍攝環(huán)境不同,存在白天、黑夜、陰天等多種拍攝環(huán)境。測試兩種技術(shù)對不同環(huán)境下車輛識別結(jié)果,取多個測試集結(jié)果平均值,對比兩組車輛測試結(jié)果準確性。
圖5 車輛特征提取示意圖
表3 車輛關(guān)鍵區(qū)域特征識別網(wǎng)絡(luò)
實驗結(jié)果選取包括十字路口、夜晚、雨雪等幾種較為常見的復(fù)雜車輛行駛環(huán)境,實驗過程中兩種技術(shù)準確率隨著訓(xùn)練迭代次數(shù)變化而變化,其基于視頻圖像處理的車輛識別技術(shù)識別結(jié)果,如表5所示。
分析表5數(shù)據(jù),得到基于視頻圖像處理的車輛識別技術(shù)準確率,如圖6所示。
表4 實驗硬件運行環(huán)境
表5 基于視頻圖像處理特定路況車輛識別情況
圖6 基于視頻圖像處理的車輛識別技術(shù)準確率
分析圖6可以看出,基于視頻圖像處理的車輛識別技術(shù)在不同場景車輛識別結(jié)果存在一定差異,且對不同類型車輛識別也存在一定差異。該技術(shù)識別結(jié)果在晴天環(huán)境下對不同類型車輛識別準確度最好,但在雪天與雨天識別環(huán)境下識別準確度最低。且在識別過程中,在雪天對白色車輛識別效果最差,其準確率隨著測試車輛數(shù)量增加而降低,且受到無法很好抵抗外界環(huán)境干擾,無法滿足不同環(huán)境下不同類型車輛識別需求。
而基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)識別結(jié)果,如表6所示。
分析表6數(shù)據(jù),得到基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)識別準確率。如圖7所示。
表6 基于卷積神經(jīng)特定路況車輛識別情況
圖7 基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)識別準確率
分析圖7可以看出,基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)受不同場景環(huán)境影響較小,且對不同類型車輛識別不會受到場景影響,能夠較好抵抗外界環(huán)境干擾。在較為惡劣環(huán)境下,識別結(jié)果較為穩(wěn)定。隨著測試車輛數(shù)量增加,其識別準確性不會受到外界因素影響,能夠有效滿足不同環(huán)境下不同類型車輛識別需求,從而證明研究有效性。
在大數(shù)據(jù)技術(shù)廣泛應(yīng)用下,智慧交通系統(tǒng)作為精準識別車輛信息的一種重要手段,在基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別技術(shù)研究過程中,以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),針對不同環(huán)境下車輛進行詳細車型識別,提取車輛信息與車輛異常情況,滿足實際應(yīng)用需求。