趙 凱,張 森,李 杰,尤冬海
(1.鐵道警察學院 圖像與網(wǎng)絡偵查系,河南 鄭州450053;2.公安部交通管理科學研究所,江蘇 無錫214151)
隨著我國經濟高速發(fā)展,機動車保有量持續(xù)快速增長。據(jù)公安部統(tǒng)計,截至2017 年年底,全國機動車保有量達3.10 億輛,其中汽車達2.17 億輛,按類型分,載客汽車保有量達1.85 億輛,載貨汽車保有量達2341萬輛,增速均達到歷史新高。隨之而來的道路安全形勢越來越嚴峻,為保證道路安全,杜絕重特大事故發(fā)生,必須對中型和重型載客、貨汽車嚴格管理。依據(jù)《中華人民共和國道路交通安全法實施條例》第十三條要求,重型、中型載貨汽車及其掛車、拖拉機及其掛車的車身或者車廂后部應當噴涂放大的號牌,字樣應當端正并保持清晰。如未按照以上要求的,將依法處以警告或者20 元以上200 元以下罰款。但在現(xiàn)場執(zhí)法過程中,由于放大號牌在車輛尾部,發(fā)現(xiàn)時車輛已經快速駛離,管理、取證和處罰難度較大。隨著公安系統(tǒng)的天網(wǎng)工程建設逐步完善,道路監(jiān)控設備覆蓋越來越廣,利用電子卡口監(jiān)控設備,對車輛尾部噴涂放大號牌違章進行非現(xiàn)場執(zhí)法,可有效實現(xiàn),并達到依法取證、有效查處的目的。
本文提出一種基于卷積神經網(wǎng)絡的車輛尾部噴涂放大號牌檢測算法,首先采用窗口檢測器網(wǎng)絡對車輛尾部圖像進行檢測,得到可能的目標窗口,然后采用改進的AlexNet 網(wǎng)絡模型進行分類,對車輛車尾放大號牌檢測分類,算法針對不同車型進行了測試分析。經過實驗測試,提出的算法模型分類效果和泛化能力較好,檢測效果滿足實踐要求。
深度學習是通過建立和模擬人腦的學習分析問題的神經網(wǎng)絡,對數(shù)據(jù)進行解釋,為人們提供精確的識別和預測能力。目前深度學習逐漸廣泛應用于圖像分類、人臉識別、語音識別、自然語言處理等領域。特別在圖像分類領域,從2010 年開始,ImageNet大規(guī)模視覺識別挑戰(zhàn)賽(ILSVRC,ImageNet Large Scale Visual Recognition Challenge)每年舉行一次,在2012年,基于深度學習的AlexNet[1]網(wǎng)絡贏得了冠軍,把2010年接近30%的誤差率下降至15.4%,大幅提高了機器視覺的識別率。
對圖像中物體進行分類主要是研究圖像的特征描述。當前的車輛特征提取主要有傳統(tǒng)的人工經驗算法提取和深度學習算法提取。傳統(tǒng)的人工經驗算法的模型簡單,但是對圖像的旋轉、光線強度和圖像尺寸大小要求嚴格,并且算法的魯棒性較差。相較于傳統(tǒng)的人工經驗算法,深度學習算法采用層級連接的方式,對輸入圖像信號進行非線性建模,從而獲得圖像更本質性的表現(xiàn)特征,完全是數(shù)據(jù)驅動的“端到端”的學習,不依賴于人工設計的特征提取模型,能解決車輛在復雜自然場景下,位置不同、角度不同等所帶來的分類難題,并具有很好的魯棒性[2]?,F(xiàn)在用于車輛放大號牌的自動分類檢測的研究較少,在復雜道路場景下,車尾圖像參數(shù)不統(tǒng)一、車輛的放大號牌不規(guī)范,采用人工經驗算法提取的特征進行分類檢測的效果很差。
卷積神經網(wǎng)絡(CNN[3],Convolutional Neural Networks)是一種前饋人工神經網(wǎng)絡,與普通的神經網(wǎng)絡相似,是由可學習的權重和偏置常量的神經元組成。卷積神經網(wǎng)絡有很多層組成[4],其典型結構由輸入層、隱藏層和輸出層組成,其中隱藏層包含卷積層、池化層和全連接層。
圖1為經典的AlexNet網(wǎng)絡模型,它是Hinton和他的學生Alex 在參加ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽時提出的卷積神經網(wǎng)絡模型。該模型深度為8層,其中卷積層5 層,全連接層3 層,參數(shù)約60 MB個,具有約650K 個神經元,使用ReLU 函數(shù)作為激活函數(shù),使用了Dropout技術,在最后采用Softmax輸出概率值,按照概率的大小并設置門限來進行圖像分類。
車輛尾部放大號牌檢測網(wǎng)絡模型是一個判斷車輛尾部有無放大號牌的分類檢測網(wǎng)絡模型,實現(xiàn)該功能的流程如圖2 所示。在通常道路應用環(huán)境中,需要首先使用窗口檢測網(wǎng)絡對圖像進行車輛檢測[5],檢測為車輛尾部圖像后,接著對車輛類型進行分類,放大號牌只對中型和重型載客、貨車有要求,對分類后的車輛尾部圖片進行放大號牌的檢測。本文主要研究放大號牌的檢測網(wǎng)絡模型。
圖1 經典AlexNet網(wǎng)絡模型框架
圖2 車輛尾部放大號牌檢測流程
目前進行圖像分類的網(wǎng)絡算法有AlexNet 的8層,VGGNet[6]的19 層,GoogleNet[7]的22 層,甚至還有ResNet[8]的200 層,理論上層數(shù)越多分類效果越好,但效率也會降低。本文研究的車輛尾部放大號牌是二分類問題,類別較少,在注重效果的同時,需要更快的速度。因此,受AlexNet 網(wǎng)絡模型啟發(fā),本文構建了如圖3 的網(wǎng)絡模型。該網(wǎng)絡模型共有6層,其中4個卷積層和2個全連接層,去掉了原網(wǎng)絡中LRN(Local Response Normalization)層,使 用ReLU 函數(shù)作為激活函數(shù),為防止訓練數(shù)據(jù)過擬合,保留了全連接層的使用Dropout技術,但是去掉了最后一個全連接層,為了減少模型參數(shù),同時將原來較大的卷積核使用較小的核來實現(xiàn)。
該算法首先獲取分類后的車輛圖像信息,為了統(tǒng)一數(shù)據(jù)格式,將圖像大小轉換為256*256,并使用三通道(RGB)彩色圖片輸入到網(wǎng)絡中,然后經過4個卷積層和2個全連接層。第1、2個卷積層使用5*5的卷積核,可以減小參數(shù)并加快訓練、檢測速度,第3、4個卷積層使用3*3的卷積核,所有卷積層均使用ReLU 函數(shù)作為激活函數(shù),在全連接層中,為提高算法的泛化能力保留了Dropout技術,去掉最后一層全連接層,模型最后使用Softmax回歸進行概率分類。
為判斷網(wǎng)絡模型的可行性和通用性,算法模型驗證時,分為按車型分類的驗證和不按車型分類的驗證,然后分析檢測準確率,期望得到適合各種車型的網(wǎng)絡模型。按車型分類驗證時,把車型分為重型貨車、大客車和中型客貨車三類,將三類車輛圖像集分別進行訓練測試,然后得到模型的檢測準確率,從而判斷模型的可行性。不按車型分類驗證時,將三類車型樣本集混合打亂,進行訓練,然后對三類車型分別測試,得到模型的檢測準確率,從而分析模型的通用性。
實驗數(shù)據(jù)集來源于某地高速路車輛圖像信息,由于負樣本較難獲取,故實驗未使用大量的數(shù)據(jù)。實驗數(shù)據(jù)集中,重型貨車圖片1000 張,其中無噴涂樣本500 張;大客車圖片1000 張,其中無噴涂樣本500 張;中型客貨車圖片1000 張,其中無噴涂樣本500 張。實驗測試集中,三類車型樣本各250 張,其中無噴涂樣本各125張。
本實驗使用的環(huán)境是Ubuntu 16.04,使用單個NVIDIA的Tesla系列P4的GPU,是基于Caffe的深度神經網(wǎng)絡平臺。訓練時初始學習率為10-3,動量為0.9,權重衰減量為0.05,塊大小為32,正則化系數(shù)為10-3。
為驗證所提出的算法的可行性和有效性,針對三種不同車型,分別使用經典AlexNet 和本文改進AlexNet 網(wǎng)絡模型進行了驗證對比。表1~4,在不同的場景下,給出了兩個算法的檢測速率、召回率和準確率。
圖3 放大號牌檢測網(wǎng)絡模型
表1 重型貨車的經典AlexNet和改進AlexNet算法的比較
表2 大型客車的經典AlexNet和改進AlexNet算法的比較
表3 中型客貨車的經典AlexNet和改進AlexNet算法的比較
表4 混合車型的經典AlexNet和改進AlexNet算法的比較
經典AlexNet 和本文改進AlexNet 算法,在車輛放大號牌檢測中檢測準確率均超過83%,說明算法模型可行。分析數(shù)據(jù)發(fā)現(xiàn),重型貨車由于車輛外觀整潔度較差,放大號牌部分不清晰,導致檢測準備率較低;大型客車負樣本中,小部分車尾部車窗部分粘貼有廣告信息,導致檢測出錯;中型客貨車,外觀整潔,車尾無干擾因素,故檢測準確率較高。
在算法效果上,本文從檢測速率、召回率和準確率方面進行分析。在檢測速率方面,經典AlexNet每秒檢測4.6張圖片,改進的AlexNet可檢測每秒6.3張。改進的AlexNet 網(wǎng)絡結構比經典AlexNet 的少1個卷積層和一個全連接層,因此改進的AlexNet 檢測速率較快。在召回率方面,在二分類的應用場景下,由于兩者的網(wǎng)絡結構和采用的技術類似,兩者的召回率基本一樣,改進的AlexNet刪減了LRN層,得到的召回率相對略高。在準確率方面,改進的AlexNet網(wǎng)絡,車輛的二分類場景中,選用2層5*5的卷積核和2 層3*3 的卷積核更為合適,并且每個卷積層中具有池化層,算法的特征獲取更好,且算法的泛化能力更強,因此改進的AlexNet 檢測準確率更高。
本文提出了一種基于卷積神經網(wǎng)絡的車輛尾部放大號牌檢測方法,設計了基于改進的AlexNet網(wǎng)絡模型的放大號牌的檢測分類算法,并通過不同車型場景對算法的可行性進行驗證,然后通過混合車型數(shù)據(jù)集對算法進行通用性和有效性驗證。實驗證明,提出的算法模型速率具備較好的泛化能力,算法效率和準確率能夠滿足實踐要求。但算法在部分型號車尾玻璃窗粘貼大幅面廣告場景下,準確率有一定的下降,這將是算法改進的一個方向。