鐘玲 于雅潔 張志佳 靳永超
摘 要:交通標志識別作為典型的機器視覺應用,已有多種機器視覺算法得到廣泛的應用。卷積神經網絡能夠避免顯式的人工特征提取過程,因此本文引入卷積神經網絡為交通標志進行識別研究,并與BP神經網絡、支持向量機進行對比實驗,通過對實驗結果的理解與分析,可以得出卷積神經網絡在識別率及訓練速度上均顯著高于另兩種算法,并能取得最佳的識別效果。
關鍵詞:BP神經網絡;支持向量機;卷積神經網絡;交通標志
中圖分類號:TP393.0 文獻標識碼:A
1 引言(Introduction)
交通標志識別是圖像處理和模式識別領域的一個研究熱點,廣泛應用于無人駕駛汽車、車載導航等領域,具有很強的實際應用價值[1]。雖然交通標志的圖形結構較為簡單,但對自然環(huán)境下的交通標志進行識別,面臨著遮擋、噪聲、光照多變性、形狀失真等多方面的嚴峻挑戰(zhàn),因此交通標志識別是模式識別領域的重點研究內容之一[2]。
本文采用三種常見的機器學習方法對交通標志進行識別,分別是卷積神經網絡(CNN)、BP神經網絡和支持向量機(SVM)。通過在同一個交通標志樣本集上進行實驗,根據識別率及運行時間對實驗結果進行對比分析。
2 三種機器學習方法簡述(Three kinds of machine
learning methods)
2.1 卷積神經網絡(CNN)
卷積神經網絡是近年發(fā)展起來,并引起廣泛重視的高效識別方法,由于其能夠直接輸入原始圖像,避免了對圖像的復雜前期處理,成為眾多科學領域的研究熱點[3]。
卷積神經網絡的基本結構一般包括兩層:卷積層和子采樣層。每一個卷積層后有一個用來求局部平均與二次提取的子采樣層,這種特有的兩次特征提取結構減小了特征分辨率,減少計算時間。此外,由于一個映射面上的神經元共享權值,因而減少了網絡自由參數的個數[4]。局域感受野、權值共享和子采樣,是卷積神經網絡實現位移、縮放、扭曲不變性的三種方法。
2.2 BP神經網絡
BP神經網絡是一種按誤差逆?zhèn)鞑W習算法訓練的多層前饋網絡,能學習和存貯大量的輸入—輸出模式映射關系,是目前應用最為廣泛的神經網絡模型之一。
BP神經網絡的學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播的方向為輸入層→隱層→輸出層,每層神經元的狀態(tài)只影響下一層神經元,在輸出層獲得響應,若實際輸出與期望輸出不符,則進入誤差反向傳播階段。誤差反向傳播階段是從輸出層經過隱層向輸入層反傳,并逐層修正權值,不斷提高正確率[5,6]。兩個過程的交替進行,是網絡誤差函數達到最小值,從而完成信息提取和記憶過程。
2.3 支持向量機(SVM)
支持向量機是通過最大化分類間隔或邊緣提高分類性能,主要針對小樣本情況,通過訓練一組稱為支持向量的特征子集,使得對支持向量機的線性劃分等同于對整個數據集的分割,既降低了運算復雜度,又保證了分類識別的精度[7]。SVM使用核函數進行預測,可以避免BP算法中的局部極值和過學習問題,同時具有很強的學習能力和泛化性能,利用優(yōu)化方法得到的結果是全局最優(yōu)解,能有效加快訓練過程。
3 仿真實驗及分析(Simulation experiments and
analysis)
本文的實驗數據來源于GTSRB數據庫,如圖1所示,是德國交通標志識別基準,專門用于交通標志識別研究的數據庫。從該數據庫中隨機選取500個(共10類)圖像為訓練樣本,再隨機取100個(每類10個)圖像作為測試數據,其中所有樣本大小均為28*28。
圖1 部分樣本圖片
Fig.1 Partial sample image
3.1 卷積神經網絡識別交通標志
由于卷積神經網絡可直接處理原圖像,并不需要對原始圖像做過多的預處理,所以本實驗直接將28*28大小的圖片輸入到卷積神經網絡中。同時,根據卷積神經網絡的結構特征,確定卷積核大小、網絡層數、批量訓練樣本數、神經網絡迭代次數、卷積層的特征圖數為本實驗中的重點。
(1)卷積核大小及網絡的確認
卷積核是進行卷積運算時的權值矩陣,行列均為奇數,且為對稱的,如3×3、5×5、7×7。卷積核的作用是提取輸入圖像的特征,因此提取出的特征與卷積核的大小息息相關。若使用3×3的卷積核,網絡的層數相對增加,系統(tǒng)工作時間增加;若使用5×5的卷積核,網絡層數可為4層;若使用7×7的卷積核,雖然網絡結構變小,但是提取的特征不具有代表性。因此,本實驗采取5×5的卷積核大小。
(2)批量訓練樣本數、迭代次數及特征圖數的確定
由于本實驗的訓練樣本較多,因此將全部訓練樣本分成若干組,每組單獨訓練,批量訓練樣本的個數以5的倍數遞增,根據實驗,批量訓練樣本數越少,正確率越高,所以本實驗的批量訓練樣本數為5。在此基礎上,對迭代次數進行測試,可知迭代次數越多,識別率越高,且時間花費較長,綜合時間與識別率,本實驗設置迭代次數為20。通過設第一個及第二個卷積層的特征圖數的取值范圍均為[7-10],依次組合,根據實驗的最高識別率得出最優(yōu)組合。實驗結果如圖2所示。
根據圖2可知,當第一個卷積層的特征圖數取4,第二個卷積層的特征圖數取8時,該卷積神經網絡的識別率能達到最高為93%,且運行時間為5min。
圖2 卷積神經網絡識別結果
Fig.2 Recognition results of CNN
3.2 BP神經網絡識別交通標志
(1)圖像預處理
預處理的目的是提高圖像對比度,增強有用信息。本實驗的預處理操作是灰度轉換(自適應閾值法)及二值化。
(2)特征提取
特征提取是通過降維獲得最能反映樣本本質的低維特征。本實驗采用粗網格特征提取。首先采用最臨近插值法將樣本縮放至70×50,再將樣本劃分成10×10大小的網格,統(tǒng)計每個網格中像素值,形成35維的特征向量。
(3)BP神經網絡的設計
BP算法可應用于四層或更多的前饋網絡,卻更易陷入局部極小點而不收斂,因此選用三層BP網絡,同時選用有動量因子介入的訓練方法,避免陷入局部極小值。
對于激勵函數的選擇,通常采用對數S函數、雙曲正切S函數及線性函數。MATLAB中提供三種傳遞函數與上述激勵函數相對應:logsog函數、tansig函數和線性purelin函數。鑒于本文實驗輸出,選用tansig函數。
迄今為止,對隱含層節(jié)點數目的選擇仍無法用完備的理論解決,但是要在滿足精度要求下盡可能緊湊神經網絡的結,即盡可能減少隱層節(jié)點數。一般情況下,隱層結點個數根據具體訓練結果確定。
對于訓練函數的選擇,本文采用traingdx函數,是在動量法的基礎上集合自適應學習速率法,自動調節(jié)學習率,能夠有效縮短訓練時間。
設置本實驗的最大迭代次數1000,期望目標1e-5,動量因子0.95。實驗結果詳見表1。
表1 BP神經網絡實驗結果
Tab.1 Recognition results of BP neural network
BP神經網絡 識別率 識別時間
神經網絡1 73% 20min
神經網絡2 74% 23min
神經網絡3 75% 24min20s
神經網絡4 76% 22min
神經網絡5 77% 27min
神經網絡6 79% 22min50s
上述實驗結果表明,本實驗所建立的BP神經網絡在該測試集上的最高識別率為79%,且識別時間為22min50s。
3.3 支持向量機識別交通標志
為解決交通標志的多分類問題,本文將多個兩類SVM分類器組合在一起實現多類分類,即1-a-1的多類分類方法來解決手寫體數字的分類識別問題。
由于SVM是一種基于核的機器學習方法,核函數和核參數對SVM的性能影響較大,本文采用高斯核函數(RBF核函數,也稱徑向基函數)的SVM分類器,具有較強的學習能力。
目前常用的核參數選擇方法是網格搜索法,利用二維網格每個節(jié)點作為一組候選核參數,然后利用交叉驗證方法獲取各組核參數的驗證精度,選擇驗證精度最高的核參數作為最優(yōu)核參數[8]。啟發(fā)式算法能夠更快的尋找到全局最優(yōu)解,而不用遍歷所有參數點,即遺傳算法參數尋優(yōu)和粒子群優(yōu)化算法參數尋優(yōu)。遺傳算法參數尋優(yōu)是將訓練集進行交叉驗證下的準確率作為遺傳算法中的適應度函數值;粒子群優(yōu)化算法參數尋優(yōu)是計算智能領域蟻群算法外的另外一種基于群體智能的優(yōu)化算法,不用進行選擇、交叉、變異的操作。
本實驗的訓練集是依次將每個樣本圖片像素存至一行,形成500×784的TrainData,同理形成TestData,在TrainData上進行訓練并調整SVM參數直至最優(yōu),再對TestData進行分類識別,獲得最佳識別率。在同一訓練集上分別進行網格搜索法、遺傳算法、粒子群優(yōu)化等參數尋優(yōu)的對比驗證,結果如表2所示。
表2 SVM實驗結果
Tab.2 Recognition results of SVM
項目名 懲罰參數c 核函數參數g 識別率 識別時間
網格搜索參數尋優(yōu) 1.3195 0.0089742 86% 2h33min
遺傳算法參數尋優(yōu) 3.0086 4.6971 86% 1h40min
粒子群優(yōu)化算法參數尋優(yōu) 1.5 1.7 92% 1h25min
實驗結果表明,網格搜索法優(yōu)化過程非常慢,達不到實時處理要求。采用粒子群優(yōu)化算法參數尋優(yōu),在訓練時間相似的情況下,識別率能到達最高水平。
表3 三種方法的結果對比分析
Tab.3 Comparative analysis of the results
of the three methods
項目名 識別率 識別時間
卷積神經網絡 93% 5min
BP神經網絡 79% 22min50s
粒子群優(yōu)化的SVM方法 92% 1h25min
從上述表格可以看出,SVM的訓練時間總體均長于BP神經網絡算法和CNN算法,識別率最高為卷積神經網絡,所以,在500張訓練樣本、100張測試樣本的數據上,卷積神經網絡在識別率及識別時間上均能達到實驗最優(yōu)效果。
4 結論(Conclusion)
本文首先簡要介紹了交通標志識別的發(fā)展,并采用卷積神經網絡、BP神經網絡、支持向量機在GTSRB數據庫上進行對比試驗,并對結果進行分析。在相同樣本的情況下,基于粒子群尋優(yōu)的SVM方法雖然識別率比較高,但是一般針對小樣本二分類問題,多分類時運行時間較長;BP神經網絡雖然運行時間較SVM短,但是識別率較低;卷積神經網絡識別時間比BP神經網絡和SVM均短,識別率均高于BP神經網絡和SVM。綜上所述,卷積神經網絡具有訓練時間短、識別率高的優(yōu)勢,因此本論文對今后卷積神經網絡的研究具有很大的意義與價值。
參考文獻(References)
[1] 房澤平,等.基于特征顏色和SNCC的交通標志識別與跟蹤[J].
交通運輸系統(tǒng)工程與信息,2014,14(1):47-52.
[2] 王洋.一種基于模板匹配的交通標志識別方法[D].吉林大學,
2013.
[3] V.Rehrmann,R.Lakmann,L.Priese.A Parallel System for Real-
time Traffic Sign Recognition[C].Peking,China,Proceedings
International Workshop on Advanced Parallel Processing
Technologies95,1995:72-78.
[4] 彭岳軍.道路交通標志檢測與識別技術研究[D].華南理工大
學,2013.
[5] 張潘潘.道路交通標志檢測與識別算法的研究[D].山東大學,
2012.
[6] 郝夢琳.交通標志識別方法的研究與實現[D].太原科技大學,
2013.
[7] 王躍明,等.三維人臉識別綜述[J].計算機輔助設計與圖形學
學報,2008,20(7):819-829.
[8] Sheila Esmeralda Gonzalez-Reyna,Juan Gabriel Avina-Cervantes.
Eigen-Gradients for Traffic Sign Recognition[J].Mathematical
Problems in Engineering,2013.
[9] García-Garrido Miguel A,Ocaa Manuel,Complete vision-
based traffic sign recognition supported by an I2V communication
system[J].Sensors,2012,12(2):48-69.
[10] 陸璐,等.基于卷積神經網絡的車牌照字符識別研究[C].第
十二屆全國圖像圖形學學術會議,2005.
作者簡介:
鐘 玲(1970-),女,研究生,副教授.研究領域:嵌入式技術,
圖像處理,計算機可視化.
于雅潔(1991-),女,碩士生.研究領域:圖像處理與可視化.
張志佳(1974-),男,博士,副教授.研究領域:機器視覺檢測
技術,圖像處理與模式識別.
靳永超(1993-),男,本科生.研究領域:圖像處理.