張利平　邵宗凱　吳建德

(1.昆明理工大學(xué)信息工程與自動化學(xué)院　昆明　650500)(2.云南省礦物管道輸送工程技術(shù)研究中心　昆明　650500)

基于改進KSVD和極限學(xué)習(xí)機的車型識別方法研究

張利平1,2邵宗凱1,2吳建德1,2

(1.昆明理工大學(xué)信息工程與自動化學(xué)院昆明650500)(2.云南省礦物管道輸送工程技術(shù)研究中心昆明650500)

摘要針對智能交通中車輛的分類識別問題,提出了一種基于改進KSVD和極限學(xué)習(xí)機的車型分類方法。該方法首先利用改進KSVD的方法訓(xùn)練得到各類樣本的特征字典及其相應(yīng)的稀疏系數(shù),之后將提取到的具有旋轉(zhuǎn)不變性以及對噪聲不敏感性特點的特征字典和稀疏系數(shù)送入極限學(xué)習(xí)機中進行分類識別。改進KSVD在字典的初始化方法上進行了改進,先在類內(nèi)訓(xùn)練字典,然后將學(xué)習(xí)到的類內(nèi)字典級聯(lián)起來作為新的初始化字典。實驗結(jié)果表明改進KSVD方法提高了字典的識別性能,該方法在較快識別速率的前提下,提高了車型識別的正確率。

關(guān)鍵詞改進KSVD; 特征字典; 稀疏系數(shù); 極限學(xué)習(xí)機; 分類識別

Class NumberTP391

1引言

車型識別是智能交通領(lǐng)域的一個重要研究內(nèi)容,能夠為交通信息的深層次分析提供依據(jù)。在高速公路通行車輛的信息記錄,停車場的安全管理以及肇事、嫌疑、被盜車輛的追蹤和定位等領(lǐng)域具有重要意義。車型識別是一個典型的目標(biāo)識別問題,目標(biāo)的特征的選擇和提取是整個識別過程的關(guān)鍵。因此,如何提取對車輛具有良好描述能力和分類性能的特征是完成車型正確識別的前提[1]。文獻[1～2]中對車輛的幾何特征進行提取,將車輛的頂長比、前后比、長寬比等作為車型識別的特征,當(dāng)車型差別不大或遇到干擾時,這些方法便失去了作用。因此本文將稀疏表示的方法引入到車型識別中,提取車輛圖像的代數(shù)特征,即字典和稀疏系數(shù)作為車型識別的特征。

目前,稀疏表示已經(jīng)成為計算機視覺領(lǐng)域的一個研究熱點,在圖像重構(gòu)、圖像復(fù)原、圖像分類等領(lǐng)域得到成功應(yīng)用。文獻[3]提出了一種基于SRC(Sparse Representation-based Classifier)的人臉識別方法,該方法通過提取樣本的冗余字典,并利用冗余字典對樣本的稀疏表示實現(xiàn)人臉的識別。雖然該方法能夠取得很好的識別效果,但需要選取大量的訓(xùn)練樣本來實現(xiàn)字典的過完備性,字典的規(guī)模較大,不利于識別的實時性。文獻[4]提出了一種基于KSVD的人臉識別方法,利用KSVD的方法對不同類別的樣本進行字典訓(xùn)練,得到具有較強表示能力的特征字典,加快了對象的識別速度。由于稀疏表示在人臉識別領(lǐng)域的應(yīng)用表現(xiàn)出較好的穩(wěn)健性,一些工作者開始將其應(yīng)用到車輛識別領(lǐng)域。文獻[5]提出一種基于多信息字典學(xué)習(xí)及稀疏表示的SAR目標(biāo)識別方法,該方法分別學(xué)習(xí)了目標(biāo)圖像的幅域和頻域信息的字典,采用聯(lián)合動態(tài)稀疏模型求解出目標(biāo)圖像的稀疏表示系數(shù),取得了較好的識別效果。文獻[6]則提出一種基于核K-SVD和稀疏表示的車輛識別方法,該方法對遮擋情況下的車輛有較好的分類效果,能夠快速準確地實現(xiàn)車輛和非車輛對象的分類識別,但沒有對車輛進行進一步的識別。

文獻[7]利用Gabor變換和二維圖像主成分分析(2DPCA)相結(jié)合的方法提取貝類圖像的特征,并利用極限學(xué)習(xí)實現(xiàn)了對貝類圖像的種類識別。文獻[8]利用極限學(xué)習(xí)機對LBP提取的圖像局部紋理特征進行分類。文獻[7]和文獻[8]驗證了極限學(xué)習(xí)機學(xué)習(xí)能力強,泛化能力好的優(yōu)點。本文提出一種基于改進KSVD和極限學(xué)習(xí)機的車型識別方法,由于KSVD在人臉識別中得到了成功運用,考慮到人臉樣本類型多且復(fù)雜多變的特點,將其運用到車型識別領(lǐng)域是可行的。文章首先利用改進的KSVD的方法對部分圖像進行訓(xùn)練生成特征字典,特征字典是對各類車輛具有較強表征能力的特征集,然后求出分類圖像在特征字典基礎(chǔ)上的稀疏表示稀疏。最后將各個車型相對應(yīng)的特征字典和稀疏系數(shù)組合起來,并運用極限學(xué)習(xí)機進行分類識別,取得了較理想的車型識別結(jié)果。

2基于改進KSVD的字典訓(xùn)練

2.1稀疏表示理論

稀疏表示即用盡可能少的非零系數(shù)對信號的主要信息進行表示,進而使信號處理問題的求解過程變得簡單[9]。本文中將測試樣本進行稀疏表示,進而求得能夠揭示圖像信號本質(zhì)特征的稀疏系數(shù)和特征字典。測試樣本的稀疏表示原理如下:假定測試圖像為f(x,y),利用稀疏編碼模型對其進行表示如下:

(1)

式中,φi為單位向量,其組成的矩陣D=[φ1,φ2,…,φM]稱為字典,α=[α1,α2,…,αi]為圖像在字典D下的分解系數(shù)。當(dāng)分解系數(shù)只有很少個非零元素時,圖像f(x,y)即被字典D進行稀疏表示。

2.2改進的KSVD的字典訓(xùn)練

字典訓(xùn)練是從訓(xùn)練樣本中學(xué)習(xí)一組“最優(yōu)基”生成特征字典,并求解出各類測試樣本在特征字典下的稀疏系數(shù)。由于該方法是通過訓(xùn)練得到最少的最優(yōu)原子對測試樣本進行表示的,因此,訓(xùn)練出來的原子具有較強的特征表示能力,且大大減少了計算量。令Y=[y1,…yN]∈Rn×N,表示測試圖像,則字典的學(xué)習(xí)模型可以表示為

(2)

本文利用KSVD的方法求解字典的學(xué)習(xí)模型,在字典的初始化階段,先在類內(nèi)字典進行訓(xùn)練,然后將其級聯(lián)起來作為新的初始化字典。字典的初始化方法如圖1所示。之后通過基于l1范數(shù)的OPM算法,求解在初始字典下的稀疏矩陣,并在一定稀疏度的情況下,使用SVD(奇異值分解)對圖像重構(gòu)誤差進行調(diào)整,對字典和稀疏矩陣進行逐列更新,求解出更優(yōu)的特征字典D和稀疏矩陣α。具體步驟如下:

Step1字典的初始化D;

Step2在稀疏為k的情況下,用OMP算法求解Y在D下的稀疏表示系數(shù)α;

Step4將D中的第i列和α的第i置零,求解出此時的誤差矩陣E′;

Step5用SVD的方法,調(diào)整di和αi,使其滿足min‖E′-diXi‖2;

Step6逐列更新字典,判斷誤差是否滿足要求,滿足則學(xué)習(xí)結(jié)束,否則返回Step1。

圖1　改進的字典初始化流程圖

3極限學(xué)習(xí)機算法

極限學(xué)習(xí)機(Extreme Learning Machine,ELM)是一種的前饋神經(jīng)網(wǎng)絡(luò),在分類領(lǐng)域中表現(xiàn)出優(yōu)良性能。TamuraS等[10]指出與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比,極限學(xué)習(xí)機在訓(xùn)練過程中只需要隨機給定輸入層和隱含層之間的連接權(quán)值以及隱含層的偏差,利用幾乎任意的激活函數(shù)并根據(jù)一定的原則對隱含層的神經(jīng)元個數(shù)進行設(shè)定,那么其輸入集合就幾乎可以任意程度的逼近任意連續(xù)函數(shù),且整個過程無需對輸入權(quán)值和隱含層神經(jīng)元閾值進行調(diào)整,僅需要訓(xùn)練隱含層和輸出層之間的連接權(quán)值就可以獲得唯一的最優(yōu)解。極限學(xué)習(xí)機的模型的拓撲結(jié)構(gòu)如圖2所示。

圖2　極限學(xué)習(xí)機的網(wǎng)絡(luò)拓撲結(jié)構(gòu)

對于任意的且互不相同的N個樣本(xi,ti),其中xi=[xi1,xi2,…,xin]T∈Rn,且ti=[ti1,ti2,…,tin]T∈Rm,假定前饋型神經(jīng)網(wǎng)絡(luò)的隱含層有L節(jié)點,則其輸出可表示為

x∈Rn,αi∈Rn,βi∈Rm

(3)

其中,αi=[αi1,αi2,…,αin]T,是神經(jīng)網(wǎng)絡(luò)輸入層到第i個隱含層節(jié)點的輸入權(quán)值,bi是第i個隱含層節(jié)點的偏執(zhí);βi=[βi1,βi2,…,βim]T是第i個隱含層節(jié)點的輸出權(quán)值;G(x)為隱含層激勵函數(shù)。

此時,單隱層前饋神經(jīng)網(wǎng)絡(luò)以零誤差來逼近這N個樣本,即有式(4)成立。

(4)

因此,存在αi,bi,βi滿足:

?

i=1,2,…,L

(5)

式(5)可表示為

Hβ=T

(6)

其中:

H(α1,…,αL,b1,…bL,x1,…,xN)=

(7)

(8)

式中,H為隱含層的輸出矩陣,當(dāng)αi和bi隨機設(shè)定以后,前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就等價于一個求解輸出權(quán)值的最小二乘范數(shù)解的問題。根據(jù)線性系統(tǒng)的最小二乘范數(shù)解的計算式對β進行求解,可得:

(9)

其中H為隱含層輸出矩陣H+的Moore-penrose廣義逆。

4基于改進KSVD和極限學(xué)習(xí)機的車型識別算法

本文提出的基于改進KSVD和極限學(xué)習(xí)機的車型識別算法,利用改進KSVD對測試圖像進行稀疏表示,進而將得到的特征字典和稀疏表示系數(shù)送入極限學(xué)習(xí)機中進行識別,具體步驟如下:

1) 建立測試樣本集和訓(xùn)練樣本集;

2) 利用KSVD算法訓(xùn)練樣本的類內(nèi)字典,并將其進行級聯(lián)得到改進KSVD的初始化字典;

3) 利用改進KSVD算法分別對測試樣本和訓(xùn)練樣本進行稀疏表示;

4) 確定ELM隱含層神經(jīng)元的個數(shù),選擇隱含層神經(jīng)元的激活函數(shù),對αi和bi隨機設(shè)定后,將訓(xùn)練樣本各類車型的特征字典和稀疏表示系數(shù)作為極限學(xué)習(xí)機的輸入,對極限學(xué)習(xí)機進行訓(xùn)練;

5) 對測試樣本進行分類識別。

5實驗結(jié)果與分析

5.1實驗數(shù)據(jù)及預(yù)處理

本文采用的實驗數(shù)據(jù)采集于云南省昆明市景明南路與聚賢街路口,實驗數(shù)據(jù)包含面包車、轎車、越野車、公交車以及卡車五種車型在不同的光照條件下的100張圖片組成,拍攝角度如圖3所示,圖4給出了部分訓(xùn)練樣本。隨機選取每類15副圖片共75副構(gòu)成訓(xùn)練樣本,其余為測試樣本。提取每副R200×137圖像的隨機車型特征,即將每副圖像映射到一個大小為RN×(200·137)的標(biāo)準正態(tài)分布隨機矩陣上,取三次隨機結(jié)果的平均值構(gòu)成維數(shù)為RN的特征向量。將所有的特征向量級聯(lián)成維數(shù)為RN×25的樣本矩陣,同時根據(jù)樣本矩陣構(gòu)建維數(shù)為R5×1的類別標(biāo)簽矩陣。在字典的初始化階段,從每類樣本中隨機選取10副圖像構(gòu)成類內(nèi)初始化字典,并將學(xué)習(xí)到的類內(nèi)字典進行級聯(lián)得到改進的初始化字典,之后對字典進行訓(xùn)練,利用得到的各類車型更優(yōu)的稀疏系數(shù)和字典進行ELM分類實驗。所有實驗均在Matlab R2010b上運行實驗,計算機的硬件配置為AMD雙核處理器,內(nèi)存為2GB。

圖3　拍攝角度示意圖

圖4　部分訓(xùn)練樣本

5.2實驗結(jié)果分析

在進行字典和稀疏系數(shù)提取階段,本文研究中將改進KSVD進行字典訓(xùn)練時的迭代次數(shù)固定為20,字典尺寸從50開始依次增加10,來驗證字典尺寸對本算法分類性能的影響,同時在此基礎(chǔ)上比較了字典初始化方法改進前后本算法的識別率,如圖5所示。由圖5可明顯看出,改進的初始化字典方法的KSVD性能更優(yōu);當(dāng)字典尺寸大于60時,本算法均對車型具有較高的識別率,且在字典尺寸為80、110、120時,本算法識別的正確率達到100%。鑒于對算法的實時性要求,字典尺寸設(shè)定為80。

圖5　字典尺寸對算法性能的影響

極限學(xué)習(xí)機的參數(shù)選擇相對簡單,只需對其隱含層節(jié)點進行設(shè)置。本文研究中選用sigmoid作為極限學(xué)習(xí)機隱含層節(jié)點的激活函數(shù),之后從5個隱含層節(jié)點開始依次增加2個,來驗證隱含層節(jié)點個數(shù)對極限學(xué)習(xí)機分類性能的影響,如圖6所示。從圖中可以看出,當(dāng)隱含層節(jié)點大于等于25時,分類效果達到最好,隱含層節(jié)點過多容易導(dǎo)致前饋網(wǎng)絡(luò)的“過學(xué)習(xí)”且會影響本算法的分類速度,故在實驗過程中選取理想的節(jié)點個數(shù)25。

圖6　隱含層節(jié)點個數(shù)對算法性能的影響

通過前兩組實驗分析可知,字典尺寸和隱含層節(jié)點個數(shù)分別取80和25時,本算法能夠達到最優(yōu)的分類效果,為了驗證本文提出的算法的分類性能,進行了第三組實驗,實驗結(jié)果如圖7所示。圖中標(biāo)簽號1～5分別表示越野車、轎車、公交車,面包車和卡車。由圖7可知,在基于改進KSVD和ELM的車型識別方法中,ELM的測試正確率達到100%。且能夠完全準確地對公交車和裝滿貨物的卡車進行識別,解決了在傳統(tǒng)的基于幾何尺寸的識別方法難以識別相似形狀的車型問題。在識別速率方面,本算法平均每幅圖像的識別速度為0.61s,具有較高的識別速率。

圖7　ELM的車型識別結(jié)果

6結(jié)語

提出了一種基于改進KSVD和ELM的車型識別方法,將各類車型對應(yīng)的字典和稀疏系數(shù)作為識別特征,將訓(xùn)練速度快泛化性能好的極限學(xué)習(xí)機作為車型識別的分類器。通過對上述實驗結(jié)果進行對比分析,可以得出以下有益結(jié)論:

1) 在人臉識別領(lǐng)域應(yīng)用廣泛的基于KSVD的字典訓(xùn)練方法,利用其進行車型識別的思路是可行的。

2) 改進的KSVD提高了算法的識別性能,克服了選擇部分樣本訓(xùn)練初始化字典不能完全表示樣本的缺陷。

4) 改進的KSVD學(xué)習(xí)到的特征字典及其稀疏系數(shù)具有旋轉(zhuǎn)不變性及對噪聲不敏感性的特點,克服了因成像角度不同引起的識別率低的問題。

5) 該算法在低復(fù)雜度的情況下,較快地完成車型的分類識別工作,且實現(xiàn)了對幾何形狀相似的車型的識別。

參 考 文 獻

[1] 陳振學(xué),劉成云,常發(fā)亮等.基于生物視覺顯著性的車輛車型識別[J].計算機科學(xué),2010,37(2):207-208.CHEN Zhenxue, LIU Chengyun, CHANG Faliang, et al. Vehicle Model Recognition Based on Biological Visual Saliency[J]. Computer Science,2010,37(2):207-208.

[2] 聶小燕,祁媛媛,董昕,等.基于多特征融合的汽車車型模糊識別方法[J].微計算機應(yīng)用,2011,32(11):47-52.

NIE Xiaoyan, QI Yuanyuan, DONG Xin, et al. Fuzzy Recognition Method for Vehicle Models Based on Multi-feature Fusion[J]. Micro Computer Application,2011,32(11):47-52.

[3] Wright J, Yang A, Ganesh A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[4] Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing over complete dictionaries for sparse representation[J]. {H}IEEE Transactions on Signal Processing,2006,(11):4311-4322.

[5] 齊會嬌,王英華,丁軍,等.基于多信息字典學(xué)習(xí)及稀疏表示的SAR目標(biāo)識別[J].系統(tǒng)工程與電子技術(shù),2015,37(6):1280-1287.

QI Huijiao, WANG Yinghua, DING Jun, et al. SAR Target Recognition Based on Multi Information Dictionary Learning and Sparse Representation[J]. System Engineering and Electronic Technology,2015,37(6):1280-1287.

[6] 孫銳,王晶晶.一種基于核K-SVD和稀疏表示的車輛識別方法[J].模式識別與人工智能,2014,(5):435-442.

SUN Yue, WANG Jingjing. A Vehicle Recognition Method Based on Kernel K-SVD and Sparse Representation[J]. Pattern Recognition and Artificial Intelligence,2014,(5):435-442.

[7] 楊靖堯,里紅杰,陶學(xué)恒.基于Gabor變換和極限學(xué)習(xí)機的貝類圖像種類識別[J].大連工業(yè)大學(xué)學(xué)報,2013,32(4):310-312.

YANG Jingyao, LI Hongjie, TAO Xueheng. Shellfish Image Identification Based on Gabor Transform and Extreme Learning Machine[J]. Journal of Dalian Industrial University,2013,32(4):310-312.

[8] 陳建原,何建農(nóng).基于在線連續(xù)學(xué)習(xí)機的圖像分類改進算法[J].福州大學(xué)學(xué)報,2015,43(2):176-180.

CHEN Jianyuan, HE Jiannong. An improved algorithm for image classification based on on-line continuous learning machine[J]. Journal of Fuzhou University,2015,43(2):176-180.

[9] OLSHAUSEN B A FIELDDJ. Emergency of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature,1996,381(6583):607-609.

[10] Tamura S, Tateishi M. Capabilities of a four-layered feed forward neural network: four layers versus three[J]. IEEE Transactions on Neural Networks,1997,8(2):251-255.

Vehicle Recognition Method Based on the Improved KSVD and Extreme Learning Machine

ZHANG Liping1,2SHAO Zongkai1,2WU Jiande1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)(2. Engineering Research Center for Mineral Pipeline Transportation of Yunnan Province, Kunming650500)

AbstractAiming at the problem of the vehicle classification and identification in intelligent transportation field, a vehicle classification method based on the improved KSVD and extreme learning machine is proposed in this paper. Firstly, the characteristics dictionary and the corresponding sparse coefficient which are rotationally invariant and is not sensitive to noise of all kinds of sample are gotten, then the characteristics dictionary and the corresponding sparse coefficient are taken into extreme learning machine for classification. The improved KSVD makes improvement on the initialization method of the dictionary, it has trained the dictionary within the class, then cascaded the trained dictionary as a new initialization dictionary. The experimental results show that the improved KSVD method has improved the recognition performance of the dictionary. Under the premise of the fast recognition rate, this method has improved the accuracy of vehicle recognition.

Key Wordsimproved KSVD, characteristics dictionary, sparse coefficient, extreme learning machine, vehicle classification and identification

收稿日期:2015年12月8日,修回日期:2016年1月26日

基金項目:國家自然科學(xué)基金項目(編號:51169007);云南省科技計劃項目(編號:2012CA022,2013DH034);云南省中青年學(xué)術(shù)和技術(shù)帶頭人后備人才培養(yǎng)計劃項目(編號:2011CI017)資助。

作者簡介:張利平,女,碩士研究生,研究方向:智能交通信息處理。邵宗凱,男,博士,副教授,研究方向:智能信息處理,電機智能控制等。吳建德,男,博士,教授,研究方向:工業(yè)控制、工業(yè)過程數(shù)據(jù)分析與建模等。

中圖分類號TP391

DOI:10.3969/j.issn.1672-9722.2016.06.023