朱文佳,陳宇紅,馮瑜瑾,王 俊,余 燁
一種基于目標(biāo)優(yōu)化學(xué)習(xí)的車標(biāo)識(shí)別方法
朱文佳1,陳宇紅2,馮瑜瑾2,王 俊3,余 燁3
(1. 安徽百誠(chéng)慧通科技有限公司,安徽 合肥 230009;2. 云南省公安廳交通警察總隊(duì),云南 昆明 650224;3. 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009)
近年來(lái),車標(biāo)識(shí)別因其在智能交通系統(tǒng)中的重要作用,受到研究者的廣泛關(guān)注。傳統(tǒng)的車標(biāo)識(shí)別算法多基于手工描述子,需要豐富的先驗(yàn)知識(shí),且難以適應(yīng)復(fù)雜多變的現(xiàn)實(shí)應(yīng)用場(chǎng)景。相比手工描述子,特征學(xué)習(xí)方法在解決復(fù)雜場(chǎng)景的計(jì)算機(jī)視覺(jué)問(wèn)題時(shí)具有更優(yōu)性能。因此,提出一種基于目標(biāo)優(yōu)化學(xué)習(xí)的車標(biāo)識(shí)別方法,基于從原圖像中提取的像素梯度差矩陣,通過(guò)目標(biāo)優(yōu)化,自主學(xué)習(xí)特征參數(shù)。然后將像素梯度差矩陣映射為緊湊的二值矩陣,通過(guò)特征碼本的方式對(duì)特征信息進(jìn)行編碼,生成魯棒的特征向量。基于公開車標(biāo)數(shù)據(jù)集HFUT-VL1和XMU進(jìn)行實(shí)驗(yàn),并與其他車標(biāo)識(shí)別方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明,與基于傳統(tǒng)特征描述子的方法相比,該算法識(shí)別率更高,與基于深度學(xué)習(xí)的方法相比,訓(xùn)練和測(cè)試時(shí)間更少。
車標(biāo)識(shí)別;目標(biāo)優(yōu)化;特征學(xué)習(xí);碼本;像素梯度差矩陣
汽車保有量及駕駛?cè)藬?shù)量的快速增長(zhǎng)給人類生活帶來(lái)諸多便利,同時(shí)也帶來(lái)了很多不容忽視的安全隱患,與車輛相關(guān)的交通事故、刑偵案件也越來(lái)越多。由于盜牌、無(wú)牌、污損車牌車輛的存在,使得基于車牌的相關(guān)識(shí)別方法[1-2]難以發(fā)揮應(yīng)有的作用。而車標(biāo)作為車輛制造商的標(biāo)識(shí),難以替換和偽裝,因此車標(biāo)識(shí)別作為交通管理部門的重要工具和手段,在車輛查詢與跟蹤、道路管理、收費(fèi)站自動(dòng)收費(fèi)等方面具有廣泛的應(yīng)用價(jià)值。車標(biāo)識(shí)別已成為智能交通系統(tǒng)領(lǐng)域的重要研究方向,受到越來(lái)越多研究者的關(guān)注。目前,車標(biāo)識(shí)別的研究依然存在挑戰(zhàn),如復(fù)雜應(yīng)用場(chǎng)景、夜晚光線不足等情況下車標(biāo)特征不明顯;實(shí)際應(yīng)用中對(duì)車標(biāo)的識(shí)別速度有較高要求,這些均增大了車標(biāo)識(shí)別難度。
現(xiàn)有車標(biāo)識(shí)別算法大多基于手工描述子,以LBP、HOG為代表的局部特征描述子在一些數(shù)據(jù)集上表現(xiàn)出良好的性能。文獻(xiàn)[3]提出HOG和SVM相結(jié)合的車標(biāo)識(shí)別方案,實(shí)驗(yàn)結(jié)果表明HOG特征對(duì)車標(biāo)識(shí)別具有好良的性能。文獻(xiàn)[4]利用SIFT特征的旋轉(zhuǎn)、尺度不變性特征,以及反向傳播算法的特性,提出了一種車標(biāo)識(shí)別方法,其對(duì)于光照變化具有一定的魯棒性。文獻(xiàn)[5]將多尺度與SIFT特征相結(jié)合,提取到更加密集的SIFT關(guān)鍵點(diǎn),通過(guò)密集關(guān)鍵點(diǎn)匹配,進(jìn)而顯著提高了算法的識(shí)別率。文獻(xiàn)[6]提出一種增強(qiáng)的SIFT描述子(M-SIFT)算法,解決了車標(biāo)識(shí)別當(dāng)中的尺度問(wèn)題。為了解決車標(biāo)識(shí)別任務(wù)中的車標(biāo)圖像像素較低,難以提取到充足密集的特征信息或關(guān)鍵點(diǎn)問(wèn)題,文獻(xiàn)[7]提出一種基于圖像明暗對(duì)比關(guān)系的點(diǎn)對(duì)特征;文獻(xiàn)[8]提出一種車標(biāo)圖像前背景骨架區(qū)域隨機(jī)點(diǎn)對(duì)特征,該方法將車標(biāo)圖像分割成前景和背景2個(gè)部分,并隨機(jī)生成點(diǎn)對(duì)進(jìn)行匹配進(jìn)而提取圖像的特征信息。
傳統(tǒng)手工描述子雖然在某些數(shù)據(jù)集上有很好的識(shí)別率,或者在解決特定的問(wèn)題上具有優(yōu)勢(shì),但其仍存在很大的弊端。首先手工描述子需要豐富的先驗(yàn)知識(shí),其次手工描述子在解決復(fù)雜場(chǎng)景下的識(shí)別問(wèn)題缺乏魯棒性。因此,越來(lái)越多的人通過(guò)特征學(xué)習(xí)的方法解決車標(biāo)識(shí)別問(wèn)題。特征學(xué)習(xí)方法能夠通過(guò)監(jiān)督、半監(jiān)督和非監(jiān)督的方式學(xué)習(xí)特征參數(shù),提取特征信息,能夠適用于不同場(chǎng)景下的車標(biāo)識(shí)別任務(wù)。文獻(xiàn)[9]通過(guò)學(xué)習(xí)一組圖像濾波器和軟采樣矩陣來(lái)提取有效的人臉特征。文獻(xiàn)[10]給出一種緊湊二值化人臉描述子(compact binary face descriptor, CBFD)的學(xué)習(xí)方法。CBFD通過(guò)學(xué)習(xí)特征參數(shù)將像素梯度差映射成緊湊有效二值化向量。文獻(xiàn)[11]將核分析算法(kernel discriminant analysis, KDA)和稀疏表達(dá)分類器(sparse representation classifier, SRC)結(jié)合學(xué)習(xí)得到一個(gè)在人臉識(shí)別任務(wù)中性能魯棒的核描述子。近年來(lái)以卷積神經(jīng)網(wǎng)絡(luò)(convoluted neural network, CNN)模型[12-13]為代表的深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)任務(wù)當(dāng)中取得了巨大的成果,例如目標(biāo)分類任務(wù)當(dāng)中的VGG、Inception和ResNet系列方法,以及目標(biāo)檢測(cè)任務(wù)當(dāng)中的R-CNN、Yolo和SSD系列方法。但是深度學(xué)習(xí)方法需要巨大的算力和海量的訓(xùn)練樣本,這些弊端從一定程度上限制了深度學(xué)習(xí)方法在實(shí)際場(chǎng)景的應(yīng)用。
本文提出了一種新的基于目標(biāo)優(yōu)化學(xué)習(xí)的車標(biāo)識(shí)別方法,其通過(guò)目標(biāo)優(yōu)化,自主學(xué)習(xí)樣本圖像數(shù)據(jù),進(jìn)而提取樣本圖像的特征信息,避免了手工描述子需要先驗(yàn)知識(shí)的問(wèn)題。此外,該方法需要擬合的特征參數(shù)少,僅需少量訓(xùn)練樣本便能夠快速擬合,避免了CNN模型計(jì)算量大、訓(xùn)練樣本大、時(shí)間長(zhǎng)的缺點(diǎn),可以應(yīng)用于實(shí)時(shí)車標(biāo)識(shí)別系統(tǒng)之中。
本文給出了一組有效的目標(biāo)函數(shù)和優(yōu)化方法,通過(guò)自主學(xué)習(xí),獲取特征參數(shù),提取特征向量,進(jìn)行車標(biāo)識(shí)別。
本文算法分為特征參數(shù)的學(xué)習(xí)和特征信息的提取2個(gè)部分。首先提取像素梯度差矩陣(pixel difference matrix, PDM),然后以為輸入數(shù)據(jù),通過(guò)對(duì)目標(biāo)函數(shù)的學(xué)習(xí)優(yōu)化,獲取特征參數(shù),以無(wú)監(jiān)督學(xué)習(xí)的聚類算法生成特征碼本;然后,基于學(xué)習(xí)好的特征參數(shù)和特征碼本提取特征向量用于分類。分類算法采用經(jīng)典的SVM來(lái)實(shí)現(xiàn)。整個(gè)算法流程如圖1所示。
圖1 本文算法流程圖
與現(xiàn)有的大多數(shù)特征學(xué)習(xí)方法直接使用原像素值作為輸入數(shù)據(jù)不同,本文使用作為學(xué)習(xí)的輸入數(shù)據(jù)。相比原始像素值,能夠更好地反映圖像的梯度信息,對(duì)于車標(biāo)識(shí)別而言,梯度信息尤為重要。
的提取過(guò)程如圖2所示。首先將完整的車標(biāo)圖像分割成個(gè)區(qū)域塊,每一個(gè)區(qū)域塊對(duì)應(yīng)一個(gè);其次對(duì)區(qū)域塊當(dāng)中的任意一像素點(diǎn)提取像素梯度差向量(pixel difference vector, PDV)。以該像素點(diǎn)為中心,定義一個(gè)半徑的鄰域區(qū)間,鄰域像素點(diǎn)為鄰域區(qū)間((2×+1)×(2×+1))內(nèi)除之外的所有像素點(diǎn)。按照順時(shí)針?lè)较?,?jì)算鄰域像素點(diǎn)與中心像素點(diǎn)的差值,該差值序列即為。為鄰域像素點(diǎn)與中心像素點(diǎn)的梯度差,包含了車標(biāo)圖像的梯度信息。相較于原素值,使用有助于特征信息提取,加速特征參數(shù)的學(xué)習(xí),文獻(xiàn)[9-10]也證明了其的有效性。最后將所有得到的連接生成。
因此,對(duì)于含有個(gè)像素點(diǎn)的區(qū)域塊提取到的可表示為:(1,2,···,, ···,)。
對(duì)于包含類,且每類有張的車標(biāo)圖像訓(xùn)練集中,在位置的區(qū)域塊則可以生成×個(gè),記為=(11,12,···,1N,21,···,)。
圖2 PDM提取過(guò)程示意圖
特征參數(shù)的學(xué)習(xí)過(guò)程即為目標(biāo)函數(shù)的優(yōu)化過(guò)程,通過(guò)構(gòu)建一個(gè)目標(biāo)函數(shù),并對(duì)其進(jìn)行優(yōu)化,進(jìn)而學(xué)習(xí)特征參數(shù)。
其中,為映射矩陣,在基于映射轉(zhuǎn)換之后,被映射為更緊湊和表達(dá)效果更好的,當(dāng)將向量形式的拓展到矩陣形式的時(shí),式(1)可以被重寫為
為了有效去除冗余信息,加強(qiáng)有用特征信息的目的,特給出一個(gè)約束條件:映射轉(zhuǎn)換之后,目標(biāo)矩陣的類內(nèi)散度最小化,類間散度最大化。這樣保證了同類車標(biāo)圖像之間的特征信息距離更近,不同類車標(biāo)圖像的特征信息距離更遠(yuǎn),進(jìn)而有助于對(duì)車標(biāo)圖像進(jìn)行分類識(shí)別。為此,給出目標(biāo)函數(shù)
其中,1,2分別為類內(nèi)散度和類間散度;為樣本的類別數(shù);為每類樣本的數(shù)量;1,2分別為權(quán)重系數(shù)。
當(dāng)使用式(2)進(jìn)行替換時(shí),式(3)~(5)可以重寫為
通過(guò)對(duì)目標(biāo)函數(shù)式(6)的最優(yōu)化,可以學(xué)習(xí)得到特征參數(shù)×d,基于特征參數(shù),可以將×D映射轉(zhuǎn)換為更加緊湊有效的?×d。
對(duì)于包含個(gè)像素點(diǎn)的區(qū)域塊,通過(guò)鄰域空間可以生成相對(duì)應(yīng)的個(gè),并將其連接起來(lái)生成。在特征提取過(guò)程中,每個(gè)所起的作用是不同的,為了提取到更加有效的特征信息,需給各賦予不同的權(quán)重。加強(qiáng)有用的權(quán)重,減弱或消除無(wú)用的權(quán)重。傳統(tǒng)手工描述子中通常使用圖像濾波來(lái)達(dá)到此目的,如LGBP使用了Gabor濾波器,但是手工設(shè)計(jì)出一個(gè)廣泛且有效的圖像濾波器十分困難。因此,本文希望通過(guò)特征學(xué)習(xí)的方式,學(xué)習(xí)得到一個(gè)廣泛而有效的濾波器×p,將?×d映射為?×d即
若將?使用式(2)進(jìn)行替換時(shí),式(9)可以寫為
當(dāng)對(duì)濾波器給出同樣的散度約束條件時(shí),目標(biāo)函數(shù)式(6)可以被改寫為
通過(guò)對(duì)式(11)的求解,可以學(xué)習(xí)得到一個(gè)特征參數(shù)對(duì)(),通過(guò)式(10),×D可以被映射為?×d(<,<)。到?不僅僅是維度被壓縮的過(guò)程,更是特征提取的過(guò)程。
對(duì)式(11)的優(yōu)化求解,首先需分別計(jì)算關(guān)于和的偏導(dǎo)
其中,
算法1. 輸入:訓(xùn)練樣本集(PDM11,···,PDM1N,PDM21,···, PDMcn,···, PDMCN),其中,C為類別數(shù)目;N為每個(gè)類別包含的數(shù)目;PDMcn=RP×D 輸出:WRP×p和VRD×d 步驟1. (初始化)W=I,V=I,I為單位矩陣,基于式(11)計(jì)算J的值 步驟2.do: Jold=J 分別計(jì)算A1和A2,計(jì)算A2–1A1的前p個(gè)最大特征值對(duì)應(yīng)的特征向量所組成的矩陣W0,令W=W0 分別計(jì)算Q1和Q2,計(jì)算Q2–1Q1的前d個(gè)最大特征值對(duì)應(yīng)的特征向量所組成的矩陣V0,令V=V0 While (Jold>J),基于式(11)計(jì)算J的值 步驟3.返回W和V
通過(guò)算法1,可以學(xué)習(xí)得到特征參數(shù)(,),通過(guò)特征參數(shù)將映射成?,進(jìn)而將冗余信息去除,加強(qiáng)有用的信息。
為控制特征向量的維度,可采用聚類的方法生成特征碼本(codebook),然后通過(guò)與特征碼本的匹配生成特征向量。通過(guò)聚類方式生成特征碼本的方法,被廣泛地應(yīng)用于LQP[14]、DFD[9]和CBFD[10]等特征學(xué)習(xí)算法之中,說(shuō)明了該方法的有效性。
為降低聚類算法的計(jì)算和存儲(chǔ)負(fù)擔(dān),提高算法的計(jì)算速度,可將學(xué)習(xí)得到的?使用式(16)進(jìn)行二值化映射,得到二值化矩陣,即
以矩陣的每一行作為無(wú)監(jiān)督訓(xùn)練的輸入數(shù)據(jù),通過(guò)聚類算法生成個(gè)聚類中心,保存生成特征碼本。
對(duì)于從測(cè)試圖像提取生成的二值化矩陣,以其每一行為單位與特征碼本進(jìn)行最鄰近匹配,獲取特征碼,過(guò)程如圖3所示。對(duì)特征碼進(jìn)行頻率統(tǒng)計(jì),生成頻率直方圖。若測(cè)試圖像被分割成個(gè)區(qū)域塊,對(duì)應(yīng)提取到個(gè),進(jìn)而對(duì)應(yīng)生成個(gè)頻率直方圖 (1,2,···,h),將其連接則生成整張圖片的特征向量。
圖3 特征碼生成過(guò)程
采用本團(tuán)隊(duì)自行構(gòu)建的數(shù)據(jù)集HFUT-VL1[15],其包含16 000張采集于高速公路實(shí)時(shí)卡口系統(tǒng)的車標(biāo)圖像。HFUT-VL1共包含80類車標(biāo),每類200張,圖像分辨率為64×64,如圖4所示。此外,還采用了廈門大學(xué)公開車標(biāo)數(shù)據(jù)集XMU[13]對(duì)本文算法進(jìn)行評(píng)估。XMU數(shù)據(jù)集包含10類車標(biāo)圖像,每類1 150張,其中訓(xùn)練集圖像1 000張,測(cè)試集圖像150張,圖像分辨率為70×70,如圖5所示。
圖4 HFUT-VL數(shù)據(jù)集樣例
圖5 XMU數(shù)據(jù)集樣例
從1.2節(jié)可以看出,影響算法效果的主要因素在于的維度,參數(shù)矩陣和的維度。本文對(duì)上述參數(shù),做了相關(guān)實(shí)驗(yàn)以進(jìn)行評(píng)估。
從圖6(a)可以發(fā)現(xiàn),隨著鄰域半徑的增大,維度參數(shù)的值隨之增大,算法的識(shí)別率也逐漸提升。該結(jié)果說(shuō)明,在一定范圍內(nèi),增大鄰域半徑可以提高識(shí)別效果,但也存在瓶頸。如圖6(a),當(dāng)鄰域半徑增加到4和5時(shí),對(duì)識(shí)別率的提高并不明顯,但是相比=3會(huì)使的維度增加,帶來(lái)更大的計(jì)算負(fù)擔(dān),因此綜合考慮選擇=3。此外,當(dāng)鄰域半徑一定,參數(shù)矩陣的維度參數(shù)存在一個(gè)峰值,當(dāng)?shù)拇笮榈?/4時(shí),識(shí)別率達(dá)到最高。
從圖6(b)可以看出,隨著區(qū)域塊半徑的增大,區(qū)域塊當(dāng)中的像素值增加,算法效果呈下降趨勢(shì),綜合考慮選擇=3。當(dāng)區(qū)域塊半徑一定,的大小為的3/4時(shí),算法效果達(dá)到最好。
因此,當(dāng)樣本圖像分辨率為64×64時(shí),鄰域半徑與區(qū)域半徑分別設(shè)置為3時(shí),識(shí)別率達(dá)到最高。此時(shí),參數(shù)矩陣和的維度參數(shù)和分別為和的3/4大小。
圖6 參數(shù)對(duì)識(shí)別率的影響
本文提出基于目標(biāo)優(yōu)化學(xué)習(xí)的車標(biāo)識(shí)別方法的目標(biāo)為:①在小樣本訓(xùn)練時(shí),能夠保持較好的性能;②相比其他特征學(xué)習(xí)算法時(shí)間復(fù)雜度更低,滿足車標(biāo)識(shí)別任務(wù)的實(shí)時(shí)性。
為了驗(yàn)證小樣本訓(xùn)練的效果,本文基于HFUT-VL1數(shù)據(jù)集,從80類車標(biāo)中每類提取5張,共400張圖像作為訓(xùn)練集,其余15 600張作為測(cè)試集,對(duì)本文算法的效果進(jìn)行評(píng)估,實(shí)驗(yàn)結(jié)果見(jiàn)表1。手工描述子方法的優(yōu)點(diǎn)在于小樣本訓(xùn)練下性能優(yōu)良,從表1可以看出,本文算法具有優(yōu)異的識(shí)別效果,其識(shí)別率遠(yuǎn)遠(yuǎn)高于其他算法,表明本文算法適用于小樣本訓(xùn)練情況下的車標(biāo)識(shí)別任務(wù)。
近年來(lái),CNN的相關(guān)算法在計(jì)算機(jī)視覺(jué)領(lǐng)域快速發(fā)展。本文也對(duì)經(jīng)典的CNN分類算法進(jìn)行了相關(guān)實(shí)驗(yàn),以便更加全面地評(píng)估本文算法的效果。實(shí)驗(yàn)在HFUT-VL1數(shù)據(jù)集上進(jìn)行,使用2個(gè)80類車標(biāo)圖像,每類100張,總計(jì)8 000張車標(biāo)圖像作為訓(xùn)練集及測(cè)試集進(jìn)行實(shí)驗(yàn)。CNN算法直接調(diào)用了MXNet框架下的GluonCV庫(kù)當(dāng)中的標(biāo)準(zhǔn)模型,并且都使用了GPU加速,實(shí)驗(yàn)結(jié)果見(jiàn)表2。由表2可見(jiàn),本文算法識(shí)別率達(dá)到了98.33%的效果,雖然略低于基于CNN的分類算法,但是本文算法的訓(xùn)練時(shí)間和測(cè)試時(shí)間遠(yuǎn)遠(yuǎn)低于其他算法,訓(xùn)練時(shí)間比CNN算法當(dāng)中最快的MobileNet快了8.6倍,測(cè)試速度快了4.3倍,更加能夠適應(yīng)于車標(biāo)識(shí)別任務(wù)的實(shí)時(shí)性要求。
表1 本文算法與手工描述子算法識(shí)別效果對(duì)比*
(*:80類,訓(xùn)練張數(shù)每類5張,測(cè)試張數(shù)為每類195張)
表2 本文算法與CNN算法性能比較*
(*:80類,訓(xùn)練張數(shù)每類100張,測(cè)試張數(shù)每類100張)
此外,為進(jìn)一步將本文算法與其他車標(biāo)識(shí)別算法進(jìn)行比較,還在車標(biāo)公開數(shù)據(jù)集,即XMU數(shù)據(jù)集進(jìn)行了相關(guān)實(shí)驗(yàn),該數(shù)據(jù)集近幾年被車標(biāo)識(shí)別算法廣泛使用。XMU數(shù)據(jù)集有10類車標(biāo),每一類車標(biāo)1 150張,其中1 000張作為訓(xùn)練集,150張作為測(cè)試集,實(shí)驗(yàn)結(jié)果見(jiàn)表3。表3中其他車標(biāo)識(shí)別算法的識(shí)別率,如CNN-PT,CNN+ZCA等直接引用了原文給出的實(shí)驗(yàn)結(jié)果。從表3中可以發(fā)現(xiàn),與其他車標(biāo)識(shí)別算法相比,本文算法表現(xiàn)出了優(yōu)異的性能,其識(shí)別率達(dá)到了99.92%,遠(yuǎn)遠(yuǎn)超過(guò)了其他車標(biāo)識(shí)別算法的識(shí)別率,其中包括了2019年最新的CNN+ZCA車標(biāo)識(shí)別算法。
表3 本文算法與其他訓(xùn)練模型的識(shí)別效果對(duì)比*
(*:10類,每類1 000張訓(xùn)練,150張測(cè)試)
綜上,在HFUT-VL1和XMU2個(gè)數(shù)據(jù)集對(duì)本文方法進(jìn)行了評(píng)估。在HFUT-VL1數(shù)據(jù)集中的小樣本訓(xùn)練情況下,本文算法識(shí)別率達(dá)到了96.07%,超過(guò)同樣基于小樣本訓(xùn)練的手工描述子,表明本文算法適用于小樣本訓(xùn)練場(chǎng)景。此外,在HFUT-VL1數(shù)據(jù)集上進(jìn)行大樣本訓(xùn)練,本文算法雖然識(shí)別率不及CNN模型,但是訓(xùn)練速度和測(cè)試速度遠(yuǎn)超于CNN模型,更加適用于車標(biāo)識(shí)別任務(wù)的實(shí)時(shí)性要求。在XMU數(shù)據(jù)集上,本文算法表現(xiàn)了優(yōu)異效果,其99.92%的識(shí)別率遠(yuǎn)超于其他車標(biāo)識(shí)別算法在XMU數(shù)據(jù)集上的識(shí)別率。
本文提出了一種基于目標(biāo)優(yōu)化學(xué)習(xí)的車標(biāo)識(shí)別方法,該方法首先對(duì)車標(biāo)圖像提取作為輸入數(shù)據(jù),然后通過(guò)目標(biāo)函數(shù)的優(yōu)化,學(xué)習(xí)得到一組特征參數(shù),基于此參數(shù)生成特征矩陣,通過(guò)K-Means聚類生成特征碼本,提取特征向量,最后基于SVM分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明,本文提出的基于目標(biāo)優(yōu)化學(xué)習(xí)的方法可以提取到豐富全面的特征信息,獲得較好的識(shí)別效果。與基于傳統(tǒng)描述子的方法相比,本文算法的識(shí)別率獲得了很大的提升;與CNN分類算法相比,本文算法雖然識(shí)別率略低,但是算法的訓(xùn)練速度與測(cè)試速度遠(yuǎn)超于CNN相關(guān)分類算法,更加適用于車標(biāo)識(shí)別任務(wù)。此外,與現(xiàn)存的車標(biāo)識(shí)別相比,本文算法性能更好,識(shí)別率更高。因本文算法與CNN相關(guān)算法在識(shí)別率方面還是存在差距,未來(lái)將繼續(xù)深度研究,進(jìn)一步提高本文算法的識(shí)別率,提高算法的性能。
[1] 謝永祥, 董蘭芳. 復(fù)雜背景下基于HSV空間和模板匹配的車牌識(shí)別方法研究[J]. 圖學(xué)學(xué)報(bào), 2014, 35(4): 585-589.
[2] 王曉群, 劉宏志. 基于自適應(yīng)數(shù)學(xué)形態(tài)學(xué)的車牌定位研究[J]. 圖學(xué)學(xué)報(bào), 2017, 38(6): 843-850.
[3] LLORCA D F, ARROYO R, SOTELO M A. Vehicle logo recognition in traffic images using HOG features and SVM [C]//16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013). New York: IEEE Press, 2013: 2229-2234.
[4] LIPIKORN R, COOHAROJANANONE N, KIJSUPAPAISAN S, et al. Vehicle logo recognition based on interior structure using SIFT descriptor and neural network [C]//2014 International Conference on Information Science, Electronics and Electrical Engineering. New York: IEEE Press, 2014: 1595-1599.
[5] GU Q, YANG J Y, CUI G L, et al. Multi-scale vehicle logo recognition by directional dense SIFT flow parsing [C]//2016 IEEE International Conference on Image Processing. New York: IEEE Press, 2016: 3827-3831.
[6] PSYLLOS A, ANAGNOSTOPOULOS C N, KAYAFAS E. M-SIFT: A new method for vehicle logo recognition [C]//2012 IEEE International Conference on Vehicular Electronics and Safety. New York: IEEE Press, 2012: 261-266.
[7] PENG H Y, WANG X, WANG H Y, et al. Recognition of low-resolution logos in vehicle images based on statistical random sparse distribution [J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(2): 681-691.
[8] 余燁, 聶振興, 金強(qiáng), 等. 前背景骨架區(qū)域隨機(jī)點(diǎn)對(duì)策略驅(qū)動(dòng)下的車標(biāo)識(shí)別方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2016, 21(10): 1348-1356.
[9] LEI Z, PIETIKAINEN M, LI S Z. Learning discriminant face descriptor [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 289-302.
[10] LU J W, LIONG V E, ZOU X Z, et al. Learning compact binary face descriptor for face recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(10): 2041-2056.
[11] HUANG K K, DAI D Q, REN C X, et al. Learning kernel extended dictionary for face recognition [J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(5): 1082-1094.
[12] 王?,? 唐娟, 沈振輝. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)細(xì)粒度車型識(shí)別[J]. 圖學(xué)學(xué)報(bào), 2018, 39(3): 485-492.
[13] HUANG Y, WU R W, SUN Y, et al. Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy [J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(4): 1951-1960.
[14] UL HUSSAIN S, TRIGGS B. Visual recognition using local quantized patterns [M]//ComputerVision– ECCV2012. Heidelberg: Springer, 2012: 716-729.
[15] YU Y, Wang J, Lu J T, et al. Vehicle logo recognition based on overlapping enhanced patterns of oriented edge magnitudes [J]. Computers and Electrical Engineering, 2018, 71: 273-283.
[16] CHEN R, HAWES M, MIHAYLOVA L, et al. Vehicle logo recognition by spatial-sift combined with logistic regression [C]// 19th International Conference on Information Fusion (FUSION). New York: IEEE Press, 2016: 1228-1235.
[17] CHEN R, HAWES M, ISUPOVA O, et al. Online vehicle logo recognition using Cauchy prior logistic regression [C]//2017 20th International Conference on Information Fusion (Fusion). New York: IEEE Press, 2017: 1-8.
[18] SOON F C, KHAW H Y, CHUAH J H, et al. Vehicle logo recognition using whitening transformation and deep learning [J]. Signal, Image and Video Processing, 2019, 13(1): 111-119.
A Vehicle Logo Recognition Method Based on Objective Optimization
ZHU Wen-jia1, CHEN Yu-hong2, FENG Yu-jin2, WANG Jun3, YU Ye3
(1. Anhui BaiChengHuiTong Science and Technology Co. Ltd, Hefei Anhui 230009, China; 2. Traffic Police Headquarters of Yunnan Public Security Department, Kunming Yunnan 650224, China; 3. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China)
Vehicle logo recognition plays a more and more important role in intelligent transportation systems and has attracted extensive attention of researchers. Most traditional VLR methods are based on hand-crafted descriptors for which much heuristic knowledge is required, and thus are hard to adapt to complex and changeable realistic scenarios. Compared with hand-crafted descriptors, the feature learned methods perform betterin solving computer vision problems in complex environments. In the present study, a logo recognition method based on objective optimization learning is proposed to solve the VLR problem in this paper. First, feature parameters are automatically learned from pixel different matrix (PDM) extracted from raw images. Then, the PDMs are mapped into compact binary matrices with the learned feature parameters, and then the codebooks are learned from binary matrices with supervised learning. Finally, the feature vectors are extracted from test images with the learned feature parameters and codebooks. Experiments are carried out on open datasets HFUT-VL and XMU, and the results are analyzed and compared with other state-of-the-art methods. Experimental results show that our method can obtain higher recognition accuracy than hand-crafted descriptor based methods, and less training and testing time is required than deep learning based methods.
vehicle logo recognition; objective optimization; feature learning; codebook; pixel difference matrix
TP
10.11996/JG.j.2095-302X.2019040689
A
2095-302X(2019)04-0689-08
2019-02-28;
定稿日期:2019-05-10
安徽省重點(diǎn)研究和開發(fā)計(jì)劃項(xiàng)目(201904d07020010);安徽省自然科學(xué)基金項(xiàng)目(1708085MF158);合肥工業(yè)大學(xué)智能制造技術(shù)研究院科技成果轉(zhuǎn)化及產(chǎn)業(yè)化重點(diǎn)項(xiàng)目(IMICZ2017010)
朱文佳(1980-),男,安徽安慶人,工程師,碩士,技術(shù)總監(jiān)。主要研究方向?yàn)橹腔劢煌?。E-mail:zwjnet@163.com
余 燁(1982-),女,安徽合肥人,副教授,博士,碩士生導(dǎo)師。主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)。E-mail:yuye@hfut.edu.cn