曲愛妍 吳秋玲 張正 梁穎紅 黃曉婷

摘? 要：隨著道路監(jiān)控系統(tǒng)的數(shù)字化和智能化發(fā)展，車輛類型識別成為智能交通系統(tǒng)的研究重點(diǎn)之一。針對從道路監(jiān)控系統(tǒng)中獲取的視頻圖像，考慮如何從圖像中提取車標(biāo)局部區(qū)域的顯著特征進(jìn)行分析，提出了聯(lián)合特征的車標(biāo)特征點(diǎn)提取和識別方法?；诘缆繁O(jiān)控系統(tǒng)中的視頻圖像，對定位的車標(biāo)圖像進(jìn)行歸一化處理，完成了車標(biāo)的方向梯度直方圖特征（HOG）和局部二值模式（LBP）提取，采用支持向量機(jī)（SVM）對車標(biāo)特征矢量進(jìn)行分類識別。通過從監(jiān)控視頻中分割出來的10 類車標(biāo)、826 張車標(biāo)圖像對算法效果進(jìn)行評估，實驗結(jié)果表明，支持向量機(jī)的核函數(shù)選擇線性核函數(shù)，識別率達(dá)到95%，優(yōu)于徑向基核函數(shù)和多項式核函數(shù)。比較了單一特征（HOG或LBP）與聯(lián)合特征（HOG-LBP）對車標(biāo)的識別率，聯(lián)合特征對車標(biāo)的識別率達(dá)到97.27%，識別率最高。基于HOG-LBP聯(lián)合特征車標(biāo)區(qū)域的智能識別方法，同時利用HOG與LBP的特征優(yōu)勢，提高了車標(biāo)識別率。

關(guān)鍵詞：圖像識別;車標(biāo)識別;方向梯度直方圖;局部二值模式;支持向量機(jī)

中圖分類號：TP311.5? ? ?文獻(xiàn)標(biāo)識碼：A

Research on Intelligent Recognition Method based on Vehicle Logo Area

QU Aiyan1，2， WU Qiuling1， ZHANG Zheng1， LIANG Yinghong1， HUANG Xiaoting3

（1.Jinling Institute of Technology， Nanjing 211169， China;

2.Army Engineering University， Nanjing 210001， China;

3.Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China）

quaiyan@jit.edu.cn; Wuqiuling@jit.edu.cn; zhangzheng@jit.edu.cn; liangyh@jit.edu.cn; 934246903@qq.com

Abstract： With the development of digital and intelligent road monitoring systems， vehicle type recognition has become one of the research focuses of intelligent transportation systems. This paper proposes a method of extracting and identifying feature points of vehicle logo with joint features， after considering how to extract and analyze the significant features of the local part of the vehicle logo from images obtained from road monitoring system. Based on the video image in the road monitoring system， the positioning of vehicle logo is normalized， and the directional gradient histogram feature （HOG） and local binary pattern （LBP） of the vehicle logo are extracted. The support vector machine （SVM） is used to classify the vehicle logo feature vector. 10 types of vehicle logos segmented from surveillance videos and 826 vehicle logo images are used to evaluate the effect of the algorithm. Experimental results show that the recognition rate of linear kernel function is 95%， which is better than radial basis function kernel function and polynomial kernel function. Recognition rate of joint feature （HOG-LBP） for vehicle logo is 97.27%， which is the highest， compared to recognition rate of single feature （HOG or LBP）. Intelligent recognition method improves vehicle logo recognition rate based on the HOG-LBP joint feature vehicle logo area and the feature advantages of HOG and LBP.

Keywords： image recognition; vehicle logo recognition; directional gradient histogram; local binary mode; support

vector machine

1? ?引言（Introduction）

現(xiàn)在人們的生活質(zhì)量越來越好，汽車在人們生活中出現(xiàn)的頻率也在不斷提高，逐漸成為一種必要的交通工具，因此數(shù)字化和智能化汽車監(jiān)控系統(tǒng)就變得尤為重要。隨著網(wǎng)絡(luò)的普及與信息技術(shù)的持續(xù)進(jìn)步，我們迎來了大數(shù)據(jù)時代，如何對處于監(jiān)測與控制范圍中的活動對象進(jìn)行快捷高效的鑒別，并對其進(jìn)行相關(guān)的分析處理是智能交通系統(tǒng)中研究的重點(diǎn)[1]。針對行進(jìn)中的汽車，通過車標(biāo)、車前面板的車輛特征識別[2-4]，再結(jié)合大數(shù)據(jù)就能獲取汽車的完整信息。由于常用的卷積網(wǎng)絡(luò)采用卷積核，而且卷積核的參數(shù)是共享的，使網(wǎng)絡(luò)參數(shù)大幅下降，不容易產(chǎn)生全連接網(wǎng)絡(luò)的過學(xué)習(xí)問題，因此傳統(tǒng)的圖像識別效果比較好。

傳統(tǒng)的圖像識別流程如圖1所示[5]。首先輸入原始圖像，對圖像進(jìn)行預(yù)處理操作;然后提取物體的主要特征，利用提取的特征構(gòu)造SVM分類器的核函數(shù);最后利用SVM分類器對物體圖像進(jìn)行分類，輸出識別結(jié)果。

基于圖像模式的識別手段很多，從圖像識別所需要提取的特征物和對象角度來看，圖像識別的手段大致可以細(xì)化為基于形狀特征的識別技術(shù)[6]、基于色彩特征的識別技術(shù)[5]和基于表面紋理特征的識別技術(shù)[7]等。HOG特征和LBP特征均屬于一種用來提取局部區(qū)域紋理特征的識別技術(shù)[8]。HOG特征汽車標(biāo)志鑒別[9-10]主要原理是利用汽車標(biāo)志邊緣充足的信息特征進(jìn)行鑒別;LBP特征汽車標(biāo)志鑒別[11-12]主要原理是利用汽車標(biāo)志自身充足的紋理信息特征進(jìn)行鑒別。在兩種特征信息提取的研究基礎(chǔ)上，本文提出了一種基于HOG-LBP聯(lián)合特征的車標(biāo)識別方法，來提高道路監(jiān)控圖像中的車標(biāo)識別率。

2? 基于HOG-LBP的車標(biāo)識別方法（Vehicle logo recognition method based on HOG-LBP）

2.1? ?車標(biāo)LBP特征的提取

LBP是一個用作表示圖像中局部區(qū)域的紋理特征的算子，可以應(yīng)用在對紋理特征進(jìn)行提取方面。若提取的圖像是車體前部車標(biāo)部分區(qū)域的特征，則非常適合對車標(biāo)的特征進(jìn)行提取。

基本的LBP算子用窗口中的像素進(jìn)行了定義性描述，把窗口中間的像素當(dāng)作一個閾值，通過分析和對比窗口中心所有鄰接的8 個像素的灰度值和這個閾值來計算得到LBP值。如果窗口中心所鄰接的像素點(diǎn)的值超過了閾值，就將此像素點(diǎn)的位置記錄成1，否則就會記錄成0。最后，這個窗口內(nèi)的8 個位置通過對比處理，就可以得到8 位的數(shù)字二進(jìn)制碼，將這些二進(jìn)制碼轉(zhuǎn)化成十進(jìn)制碼，也就是簡單的LBP碼，就直接可以得到窗口中心像素點(diǎn)的LBP值。由于窗口中各點(diǎn)都要求獲取8 個鄰接的像素，經(jīng)比較可以得到的結(jié)果有個28，被叫作局部二值模式，并且將此值用來描述此區(qū)域的紋理信息，取值范圍是[0-255]，如圖2所示。

用公式表示如下：

（1）

（2）

式（2）中的代表所鄰接的區(qū)域里所有采樣點(diǎn)的數(shù)量;代表與的差值計算結(jié)果，其中代表窗口中間元素，代表與中間元素相鄰接的8 個元素。

等價模式是一種LBP特征的降維方法。00111000（先從0轉(zhuǎn)換至1，再從1轉(zhuǎn)換至0，一共進(jìn)行兩次跳變）、11111111（進(jìn)行0次跳變）、00000000（進(jìn)行0次跳變）、11011111（從1轉(zhuǎn)換至0，再從0轉(zhuǎn)換至1），這四個模式都可以作為一種等價模式。但是01010000、01001110不屬于等價模式類，原因是它們有超過兩次的跳變。等價模式的本質(zhì)是指在多個采樣點(diǎn)上，其對應(yīng)的等價模式類的循環(huán)二進(jìn)制數(shù)編碼不超過兩次1到0或者0到1的跳變。所以，可以盡量削減LBP的類別，只要保證不損失任意數(shù)據(jù)即可?？偟哪Ｊ綌?shù)量變少，基本LBP的數(shù)量有2p 類，現(xiàn)在數(shù)量降低至p（p-1）+2 類，對于3×3窗口內(nèi)的8 個采樣點(diǎn)而言，二進(jìn)制模式的類型從基本LBP的256 類降低至58 類。經(jīng)過等價模式的降維，降低了特征向量的維數(shù)，從而大大減少了數(shù)據(jù)計算量和高頻率的噪聲帶來的影響。圖3為LBP算子的提取結(jié)果，圖中表現(xiàn)出LBP算子在不同光照影響下對結(jié)果的提取并不敏感。

2.2? ?車標(biāo)HOG特征的提取

HOG的特征構(gòu)造是由梯度方向直方圖組合而成的，這些梯度方向直方圖主要來自分析和統(tǒng)計圖像中的局部區(qū)域。其設(shè)計原理主要是計算圖像中局部區(qū)域的外在表面和形狀的形變梯度或者邊緣的方向密度。第一步先分割圖像，將其劃分為不同的小互聯(lián)區(qū)域，也就是細(xì)胞單元。第二步是統(tǒng)計得到單元中每個像素的梯度或者邊緣的方向直方圖。第三步，通過組合直方圖可以得到一個特征描述器。本文實驗的車標(biāo)圖像默認(rèn)為64×64像素，HOG特征提取手段的操作流程如下：

（1）將所有汽車標(biāo)志圖像分別進(jìn)行顏色灰度化處理，采用gamma顏色校正算法對所有汽車標(biāo)志圖像都分別進(jìn)行色彩空間歸一化處理，gamma壓縮計算公式為：

（3）

式中，gamma取值1/2。

（2）將所有汽車標(biāo)志圖像進(jìn)行網(wǎng)格式劃分，劃分后的各個網(wǎng)格叫作block塊。把汽車標(biāo)志圖像劃分成16×16 像素尺寸的塊，這些塊就可以作為采樣窗口，然后用塊不重疊的方法對汽車標(biāo)志圖像進(jìn)行采樣。

（3）針對每個block塊，每個block被劃分成8×8 像素大小的單元格（cell），使用各單元格中的各像素梯度，根據(jù)相同的方向來統(tǒng)計一個直方圖，計算得到圖像里坐標(biāo)為的像素點(diǎn)的水平與垂直梯度值如式（4）和式（5）所示：

水平梯度值： ? ?（4）

垂直梯度值： ? ?（5）

式（4）與式（5）中，表示輸入的汽車標(biāo)志圖像內(nèi)的像素點(diǎn) 的像素值。像素點(diǎn)的梯度幅值和梯度方向分別如式（6）和式（7）所示：

（6）

（7）

得到的梯度結(jié)果也應(yīng)該歸一化，從而降低陰影、陽光照射和邊緣的變化帶來的影響。

（4）針對各block塊中的單元格，計算梯度的方向直方圖。起初的方向角是沒有符號的，通?？梢苑殖? 個方向角。經(jīng)過分析與計算，各個單元格可以分別獲得9 個特征值。接著，把塊中的各個單元格的梯度方向直方圖組合成一個向量，當(dāng)各塊為的16×16 像素尺寸時，各塊就有36 個特征值。

（5）用塊掃描整個汽車標(biāo)志圖像，得到的各個塊特征連接起來就代表完整的汽車標(biāo)志的HOG特征，可以用g×h維表示。其中，h代表整個汽車標(biāo)志塊的數(shù)量，g代表各塊中直方圖向量的維數(shù)，HOG特征就是可以被分類所采取的特征向量。HOG中窗口、塊、單元格關(guān)系示意圖如圖4所示。

2.3? ?HOG-LBP特征算法

LBP特征主要提取了車標(biāo)豐富的紋理信息特征，HOG特征主要提取了車標(biāo)豐富的邊緣信息特征，不同的特征提取算法提取物體的不同特征。本文提出一種HOG-LBP特征，利用多核學(xué)習(xí)方法在HOG特征和LBP特征基礎(chǔ)上，構(gòu)造核函數(shù)用于SVM分類階段的決策。

構(gòu)造核函數(shù)的算法主要包括線性核函數(shù)、多項式核函數(shù)和徑向基核函數(shù)。

（1）線性核函數(shù)

（8）

（2）多項式核函數(shù)

（9）

（3）徑向基核函數(shù)

（10）

基于HOG-LBP特征的車標(biāo)識別流程如圖5所示。首先對視頻圖像進(jìn)行預(yù)處理[13-14]，包括運(yùn)動車輛的提取和濾波，中值濾波最適合本文圖像的去噪。通過對圖像的分析對車標(biāo)區(qū)域進(jìn)行精確定位，輸出預(yù)處理后的圖像。HOG-LBP特征計算是基于經(jīng)過前期預(yù)處理后的車標(biāo)區(qū)域的圖像。針對車標(biāo)區(qū)域的圖像進(jìn)行HOG特征計算和LBP特征計算，將兩種方法的計算結(jié)果作為輸入，構(gòu)造出基于HOG-LBP特征的核函數(shù)，接著在SVM[15]中進(jìn)行訓(xùn)練，生成識別結(jié)果。

3? ?實驗與結(jié)果分析（Experiment and result analysis）

實驗1：支持向量機(jī)的核函數(shù)選擇

本文采用從監(jiān)控視頻中分割出來的10 類車標(biāo)、826 張車標(biāo)圖像，每類車標(biāo)至少包含82 張從不同車身上提取的車標(biāo)，其中部分車標(biāo)來自網(wǎng)絡(luò)。樣本的采樣條件多種多樣，天氣狀況可能有區(qū)別，比如晴朗天氣、陰雨天氣、多云天氣，傾斜的觀察角度也可能不一樣。汽車標(biāo)志的采樣如圖6所示。

用線性核函數(shù)、徑向基核函數(shù)和多項式核函數(shù)三種不同方法構(gòu)造檢測到的車標(biāo)圖像樣本，在SVM中進(jìn)行訓(xùn)練。接著，對上面的800多張汽車標(biāo)志圖像進(jìn)行詳細(xì)的汽車標(biāo)志辨別，辨別過程中主要利用的是訓(xùn)練好的支持向量機(jī)。分別基于線性核函數(shù)、徑向基核函數(shù)和多項式核函數(shù)三種核函數(shù)對汽車標(biāo)志進(jìn)行辨別，三種手段的正確辨別率結(jié)果顯示如圖7所示，相應(yīng)的平均正確辨別率如表1所示。

徑向基核函數(shù)可以廣泛應(yīng)用到各種低維、高維、小型樣本、大型樣本等場景，基于這種核函數(shù)對汽車標(biāo)志進(jìn)行辨別分類的結(jié)果通常都是在期望范圍內(nèi)的，也是在支持向量機(jī)中普遍使用的一種方式。但是本文經(jīng)過實踐分析，對比了線性、徑向基和多項式三種核函數(shù)，圖7和表1均顯示基于線性核函數(shù)的辨別結(jié)果最佳，并且耗時最短，所以本文采用的是基于線性核函數(shù)的SVM分類核函數(shù)。

實驗2：HOG-LBP方法性能分析

本次實驗中，先選擇一個車標(biāo)標(biāo)準(zhǔn)化后的圖像，其尺寸為64×64 像素，塊的尺寸為16×16 像素，單元格的尺寸為8×8 像素。塊滑動的步進(jìn)是一個塊單元，即汽車標(biāo)志圖像在橫向和縱向的各個方面的滑動都應(yīng)該是16 個像素，梯度圖可以利用濾波器[-1，0，1]來獲得，在的范圍內(nèi)，各像素點(diǎn)的梯度可以劃分成9 級，則一共有576 個方向維度的直方圖特征。表2顯示了使用三種特征提取手段得到的辨別結(jié)果和時間的比較。表中的數(shù)據(jù)結(jié)果表明，HOG-LBP車標(biāo)的正確辨別率為97.27%，辨別率最高。

為了更精確評估所提方法，我們將車標(biāo)庫中每個車標(biāo)圖像的大小逐次降低，分別為64×64、54×54…24×24、16×16 像素，每次均下降8 個像素。對于每一個像素級的車標(biāo)庫，我們隨機(jī)選取了400 幅車標(biāo)圖像進(jìn)行訓(xùn)練，利用其余的車標(biāo)圖像進(jìn)行識別，可以得到如圖8所示的結(jié)果。

實驗結(jié)果表明，基于HOG-LBP特征的車標(biāo)識別率明顯高于單一的HOG或LBP特征提取方法。

4? ?結(jié)論（Conclusion）

本文針對道路監(jiān)控系統(tǒng)中的汽車視頻圖像，運(yùn)用HOG特征和LBP特征分別對車標(biāo)區(qū)域的圖像進(jìn)行特征提取，用多核學(xué)習(xí)法生成HOG-LBP特征的核函數(shù)，在SVM中進(jìn)行訓(xùn)練識別。本文設(shè)計實驗分析對比了車標(biāo)的LBP特征、HOG特征，以及HOG-LBP特征在SVM分類器中的識別率，結(jié)果表明基于HOG-LBP特征的車標(biāo)識別率較高。

參考文獻(xiàn)（References）

[1] 羅瀟軒.計算機(jī)圖像處理與識別技術(shù)在現(xiàn)代交通中的應(yīng)用分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（04）：120-121.

[2] 黃曉婷.基于DM8168雙核DSP的車型識別系統(tǒng)[D].南京：南京航空航天大學(xué)，2015.

[3] 賀敏雪，余燁，程茹秋.特征增強(qiáng)策略驅(qū)動的車標(biāo)識別.中國圖象圖形學(xué)報，2021，26（05）：1030-1040.

[4] 張紅兵.基于TMS320DM8127的車型識別系統(tǒng)的研究與實現(xiàn)[D].南京：南京航空航天大學(xué)，2015.

[5] 陳全義，陳三風(fēng)，胡濤，等.基于改進(jìn) Linemod-2D 的快速形狀匹配算法[J].現(xiàn)代電子技術(shù)，2021，44（6）：159-164.

[6] 劉欣悅.基于移動端的多特征花卉識別系統(tǒng)[D].長春：吉林大學(xué)，2019.

[7] 丁奇安.非限定環(huán)境下的車牌識別技術(shù)研究[D].蕪湖：安徽工程大學(xué)，2019.

[8] 姜雪.基于多特征的圖像檢索方法研究[D].淄博：山東理工大學(xué)，2019.

[9] ERAZO-AUX J， LOAIZA-CORREA H， RESTREPO-GIRON A D. Histograms of oriented gradients for automatic detection of defective regions in thermograms[J]. Applied Optics， 2019， 58（13）：3620-3629.

[10] 慕春雷.基于HOG特征的人臉識別系統(tǒng)[D].成都：電子科技大學(xué)，2013.

[11] 張紅兵，李海林，黃曉婷，等.基于車前臉HOG特征的車型識別方法研究與實現(xiàn)[J].計算機(jī)仿真，2015，32（12）：119-123.

[12] 李哲，于夢茹.基于改進(jìn)的HOG與LBP特征值的車標(biāo)識別方法[J].計算機(jī)與數(shù)字工程，2019，47（12）：3154-3159.

[13] 王小龍.基于視頻圖像的車型識別算法研究與實現(xiàn)[D].西安：西安電子科技大學(xué)，2014.

[14] YUAN B， XIA? B， ZHANG D. Polarization image texture feature extraction algorithm based on CS-LBP operator[J].Procedia Computer Science， 2018（131）：295-301.

[15] 鄭秋梅，呂興會，時公喜.基于多特征集成分類器的人臉表情識別[J].中國石油大學(xué)學(xué)報（自然科學(xué)版），2011，35（1）：174-178.

作者簡介：

曲愛妍（1976-），女，碩士，高級工程師.研究領(lǐng)域：圖像處理，人工智能，數(shù)據(jù)安全，數(shù)據(jù)分析.

吳秋玲（1976-），女，博士，副教授.研究領(lǐng)域：信息隱藏技術(shù)，無線網(wǎng)絡(luò)與信息安全.

張? ?正（1973-），男，本科，研究員.研究領(lǐng)域：專用網(wǎng)絡(luò)安全性，加解密技術(shù)，無線通信.本文通訊作者.

梁穎紅（1970-），女，博士，教授.研究領(lǐng)域：自然語言處理，智能對話系統(tǒng).

黃曉婷（1990-），女，碩士，工程師.研究領(lǐng)域：圖像處理，DSP.