趙小敏，孫志剛，夏 明

(浙江工業(yè)大學 計算機科學與技術(shù)學院，浙江 杭州 310023)

基于局部學習的車輛圖像識別方法

趙小敏，孫志剛，夏 明

(浙江工業(yè)大學 計算機科學與技術(shù)學院，浙江 杭州 310023)

隨著機動車交通違法行為的增多，民眾利用智能手機拍照舉報式的監(jiān)督模式應(yīng)運而生.針對由手機拍照舉報的靜態(tài)圖像的車輛識別問題，提出一種基于局部學習的車輛識別方法.與在整個樣本空間里訓練一個全局模型的傳統(tǒng)方法不同，該方法以局部學習中心選取策略和巴氏距離大小為基礎(chǔ)，將樣本劃分若干子集并在每個子集上訓練一個局部分類器.仿真結(jié)果表明：與已有形狀模型法、超像素級別等圖像目標識別方法相比，該方法在靜態(tài)車輛圖像識別的問題上擁有更好的識別率和識別效果.

局部學習；超像素；目標識別；車輛識別

近年來，我國的汽車數(shù)量不斷增加，交通違法問題也愈發(fā)凸顯.交警站崗職守與定點攝像監(jiān)控的方式已越來越難以應(yīng)對如此大規(guī)模增長的機動車.因此，在移動互聯(lián)網(wǎng)飛速發(fā)展的當下，依靠民眾隨時隨地拍攝車輛違法現(xiàn)象進行舉報的監(jiān)督方式應(yīng)運而生.鑒于流量和社交習慣等限制，這種監(jiān)督方式大多通過靜態(tài)圖像而非視頻提交給交警部門進行舉報.在已有的研究中，針對車輛的識別方法大多基于視頻和定點攝像機，如Zhang等[1]通過改進基于Haar-like特征的Adaboost算法，提出一種實時的車輛識別檢測方法，應(yīng)用于汽車的安全輔助駕駛中；為了解決高速公路交通監(jiān)控系統(tǒng)中對檢測車輛的外型、位置和大小等不精確問題，Noh等[2]提出一個名為ASW的窗口滑動技術(shù)，應(yīng)用于高速公路無擁塞情況下的車輛檢測；Tian等[3]通過突出車牌和車燈并建立一個名為MRF模型作為特征檢測區(qū)域，提出一種用于復雜城市交通流量監(jiān)控的車輛實時監(jiān)測跟蹤方法，并可適應(yīng)于不同天氣和交通繁忙情景.董天陽等[4]使用Harr-like與HOG特征相結(jié)合，并利用反饋式AdaBoost算法訓練分類器，提出一種面向交通視頻的前后車輛圖像識別方法.基于靜態(tài)圖像的車輛檢測識別研究則相對較少，Sun等[5]提出一種改進的HOG特征，結(jié)合車底特征和支持向量機，提出一種面向交通場景中靜態(tài)圖像的車輛檢測方法.Aarthi等[6]利用顏色變換和貝葉斯分類器，并使用角點地圖(Corner map)來移除誤檢區(qū)域，提出一種適用于不同天氣和光照條件下靜態(tài)車輛圖像的車輛識別方法.目前，針對移動端拍攝的靜態(tài)照片情景研究較少，這對民眾上傳車輛違法行為的圖像進行自動篩選處理帶來了較大的困難.

筆者將非固定設(shè)備拍攝的靜態(tài)圖像的車輛識別問題，轉(zhuǎn)換為基于超像素的背景和目標二分類問題，提出一種基于局部學習的車輛圖像識別方法(Vehicle image recognition method based on local learning，VIRLL).算法的基本思想是將圖像進行超像素分割后，對圖像進行密集SIFT(Scale invariant feature transform)特征提?。蝗缓髮μ崛〉奶卣鬟M行聚類并統(tǒng)計超像素內(nèi)的特征類別分布，計算特征分布直方圖，將其作為支持向量機的訓練特征；最后，采用一種局部學習中心樣本選取策略，建立局部學習樣本空間來訓練分類器，從而進行靜態(tài)圖像的車輛識別.

1 車輛圖像識別問題分析

1.1 問題分析

在基于視頻的車輛識別方式中，通常可利用背景差法[7]提取前景目標區(qū)域，從而消除背景干擾.而面向靜態(tài)圖像的車輛識別中，所有信息僅源于一張靜態(tài)圖片，無法方便地獲取背景信息，并且背景也會因為拍攝角度不同而表現(xiàn)不同，因此存在背景干擾的問題.

車輛圖像目標識別面臨的另一項巨大挑戰(zhàn)就是車輛圖片的內(nèi)部差異.車輛圖像會因為車輛的型號、顏色等不同而呈現(xiàn)出不同的特征.即使是同一輛汽車，在不同的光照、拍攝角度和拍攝距離等條件下，也會有較大差異.

為解決上述兩個問題，筆者提出VIRLL采用超像素分割的方式，將一幅車輛圖像分割成多個像素區(qū)域，并通過支持向量機分類器分出車輛區(qū)域來減少背景影響.同時引入局部學習理論，以減少車輛內(nèi)部差異所帶來的分類準確度影響.

1.2 超像素分割

超像素是指由一些擁有相似紋理、顏色和亮度等特征的相鄰像素所構(gòu)成的像素塊.它將像素依據(jù)特征來分組，進而可以獲得圖像的冗余信息、局部特征等，為后續(xù)的圖像處理帶來了極大方便[8].采用Achanta等提出的SLIC超像素分割方法[9]，具有速度快、生成的超像素緊湊均勻等優(yōu)勢，其步驟如下：

2) 相似度計算.對于每個像素點，分別計算與其最近的種子點間的相似度，將其以最相似的種子點標簽標記，不斷迭代直至收斂.相似度定義為

式中：x,y為像素空間坐標；l，a，b為像素在Lab色彩模型下的各分量值；m為平衡系數(shù)，用來權(quán)衡顏色與空間信息間的比重；d為種子點間距離.

1.3 局部學習

局部學習是一種能夠有效地解決內(nèi)部間差異問題的方法，考慮多個局部模型而非全局方法中的一個全局模型，并且每個局部模型都是由總樣本中的子樣本集訓練得到的，如圖1所示的費馬螺線[10]問題.

圖1 費馬螺線問題示意圖Fig.1 The sketch map of Fermat spiral problem

圖1中兩種類別的樣本分布在二維平面上，分別以加號和圓圈進行表示，曲線AB代表這兩類樣本的一個可能分類決策邊界.從圖1可看出：這兩種樣本分布呈螺旋狀，高度非線性化，在實際應(yīng)用中訓練如此復雜的分類器是比較困難的.相反地，對于局部的樣本子集C，在其范圍內(nèi)可以訓練一個局部分類器，它對C樣本子集的分類性能顯然會優(yōu)于全局分類器，同時也大大減少了分類器訓練的復雜度.

2 車輛圖像識別方法

VIRLL車輛識別方法是以超像素作為分類單元.由于車輛本身含有車窗、車身、車燈和車牌等不同的區(qū)域，如果分割出的超像素過大，可能會出現(xiàn)一個超像素塊內(nèi)包含上述多種區(qū)域或者同時含有車輛目標和大量背景信息的情景，從而影響特征描述和識別效果；倘若分割出的超像素過小，不僅會使得超像素所攜帶的特征過于局部性而不利于表述語義信息，還會帶來過大的計算量.因此，需要在所分割的超像素大小上找到一個較為合理的平衡點，如圖2所示.

圖2 VLfeat庫[11]超像素分割示意圖Fig.2 The sketch map of superpixelsin VLfeat Lib

圖2中，rs為超像素的區(qū)域大小.在圖2(a)中初始超像素區(qū)域大小rs=10，分割得到大量的超像素且每個超像素大小都過小，車輛邊緣描述很細膩但所攜帶的特征信息過于局部化.圖2(c)中區(qū)域大小rs=100時，所得到的超像素數(shù)量大大減少，但目標車輛上的部分超像素過大而且部分車輛目標上的超像素包含了大量背景像素，勢必會導致在訓練分類器時受到這些背景干擾而影響訓練的準確性.圖2(b)為一種較為合理的分割結(jié)果，超像素大小適中且車輛目標上的超像素不含或只含少量背景信息.

在圖像處理領(lǐng)域廣泛應(yīng)用的SIFT特征，具有抗角度變化、尺度變化和扭曲旋轉(zhuǎn)等諸多優(yōu)點，但對于以超像素為單位的情景，單個超像素內(nèi)可能并不含有關(guān)鍵點，以至于采用SIFT特征不足以描述超像素特征.在特征提取階段，采用省略關(guān)鍵點檢測的DSIFT特征(Dense SIFT)[11-12]，保證每個超像素內(nèi)的特征數(shù)量以及局部梯度信息的直方圖統(tǒng)計.對于一個給定尺度的圖像L(x,y)，像素點的梯度[12]計算式為

θ(x,y)=tan-1[((L(x,y+1)-L(x,y- 1))/(L(x+1,y)-L(x-1,y))]

式中：m(x,y)為梯度的模；θ(x,y)為梯度方向.DSIFT特征提取過程采用滑動窗口的方式，滑動步長為1，逐列對圖像中的像素點進行密集采樣.每次以窗口中心為特征點，計算該窗口中心4×4像素區(qū)域內(nèi)的梯度，并將每個子域的梯度量化為8個方向上形成直方圖向量，最終將所有梯度直方圖向量串接成特征點的一個128維特征描述子：

V=[v1,v2,…,v128]

算法1 CSPLL

輸入：樣本空間集S，中心個數(shù)Nc

輸出：局部樣本集C

1) 初始化C

2) 根據(jù)真值信息將S分為正樣本集S1和負樣本集S0

3) 在S1中隨機選取Nc個樣本作為種子點集合Rc

4) foreachrc∈Rc

5) 在S0中選取與rc距離最小的負樣本s0

6)rc←s0

7) 在S1中選取與rc距離最小的正樣本s1

8)rc←s1

9)rc作為一個中心樣本加入集合C

10) end foreach

11) returnC

對于C中的每個局部樣本子集ct，設(shè)其中心樣本為zt，擁有的樣本數(shù)量為at.分別在S0和S1空間內(nèi)，計算各正負樣本與zt的距離，選取N0個距離最近的負樣本和N1個正樣本，將其添加到ct中，其中N0=λ·N1，λ為局部學習正負樣本比例系數(shù).

歐氏距離是各領(lǐng)域廣泛應(yīng)用的距離計算方式，通常情況下它可以滿足絕大數(shù)需求.但它有一個明顯的缺點是將各分量等同看待，如對于2個n維向量a(x1,x2,…,xi)，b(y1,y2,…,yi)，其歐式距離Do為

顯然a向量中xi+Δ分量對ab間歐式距離Do的影響與xi是等同的.而超像素特征的本質(zhì)是一個直方圖信息，同等對待hi的各分量勢必會對特征區(qū)分帶來影響從而降低分類的準確度.因此，這里采用巴氏距離來計算樣本直方圖特征間的距離，離散巴氏距離計算式[14]為

DB=-ln(B)

式中B為巴氏系數(shù)，是對兩個樣本間重疊量的計算.當兩個直方圖特征的各分量重疊得越多，所得的巴氏系數(shù)B會越大，也就代表著兩個樣本越相關(guān)，最終巴氏距離DB也就越小.這樣可以在計算樣本間距離的同時，把直方圖特征hi的各分量進行區(qū)分.

在局部樣本集合C中，依據(jù)局部學習理論以ct作為訓練集為每個局部模型訓練一個局部SVM分類器，并在預(yù)測階段以各局部SVM分類器的判定結(jié)果作為最終分類結(jié)果.具體的車輛識別訓練階段算法如下：

算法2 訓練階段

輸入：訓練圖像集I，真值圖像集I0

輸出：SVM分類器集合svm_set，局部樣本集C

1) 初始化T，P，S，S1，S0

2) foreachi∈I

3) 對i高斯平滑濾波處理

4)pi←SLIC(i)

5) DSIFT(i),并加入集合T

6)pi加入集合P

7) end foreach

8)k-means(T)

9) foreachpi∈P

10)hi←統(tǒng)計pi內(nèi)tj的類型kr分布

11)hi歸一化，并加入集合S

12) end foreach

13)C←CSPLL(S)

14) foreachct∈C

15) 計算ct樣本中心zt與S0和S1中各樣本的距離

16) 選取最小的N0個負樣本加入ct

17) 選取最小的N1個正樣本加入ct

18) 以ct為樣本集訓練SVM，得到的分類器加入svm_set

19) end foreach

20) return svm_set和C

算法3 預(yù)測階段

輸入：測試圖像I′，SVM分類器集合svm_set，局部樣本集C

輸出：識別的圖像R

1) 初始化T′，P′，R

2) 對I′高斯平滑濾波處理

4) DSIFT(I′),并加入集合T′

9) end foreach

13) foreachct∈C

15) end foreach

16) 選取距離最小的zt

20) end if

21) end foreach

22)R←P′

23) ReturnR

3 仿真實驗與結(jié)果分析

為驗證車輛識別方法的有效性，使用Matlab 2014在windows7×64平臺下利用Graz-02數(shù)據(jù)庫[10]中的Cars庫進行仿真實驗.Graz-02數(shù)據(jù)庫中的車輛圖片內(nèi)差異較大，背景也很復雜，如圖3所示.

圖3 Graz-02數(shù)據(jù)庫部分圖片F(xiàn)ig.3 Some examples in the Cars lib of Graz-02

實驗的超像素分割和特征提取部分使用VLfeat[11]庫實現(xiàn)，對圖片的每個像素點進行DSIFT特征提取.SVM分類器使用libsvm[15]庫，核函數(shù)選擇線性核，損失函數(shù)c采用交叉驗證法確定.選取車身比例適中的訓練圖片40張，閾值θsp=0.5，k-means聚類k=400，共得到總樣本空間大小為5 200，建立局部學習中心440個，每個中心選取正負樣本各150個，分別訓練這440個SVM分類器.

結(jié)果評價標準使用分類、檢索問題普遍應(yīng)用的查準率(Precision ratio)、查全率(Recall ratio)以及Precision-Recall曲線[16].VIRLL方法雖是以超像素為識別單位，但為了方便與其他方法比較，這里采用像素級別的查準率和查全率，其定義為查準率=被正確判定為車輛的像素數(shù)/被判定為車輛的總像素數(shù)；查全率=被正確判定為車輛的像素數(shù)/真正車輛區(qū)域的總像素數(shù).從Graz-02數(shù)據(jù)庫余下的圖片中選取30張進行預(yù)測，根據(jù)SVM分類器返回的決策值矩陣，通過改變不同的閾值進行多次檢索查詢得到Precision-Recall曲線及實驗所得到的識別結(jié)果，分別如圖4，5所示.

圖4 Precision-Recall曲線Fig.4 The Precision-Recall curve of VIRLL

圖5 部分車輛識別結(jié)果Fig.5 Recognition results of VIRLL

圖4中實線為車輛圖像識別方法VIRLL在超像素區(qū)域大小rs=50時由仿真實驗得到的Precision-Recall曲線，點線為rs=60時對應(yīng)得到的結(jié)果，虛線是隨機分類時的對比結(jié)果，其中橫縱坐標單位為1，即為百分比.對于一個好的識別系統(tǒng)，應(yīng)該同時擁有更高的查全率和查準率，即Precision-Recall曲線越靠近坐標(1,1)的位置系統(tǒng)性能越好.圖5中第一列為原圖，第二列為對應(yīng)的真值圖片，第三列和第四列分別為rs=50和rs=60時實驗所得的對應(yīng)識別結(jié)果.圖4中rs=60的Precision-Recall曲線要比rs=50的更接近(1,1)點，說明系統(tǒng)性能更好，主要是因為rs=60時每塊超像素面積更大，統(tǒng)計的直方圖特征更易于后期分類.但由于超像素增大，車輛邊緣處的超像素更容易含有更多的背景像素，使得分類器誤判的幾率也更大，誤判時會導致識別出的車輛產(chǎn)生缺失，如圖5(c)第四列和圖5(b)第四列結(jié)果所述.在識別結(jié)果中，所識別的目標車輛區(qū)域存在一些非車輛的像素區(qū)域和誤識別區(qū)域，原因是在超像素分割階段并未完全保證所分割的超像素只含有車輛或背景像素中的一種，因此存在兩者共存的超像素，當其被SVM分類器判定為車輛區(qū)域或背景時便出現(xiàn)了圖5(b)第三列和第四列的情況.另外，由于同時含有車輛和背景信息，在SVM分類器訓練階段也會對分類器準確性造成影響，從而產(chǎn)生誤識別的超像素，如圖5(a)所示.為了優(yōu)化識別效果和準確度，可在超像素分割階段分割出小塊超像素，然后將小塊超像素按一定規(guī)則進行鄰域合并，減少車輛和背景共存的超像素，從而減少“陰影”區(qū)域.

在Precision-Recall曲線中，令查全率=查準率，找到的點為等錯點(Equal error rate, EER)[10]，將該點的像素級查全率(查準率)值作為識別率的評價標準.可見該點為Precision-Recall曲線與p=r的交點，該點處值越大代表著Precision-Recall曲線越接近右上角(1,1)位置，所得的分類器性能也越好.筆者將VIRLL方法與形狀模擬法[17]和超像素級別LL[10]在Graz-02的Cars數(shù)據(jù)庫上進行對比：Marszalek等所提出的利用形狀模型來模擬相似特征的識別方法中，Precision-Recall曲線與p=r的交點(EER點)出現(xiàn)在53.8%[17]處；在基于局部學習(LL)的超像素級別圖像目標識別方法中，其Precision-Recall曲線的EER點在69.2%[10]處；VIRLL識別方法在rs=50時，Precision-Recall曲線的EER點在70.4%，而rs=60時EER點在74.2%處，均大于上述2種方法的結(jié)果，由此可見：在車輛圖像識別問題上，筆者提出的基于局部學習的車輛圖像識別方法(VIRLL)與其他2種方法相比擁有較優(yōu)的識別率.

4 結(jié) 論

針對移動設(shè)備拍攝的靜態(tài)圖像中因存在內(nèi)部差異和背景干擾而引起的低識別率問題，提出一種基于局部學習的車輛圖像識別方法(VIRLL).該方法以超像素內(nèi)的DSIFT特征類別分布直方圖為特征，使用局部學習中心樣本選取策略(CSPLL)來確定局部學習的各樣本子集中心，并添入一些擁有最小巴氏距離的正負樣本來組建各局部樣本空間，以此來訓練各局部SVM分類器.從仿真實驗結(jié)果可以看出該方法擁有良好的識別效果.為了提高識別效果和準確度，在下一步的研究工作中，可考慮利用車輛的先驗知識或優(yōu)化超像素分割，將小塊超像素按一定規(guī)則進行合并，減少車輛和背景共存的超像素，從而進一步提高識別率.

[1] ZHANG Yunzhou, SUN Pengfei, LI Jifan, et al. Real-time vehicle detection in highway based on improved Adaboost and image segmentation[C]//IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems. Shenyang: IEEE,2015.

[2] NOH S J, SHIM D, JEON M. Adaptive sliding-window strategy for vehicle detection in highway environments[J]. IEEE transactions on intelligent transportation systems,2015,17(2):1-13.

[3] TIAN Bin, LI Ye, LI Bo, et al. Rear-view vehicle detection and tracking by combining multiple parts for complex urban surveillance[J]. IEEE transactions on intelligent transportation systems,2014,15(2):597-606.

[4] 董天陽,阮體洪,吳佳敏,等.一種Haar-like和HOG特征結(jié)合的交通視頻車輛識別方法研究[J].浙江工業(yè)大學學報,2015,43(5):503-507.

[5] SUN Diqing, WATADA J. Detecting pedestrians and vehicles in traffic scene based on boosted HOG features and SVM[C]//Intelligent Signal Processing (WISP),2015 IEEE 9th International Symposium on. Siena: IEEE,2015:1-4.

[6] AARTHI R, PADMAVATHI S, AMUDHA J. Vehicle detection in static images using color and corner map[C]//International Conference on Recent Trends in Information, Telecommunication and Computing. Kochi：IEEE,2010:244-246.

[7] 彭宏,韓露莎,王輝,等.基于小波變換與多幀平均法融合的背景提取[J].浙江工業(yè)大學學報,2013,41(2):228-231.

[8] 王春瑤,陳俊周,李煒.超像素分割算法研究綜述[J].計算機應(yīng)用研究,2014,31(1):6-12.

[9] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE transactions on pattern analysis & machine intelligence,2012,34(11):2274-2282.

[10] 馮雪嬌.基于局部學習的超像素級圖像目標識別[D].大連:大連理工大學,2011.

[11] VEDALDI A, FULKERSON B. Vlfeat: an open and portable library of computer vision algorithms[C]//Proceedings of the 18th ACM International Conference on Multimedia. Firenze: ACM,2010:1469-1472.

[12] 張曉明.基于SIFT特征的人臉表情識別研究[D].南京:南京郵電大學,2014.

[13] HARTIGAN J A, WONG M A. Ak-means clustering algorithm[J]. Applied statistics,1979,28(1):100-108.

[14] 梁亦聰,丁曉青,方馳.開集人臉識別中的性能評估系統(tǒng)[J].模式識別與人工智能,2014,27(4):289-293.

[15] CHANG C C, LIN C H. LIBSVM: a library for support vector machines[J]. Acm transactions on intelligent systems & technology,2011,2(3):1-27.

[16] 潘翔,陳敖,周春燕,等.基于視圖特征點分布的三維模型檢索算法[J].浙江工業(yè)大學學報,2013,41(6):641-645.

[17] MARSZALEK M, SCHMID C. Accurate object localization with shape masks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis: IEEE,2007:1-8.

(責任編輯：陳石平)

A vehicle image recognition method based on local learning

ZHAO Xiaomin, SUN Zhigang, XIA Ming

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

Along with the increase in vehicle traffic violations, a supervising mode that people use smart phones to take pictures and report the illegal phenomenon comes into being. For the problem that recognizes vehicle from the photoes taken by smart phones, a vehicle recognition method based on local learning is proposed. We divide the sample into several subsets basing on center selection policy for local learning and Bhattacharyya distance, then train a local classifier for each subset, which is different from the traditional training on the whole sample space. The simulation results show that, compared with several existing image target recognition method, this method has better recognition rate and a good recognition effect on the recognition problem of vehicle static image.

local learning; super pixel; object recognition; vehicle recognition

2016-12-06

國家自然科學基金資助項目(61401397)；浙江省科技廳公益資助項目(2014C33073)

趙小敏(1976—)，男，浙江文成人，副教授，博士，研究方向為無線傳感器網(wǎng)絡(luò)和信息安全，E-mail:zxm@zjut.edu.cn.

TP391

A

1006-4303(2017)04-0439-06