蔡曉東，甘凱今，楊 超，王麗娟

(桂林電子科技大學(xué) 信息與通信學(xué)院， 廣西 桂林 541004)

?

基于多分支卷積神經(jīng)網(wǎng)絡(luò)的車輛圖像比對方法

蔡曉東，甘凱今，楊 超，王麗娟

(桂林電子科技大學(xué) 信息與通信學(xué)院， 廣西 桂林 541004)

為了更有針對性地從車輛圖像的不同區(qū)域提取出獨(dú)特的圖像特征，提出基于多分支卷積神經(jīng)網(wǎng)絡(luò)的車輛圖像比對方法。首先，根據(jù)車牌定位結(jié)果獲取比對車輛的車臉圖像，并根據(jù)車臉圖像的紋理豐富度將車臉圖像劃分為多個圖像塊；其次，使用多分支卷積神經(jīng)網(wǎng)絡(luò)分別提取各車臉圖像塊的深度特征；最后，通過計(jì)算車臉圖像深度特征的相似度判定比對的車輛圖像是否屬于同種車型。實(shí)驗(yàn)表明，提出的方法能夠提取有效的車輛圖像各區(qū)域的深度特征，獲得良好的車輛比對準(zhǔn)確率，可用于套牌車輛識別。

卷積神經(jīng)網(wǎng)絡(luò)；車輛比對；深度特征；套牌車輛識別

隨著社會的發(fā)展與人們生活水平的提高，城市車輛的保有量不斷上升，與此同時(shí)，車輛套牌的違法行為也日益增多。為了打擊套牌車輛，減少涉車犯罪，需要對使用同一車牌號碼的車輛進(jìn)行比對，進(jìn)而識別出套牌車輛。

現(xiàn)有的車輛比對方法主要提取車輛的圖像特征進(jìn)行比對。文獻(xiàn)[1]用SIFT特征點(diǎn)匹配算法作車輛圖像比對，該方法在車輛外形具有較大差異的情況下能夠獲得良好的車輛比對效果，但其忽略特征點(diǎn)的位置信息，因此難以區(qū)分外形略微相似的車輛圖像。文獻(xiàn)[2]對車輛散熱網(wǎng)的隔柵紋理方向、車燈Hu矩的相似性進(jìn)行車輛比對，該方法利用了不同車型的局部差異性獲得了一定的車輛比對效果，但是只提取有限的局部特征，難以在車型種類增多時(shí)獲得理想的效果。文獻(xiàn)[3]車標(biāo)識別的基礎(chǔ)上，通過車燈的不變矩距離進(jìn)行車型識別，進(jìn)而根據(jù)車型識別結(jié)果作車型比對，該方法的比對效果受限于車燈的定位精確度以及車型識別的準(zhǔn)確性。在圖像特征提取方面，深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)具有很強(qiáng)的特征提取能力，但傳統(tǒng)的CNN網(wǎng)絡(luò)結(jié)構(gòu)[4-6]行分塊，直接使用整張?jiān)紙D像訓(xùn)練網(wǎng)絡(luò)，最終訓(xùn)練得到的CNN網(wǎng)絡(luò)模型難以兼顧各局部區(qū)域獨(dú)特的紋理特性，無法獲取具有更高區(qū)分度的圖像特征。

本文針對現(xiàn)有的車輛比對方法未能有效提取車臉各區(qū)域獨(dú)特圖像特征的問題，提出基于多分支卷積神經(jīng)網(wǎng)絡(luò)(Multi-branch Convolutinal Neural Network，MB-CNN)的車輛圖像比對方法。車輛圖像比對系統(tǒng)框圖如圖1所示。

圖1 車輛圖像比對系統(tǒng)框圖

首先，使用現(xiàn)有成熟的車牌定位技術(shù)獲取車牌位置，并由車牌的位置截取車頭圖像，即車臉；其次，根據(jù)車臉各個區(qū)域的紋理豐富度對車臉進(jìn)行分塊；再次，使用MB-CNN提取車臉圖像的深度特征；最后，使用車臉的深度特征的相似度進(jìn)行車臉比對。實(shí)驗(yàn)表明，本文提出的車輛比對方法獲得了良好的比對準(zhǔn)確率。

1 車臉定位與分塊

為了獲取穩(wěn)定且具有良好區(qū)分度的車輛圖像樣本，本文首先依據(jù)車牌位置獲取車臉圖像，其次根據(jù)車臉區(qū)域的紋理豐富度對車臉進(jìn)行分塊。

1.1 基于車牌定位的車臉提取

我國現(xiàn)有的車牌顏色主要分為藍(lán)底白字、黃底黑字、黑底白字和白底黑字4種類型，車牌的字符間隔均勻且邊緣梯度變化較大，形成了特殊的紋理特征，利用車牌特有的顏色特征與紋理特征，可以實(shí)現(xiàn)車牌的準(zhǔn)確定位[7-8]。本文使用顏色和紋理相結(jié)合的車牌定位算法，獲取車牌的中心位置與車牌寬度。獲取車牌位置信息后，根據(jù)車牌圖像與車臉圖像的旋轉(zhuǎn)角度、尺寸比例的幾何關(guān)系變化一致性，本文提出基于車牌定位的車臉提取方法，該方法在車輛偏轉(zhuǎn)、尺寸不同的情況下，依然能準(zhǔn)確獲取車臉圖像，具體方法如下：

以車牌中心為坐標(biāo)原點(diǎn)，分別向左右各1.75倍車牌寬度、向上1.5倍車牌寬度、向下0.5倍車牌寬度進(jìn)行區(qū)域擴(kuò)展，位于擴(kuò)展區(qū)域內(nèi)的圖像即為車臉圖像，此外，為避免車牌紋理對車臉圖像特征的干擾，將車牌區(qū)域像素值全部置零。 車臉定位結(jié)果如圖2所示，假設(shè)圖中車牌水平寬度w=1，則右上角A點(diǎn)坐標(biāo)為(1.75，1.5)，右下角B點(diǎn)坐標(biāo)為(1.75，-0.5)。

圖2 車臉定位結(jié)果

1.2 基于紋理富集區(qū)域的車臉分塊

通過對大量車臉圖像樣本的觀察與分析，發(fā)現(xiàn)車臉圖像的紋理具有一定的聚集性，通常集中在車燈、車標(biāo)、散熱網(wǎng)等車臉部件區(qū)域，而且不同部件區(qū)域的紋理有不同的特點(diǎn)。

為了更有針對性地從不同區(qū)域提取特征，本文提出基于紋理富集區(qū)域的車臉分塊方法，該方法首先使用Sobel算子[9]分別獲取每張車臉樣本的紋理圖，其次計(jì)算所有車型的車臉紋理圖的平均圖，得到平均車臉紋理圖，最后根據(jù)平均車臉紋理圖的紋理富集區(qū)域確定車臉分塊準(zhǔn)則。單張車臉紋理圖與平均車臉紋理圖如圖3所示。

圖3 車臉紋理圖

由圖3a可以看到，單張車臉紋理圖反映了該車臉紋理的位置信息，亮度高的區(qū)域具有豐富的紋理信息。而由圖3b可知，平均紋理圖反映了不同區(qū)域所含紋理的豐富程度，亮度高的區(qū)域是多數(shù)車臉紋理的聚集區(qū)域，屬于紋理富集區(qū)域。此外，平均紋理圖的紋理富集區(qū)域與大多數(shù)車輛的車燈、車標(biāo)、散熱網(wǎng)等車臉部件的域相吻合，而且各車臉部件具有不同的紋理特性。由此可知，不同的紋理富集區(qū)域具有不同的紋理特性。因此，根據(jù)紋理富集區(qū)域?qū)嚹槇D像進(jìn)行分塊，可以確保得到的每塊圖像都包含豐富的紋理信息，而且每塊圖像具有獨(dú)特的紋理特性。

本文根據(jù)車臉平均紋理圖的紋理富集區(qū)域?qū)④嚹槇D像分成9塊，車臉分塊結(jié)果如圖4所示。

圖4 車臉原圖和分塊結(jié)果

2 MB-CNN特征提取模型

在車臉圖像中，各區(qū)域圖像的紋理特點(diǎn)各不相同，例如散熱網(wǎng)區(qū)域以直線紋理為主，車燈區(qū)域則以弧形紋理為主。為了更有針對性地提取車臉各區(qū)域的圖像特征，本文對傳統(tǒng)的CNN模型進(jìn)行改造，提出MB-CNN模型，其基本單元有卷積層、池化層和全連接層。與傳統(tǒng)CNN模型的區(qū)別在于，MB-CNN模型包含多個獨(dú)立的CNN分支模塊，每個分支由多個卷積層、池化層、全連接層組成，各分支單獨(dú)處理某一區(qū)域的圖像，能夠更好地提取各區(qū)域獨(dú)特的局部圖像特征。同時(shí)，MB-CNN模型還使用一個獨(dú)立的CNN分支處理整張車臉圖像，以此兼顧車臉圖像的整體特征。MB-CNN模型的結(jié)構(gòu)示意圖如圖5所示。

圖5 MB-CNN模型結(jié)構(gòu)圖

MB-CNN模型中，各輸入圖像塊由基于紋理富集區(qū)域的車臉分塊方法得到。多層全連接層對各CNN分支提取的特征進(jìn)行融合，其輸出向量即是車輛比對所用的深度特征。

MB-CNN模型各分支中，CNN_0提取整體特征，CNN_1～ CNN_9提取各區(qū)域獨(dú)特的局部特征，各個CNN分支的具體結(jié)構(gòu)及參數(shù)見表1，其中，卷積核n×w×h表示該層有n個尺寸為w×h的卷積核。

表1 MB-CNN模型各分支具體結(jié)構(gòu)及參數(shù)

經(jīng)過特征提取器的處理，從車臉圖像中提取得到1個1 024維的整體特征向量，9個1 024維的局部特征向量。得到整體特征與局部特征后，將所有特征向量順序連接成一個10 240維的特征向量，并使用多層全連接層對特征進(jìn)行融合與優(yōu)化。

鑒于全連接層每個節(jié)點(diǎn)都與下一層任意節(jié)點(diǎn)相連接，具有很強(qiáng)的特征融合能力，本文使用3層全接層對各CNN分支提取的圖像特征進(jìn)行融合，各層的全連接節(jié)點(diǎn)數(shù)分別是4 096，1 024，n，其中n由訓(xùn)練樣本中車輛類別的數(shù)量決定，本文使用320類車型進(jìn)行訓(xùn)練，因此取n=320。

經(jīng)過多層全連接層的處理，圖像特征得到進(jìn)一步提煉，文獻(xiàn)[10]通過實(shí)驗(yàn)證明倒數(shù)第二層全連接層的輸出數(shù)據(jù)具有最好的表現(xiàn)能力，且維度固定，不受訓(xùn)練樣本類別數(shù)量的影響，更適合作為目標(biāo)比對的特征。因此，本文取倒數(shù)第二層全連接層的輸出數(shù)據(jù)作為深度特征，其特征維數(shù)為1 024。多層全連接層網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 多層全連接層網(wǎng)絡(luò)結(jié)構(gòu)

3 基于深度特征的車輛比對

進(jìn)行比對的兩張車臉圖像經(jīng)過MB-CNN處理后，分別得到相應(yīng)的深度特征，該深度特征是車臉圖像信息的高度概括，具有很強(qiáng)的表示能力。因此，在車輛比對階段，首先計(jì)算比對車臉圖像的深度特征的相似度，然后通過比較相似度與預(yù)設(shè)閾值的大小來判斷輸入的比對車輛是否屬于同一種車型。本文選擇使用余弦距離計(jì)算深度特征的相似度ω，計(jì)算方法如式(1)所示

(1)

其中：xi，yi分別是兩車臉深度特征X，Y的第i個元素，由于深度特征在全連接層中經(jīng)過ReLu激活函數(shù)的運(yùn)算，每個元素都為非負(fù)數(shù)，因此，ω∈[0,1]。

在車臉比對階段，需要設(shè)定一個相似度的閾值θ，當(dāng)ω≥θ時(shí)，表明輸入比對的兩張車臉圖片相似度較高，屬于同一類車型，反之，當(dāng)ω<θ時(shí)，表明輸入比對的兩張車臉圖片相似度較低，屬于不同車型。顯然，相似度閾值θ的取值直接影響了車臉比對的準(zhǔn)確率。經(jīng)試驗(yàn)測試，相似度閾值θ=0.51可獲得最高的車輛比對準(zhǔn)確率。

4 實(shí)驗(yàn)結(jié)果與分析

為了訓(xùn)練得到具備較強(qiáng)特征提取能力的深度模型，本文選取40 000張由交通卡口監(jiān)控系統(tǒng)獲取的車輛圖像作為訓(xùn)練樣本，其中包含常見的72種品牌、320類車型。經(jīng)過車臉定位后，將車臉圖像尺寸統(tǒng)一縮放至100×175。部分訓(xùn)練樣本如圖7所示。實(shí)驗(yàn)平臺的配置為Inteli3四核3.4GHz處理器、12Gbyte內(nèi)存、GTX980Ti顯卡以及Ubuntu14.04操作系統(tǒng)，并使用基于C++編程語言的Caffe工具包。經(jīng)過大量車臉樣本的反復(fù)訓(xùn)練后，得到具有較強(qiáng)特征提取能力的MB-CNN模型。

圖7 部分訓(xùn)練樣本

在車臉比對實(shí)驗(yàn)中，隨機(jī)選取5 000對相同類型的車臉圖像與5 000對不同類型的車臉圖像構(gòu)成比對樣本，部分樣本如圖8所示。比對車臉圖像時(shí)，分別使用深度模型提取2張車臉圖像的深度特征，并將使用余弦距離計(jì)算特征之間的相似度ω，當(dāng)ω≥θ則判定輸入圖像屬于同一類車型，反之，當(dāng)ω<θ則判定輸入圖像屬于不同車型。不同的相似度閾值對應(yīng)不同的車輛比對結(jié)果，比對結(jié)果如圖9所示，其中，當(dāng)相似度閾值θ=0.51時(shí)，車臉比對獲得最高的準(zhǔn)確率為98.93%，可見，基于MB-CNN模型的車輛比對方法能夠有效提取車臉特征并準(zhǔn)確判別2張車臉圖像是否屬于同一類車型。

圖8 車臉比對樣本

圖9 車臉比對結(jié)果

為比較本文提出的基于MB-CNN模型的車臉比對方法的有效性，實(shí)驗(yàn)選擇本文的MB-CNN與具有較強(qiáng)目標(biāo)識別能力的CNN結(jié)構(gòu)作比較，包括AlexNet[4]，VGG-D[5]，GoogLeNet[6]。首先，使用相同的車臉訓(xùn)練樣本訓(xùn)練各個網(wǎng)絡(luò)；然后，將獲取的車臉圖像輸入預(yù)先訓(xùn)練好的網(wǎng)絡(luò)，并取網(wǎng)絡(luò)的倒數(shù)第二層全連接層的輸出作為特征向量；最后，使用余弦距離計(jì)算相似度。車輛比對實(shí)驗(yàn)結(jié)果如表2所示，其中準(zhǔn)確率取所有相似度閾值對應(yīng)的最高準(zhǔn)確率。

表2 各CNN網(wǎng)絡(luò)的車臉比對實(shí)驗(yàn)結(jié)果

由表2可知，本文提出的基于深度特征的車臉比對方法獲得了最高的比對準(zhǔn)確率，達(dá)到98.93%，高于其他方法。原因在于本文提出的MB-CNN模型通過深度卷積神經(jīng)網(wǎng)絡(luò)單獨(dú)提取車臉圖像各個區(qū)域的深度特征，并對車臉圖像的整體特征與各區(qū)域局部特征進(jìn)行有效融合，使得最終提取得到的特征區(qū)分度更高、針對性更強(qiáng)。

5 結(jié)束語

基于多分支卷積神經(jīng)網(wǎng)絡(luò)的車輛比對方法通過車牌定位獲取車臉圖像后，使用多個CNN模塊單獨(dú)提取車臉圖像各個區(qū)域的深度特征，并用全連接神經(jīng)網(wǎng)絡(luò)融合特征，獲取表達(dá)能力更強(qiáng)的車臉圖像特征。

結(jié)合車牌與車輛圖像登記信息，當(dāng)使用某車牌的車輛與該車牌登記車輛的特征相似度低于預(yù)設(shè)閾值時(shí)，則判定其為套牌車輛。該方法可應(yīng)用到智能交通系統(tǒng)中，具有較高的工程實(shí)用價(jià)值。

[1]汪崢嶸. 基于車牌識別及車輛特征點(diǎn)匹配的套牌車識別[D]. 蘇州：蘇州大學(xué)， 2013.

[2]笪東旭. 基于車臉識別的套牌車檢測方法研究[D]. 西安：西安電子科技大學(xué)， 2013.

[3]王枚， 王國宏， 于元港，等. 新車型識別方法及其在套牌車輛鑒別中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用， 2009， 45(17)：211-214.

[4]KRIZHEVSKYA，SUTSKEVERI，HINTONGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[J].Advancesinneuralinformationprocessingsystems，2012，25(2)：1106-1114.

[5]SIMONYANK，ZISSERMANA.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition[C]//Proc.InternationalConferenceonLearningRepresentations.SanDiego：IEEE， 2015：1-14.

[6]SZEGEDYC，LIUW，JIAY，etal.Goingdeeperwithconvolutions[C]//Proc. 2015IEEEConferenceonComputerVisionandPatternRecognition.Boston：IEEE，2015：1-9.

[7]苗姣姣，徐望明.HSV空間和形態(tài)學(xué)處理相結(jié)合的車牌定位方法[J].電視技術(shù)，2015，39(5)：146-149.

[8]李耀，程勇，曹雪虹.一種復(fù)雜環(huán)境中的車牌定位算法[J].電視技術(shù)，2015，39(12)：104-106.

[9]梁娟， 侯海虹. 基于改進(jìn)Sobel模板的灰色關(guān)聯(lián)分析邊緣檢測算法[J]. 電視技術(shù)， 2012，36(9)：22-23.

[10]SUNY，WANGX，TANGX.Deeplearningfacerepresentationbyjointidentification-verification[J].Advancesinneuralinformationprocessingsystems，2014(27)：1988-

1996.

蔡曉東(1971— )，碩士生導(dǎo)師，主要研究方向?yàn)椴⑿谢瘓D像和視頻處理、模式識別與智能系統(tǒng)；

甘凱今(1992— )，碩士，主研模式識別、深度學(xué)習(xí)；

楊 超(1990— )，碩士生，主研模式識別；

王麗娟(1991— )，女，碩士生，主研云計(jì)算、數(shù)據(jù)挖掘。

責(zé)任編輯：閆雯雯

奧特維公司全力保障全國社會治安綜合治理創(chuàng)新工作會議召開

2016年10月10—11日，全國社會治安綜合治理創(chuàng)新工作會議在江西南昌召開，北京奧特維科技有限公司派出專業(yè)人員分赴南昌、廈門、石家莊、濟(jì)南、昆明等地保障會議的順利召開。

會上中央政治局委員、中央政法委書記孟建柱傳達(dá)習(xí)近平總書局對會議的重要批示并發(fā)表重要講話，約209萬人通過全國黨政專網(wǎng)電視電話會議系統(tǒng)參會，創(chuàng)造了上述系統(tǒng)自建成以來參會人員的新記錄。

全國黨政專網(wǎng)電視電話會議系統(tǒng)是中國電子科技集團(tuán)公司第三研究所單體合同最大、業(yè)界知名度較高、技術(shù)較為領(lǐng)先的視頻會議系統(tǒng)工程。系統(tǒng)自投入以來，得到用戶的廣泛應(yīng)用，舉辦了多場次的高級別會議，保證了會議精神的快速傳達(dá)。此次會議是對系統(tǒng)的又一次嚴(yán)格檢驗(yàn)。奧特維公司通過增派技術(shù)人員、細(xì)致排除系統(tǒng)隱患、制定會議保障預(yù)案等措施，確保了此次會議的順利召開。為期兩天的緊密議程，分散全國的會議地點(diǎn)，未發(fā)系統(tǒng)突發(fā)事件，得到會議主辦方的高度評價(jià)和認(rèn)可。目前，奧特維公司正在進(jìn)行二級網(wǎng)的建設(shè)任務(wù)。

Vehicle image verification based on multi-branch convolutional neural network

CAI Xiaodong， GAN Kaijin， YANG Chao， WANG Lijuan

(SchoolofInformationandCommunicationofGuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

To more targeted extract special image features from different regions of the vehicle images， the vehicle image verification method is proposed based on multi-branch convolutional neural network. Firstly， obtain vehicle face by the location of vehicle plate， and segment entire vehicle face into many parts by the richness of texture of vehicle images. Secondly， use multi-branch convolutional neural network to extract deep features of vehicle face image. Finally， vertify the input vehicle faces by the similarity between their deep features. Experiments demonstrate that the proposed method can extract efficient deep features of vehicle image， and achieve higher verification accuracy， can be used for fake-licensed car identification.

convolutional neural network； vehicle verification； deep feature； fake-licensed car identification

蔡曉東，甘凱今，楊超，等. 基于多分支卷積神經(jīng)網(wǎng)絡(luò)的車輛圖像比對方法[J]. 電視技術(shù)，2016，40(11)：116-120. CAI X D，GAN K J，YANG C，et al. Vehicle image verification based on multi-branch convolutional neural network [J]. Video engineering，2016，40(11)：116-120.

TN911.73

A

10.16280/j.videoe.2016.11.024

國家科技支撐計(jì)劃項(xiàng)目(2014BAK22B02)；廣西科學(xué)研究與技術(shù)開發(fā)計(jì)劃資助項(xiàng)目(桂科攻14122007-5)；桂林電子科技大學(xué)研究生教育教學(xué)改革項(xiàng)目(YJG201402)

2016-02-29