王陳甜，張寧，劉禹佳

（1.長春理工大學(xué) 光電工程學(xué)院，長春 130022；2.長春工程學(xué)院 電氣與信息工程學(xué)院，長春 130012）

隨著經(jīng)濟(jì)的發(fā)展，汽車總量和人均汽車保有量迅速增加，違法使用套牌車輛逃避交通管理和肇事逃逸車輛無法識清具體車型等交通問題頻發(fā)，給車輛管控工作帶來了嚴(yán)峻的形勢，復(fù)雜環(huán)境下準(zhǔn)確識別車型是重中之重。除此之外，隨著視頻監(jiān)控高清化和道路監(jiān)控的普及，海量視頻數(shù)據(jù)需要挖掘圖片深層信息，有效地提取有用信息，去除冗余信息，在節(jié)省數(shù)據(jù)儲存空間的同時高效處理關(guān)鍵信息。

目前傳統(tǒng)的車型識別方法是手工提取特征，在對特征選取和處理方面效率不高，人工選擇特征魯棒性較差、泛化能力較弱，難以滿足人們對車輛識別的要求，在圖像識別領(lǐng)域已經(jīng)落后。在這種背景下，發(fā)展迅速的互聯(lián)網(wǎng)技術(shù)與車輛模式識別方法開始逐步結(jié)合，卷積神經(jīng)網(wǎng)絡(luò)漸漸的靈活應(yīng)用在道路管理上。

文獻(xiàn)［1］針對于車前臉區(qū)域進(jìn)行定位分析，提出了一種梯度方向直方圖的識別算法，從各個子區(qū)域分類器分類，準(zhǔn)確率達(dá)到了93.5%。文獻(xiàn)［2］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的車標(biāo)識別方法，通過多層的特征學(xué)習(xí)，直接從訓(xùn)練樣本中提取特征，平均準(zhǔn)確率達(dá)到98.28%和低于每張3 ms的收斂速度，證明了該模型對于車標(biāo)優(yōu)化的特異性。利用HOG特征結(jié)合支持向量機(jī)的識別方法［3］，將傳統(tǒng)車牌識別準(zhǔn)確率提高10%左右，車牌識別技術(shù)已經(jīng)趨于成熟化、日常化。孫盛等人［4］以方向梯度直方圖（HOG）為描述算子，表征車前燈區(qū)域的形狀特征，利用支持向量機(jī)分類器，完成車輛品牌的分類。

汪子杰等人［5］首先引入卷積思想分類器進(jìn)行分類，在車輛識別精度和速度上有很大提升。隨后張潔等人［6］采用了交叉熵代價函數(shù)與損失函數(shù)結(jié)合，利用深度卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類，針對復(fù)雜背景下的車型細(xì)粒度識別有較好的效果?；诰矸e神經(jīng)網(wǎng)絡(luò)的各層特征圖，生成加權(quán)特征地圖，可以實現(xiàn)細(xì)粒度的車輛分類。

蔣行國等人［7］提出一種改進(jìn)的殘差結(jié)構(gòu)特征提取網(wǎng)絡(luò)，對其結(jié)構(gòu)進(jìn)行加寬改進(jìn)，結(jié)合使用基于可調(diào)類間距的度量學(xué)習(xí)方法（Large-Margin Softmax Loss）進(jìn)行車型識別，加快整體網(wǎng)絡(luò)的收斂速度。

對于圖像分類任務(wù)來說，卷積神經(jīng)網(wǎng)絡(luò)通過卷積不同特征可以達(dá)到更好的學(xué)習(xí)效果。在卷積神經(jīng)網(wǎng)絡(luò)中最基礎(chǔ)的就是AlexNet網(wǎng)絡(luò)，并且廣泛地應(yīng)用在圖像分類領(lǐng)域，比如遙感地圖、表情識別、紅外檢測、星圖識別、農(nóng)作物疾病和醫(yī)學(xué)圖像檢測等各個方面［8-14］。

本文以車燈為研究對象，截取車輛圖片中車燈局部圖像，以各方向單側(cè)車燈圖片為數(shù)據(jù)集，以便于全面采集車燈局部特征。通過對收集到的小樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理，增加該數(shù)據(jù)集數(shù)量的同時也可以減輕網(wǎng)絡(luò)過擬合，提升泛化能力，避免因為原始數(shù)據(jù)量過小使得參數(shù)眾多的卷積神經(jīng)網(wǎng)絡(luò)陷入過擬合中。最后，根據(jù)原始可視化圖像對于網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，在卷積層上添加3×3，1×1層，增加可視化能力強(qiáng)的特征中間層，對全連接層進(jìn)行參數(shù)優(yōu)化，得出IM-AlexNet網(wǎng)絡(luò)模型，完成對同一型號下車輛不同品牌的分類任務(wù)。

1 車型分類算法相關(guān)原理

卷積神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)提取圖像特征，最終獲得了能夠表征圖像的高級語義特征。網(wǎng)絡(luò)越靠近輸出層，圖像的特征表示就越抽象，高級語義特征就越豐富，就越能表現(xiàn)圖像的本質(zhì)，在圖像分類任務(wù)中識別能力就越強(qiáng)。卷積神經(jīng)網(wǎng)絡(luò)有三個重要特征，權(quán)值共享和局部連接減少了網(wǎng)絡(luò)參數(shù)量，下采樣可以提升模型的魯棒性。

8層神經(jīng)網(wǎng)絡(luò)的AlexNet網(wǎng)絡(luò)中，包含5個卷積層（其中有3個卷積層后連接了最大池化層），3個全連接層（包含SoftMax層）。為了防止過擬合，采用了正則化方法“Dropout”；為了提高訓(xùn)練和運行速度，論文中采用了雙GPU的設(shè)計模式［15］，使得網(wǎng)絡(luò)運行速度更快。AlexNet網(wǎng)絡(luò)的結(jié)構(gòu)及具體參數(shù)如表1所示。

表1 AlexNet網(wǎng)絡(luò)的具體參數(shù)表

AlexNet網(wǎng)絡(luò)訓(xùn)練過程分為前向傳播和反向傳播兩個階段。在前向傳播階段，輸入層首先輸入整個圖像，輸入圖片的尺寸大小為227×227×3，在傳播過程中對每層的輸入圖片進(jìn)行相應(yīng)的特征運算，如卷積或池化運算，將輸入的特征進(jìn)行簡單運算便于分析其特征結(jié)構(gòu)與參數(shù)變化。

具體公式如下：

對于有m個樣本的數(shù)據(jù)集，網(wǎng)絡(luò)的前向傳播階段會輸出每個類別的線性預(yù)測結(jié)果，根據(jù)此結(jié)果和網(wǎng)絡(luò)期望的輸出值，在反向傳播階段（也稱為誤差傳播階段），定義網(wǎng)絡(luò)的整體目標(biāo)函數(shù)為：

其中，L(zi)是網(wǎng)絡(luò)對應(yīng)的損失函數(shù)，通過迭代訓(xùn)練最小化損失函數(shù)來降低網(wǎng)絡(luò)分類誤差，得出誤差最小值；zi為網(wǎng)絡(luò)的反向傳播的輸入，即為前向傳播公式中最后一層網(wǎng)絡(luò)的輸出；W代表網(wǎng)絡(luò)在本次迭代中所占的權(quán)值；λ代表相應(yīng)的歸一向所占比重。

AlexNet網(wǎng)絡(luò)所用損失函數(shù)為SoftMax分類器，采用分類器輸出并最小化交叉熵的損失函數(shù)。SoftMax歸一化概率函數(shù)定義如下：

其中，zi是每一個類別線性預(yù)測的結(jié)果，式（3）的意義在于每個預(yù)測結(jié)果會和總和中最大結(jié)果進(jìn)行相消，其目的是保持計算時的數(shù)值穩(wěn)定性，因為網(wǎng)絡(luò)最后會做歸一化處理，減去最大值不會對最終結(jié)果造成影響。同時，根據(jù)σi()z來預(yù)測輸入zi屬于每一個類別的概率。在此基礎(chǔ)上定義損失函數(shù)為：

通過梯度下降算法對正向傳播公式中每一層參數(shù)W和bl求導(dǎo)，得到網(wǎng)絡(luò)參數(shù)的更新值，最小化損失函數(shù)以得到效果最好的網(wǎng)絡(luò)模型［17］。

2 針對網(wǎng)絡(luò)的改進(jìn)算法

2.1 數(shù)據(jù)集預(yù)處理

由于車輛車燈局部圖片很少，如果直接進(jìn)行訓(xùn)練模型容易出現(xiàn)過擬合的現(xiàn)象，所以需要對現(xiàn)存較小的數(shù)據(jù)集進(jìn)行簡單處理。本文對收集到的圖像采用數(shù)據(jù)增強(qiáng)［18-20］的方法，對數(shù)據(jù)集進(jìn)行擴(kuò)充增加，可以得到泛化能力更強(qiáng)的網(wǎng)絡(luò)來更好地適應(yīng)實際應(yīng)用場景。

數(shù)據(jù)增強(qiáng)的方法有平移、翻轉(zhuǎn)、旋轉(zhuǎn)角度、隨機(jī)顏色、隨機(jī)裁剪、加入噪聲等增強(qiáng)方法，具體效果圖如圖1所示。本文需要注意的是在進(jìn)行旋轉(zhuǎn)操作時，不需要對圖片進(jìn)行大角度旋轉(zhuǎn)，因為大角度翻轉(zhuǎn)不適用于車輛實際場景中，所以進(jìn)行小角度旋轉(zhuǎn)即可。

圖1 四種數(shù)據(jù)增強(qiáng)效果圖

2.2 模型結(jié)構(gòu)的改進(jìn)

隨著模型的加深，模型可以更好地擬合特征，出現(xiàn)更好的非線性表達(dá)能力，可以學(xué)習(xí)更復(fù)雜的變化，從而擬合更加復(fù)雜的特征輸入。而隨著網(wǎng)絡(luò)的深度加深帶來的梯度不穩(wěn)定，網(wǎng)絡(luò)退化的問題也更加突出，可能會出現(xiàn)網(wǎng)絡(luò)加深，性能反而下降的現(xiàn)象，所以網(wǎng)絡(luò)的深度不是越深越好。另外，網(wǎng)絡(luò)的寬度可以讓每一層學(xué)習(xí)到豐富的特征，比如不同方向、不同頻率的紋理特征。網(wǎng)絡(luò)太窄，每一層能捕獲的模式有限，即使網(wǎng)絡(luò)再深都不可能提取到足夠的信息往下層傳遞，并且有些函數(shù)是需要足夠?qū)挷拍軌虮磉_(dá)出來。

對于網(wǎng)絡(luò)的中間層特征矩陣進(jìn)行可視化，如圖2所示，從AlexNet網(wǎng)絡(luò)的卷積層輸出可以發(fā)現(xiàn)，卷積核尺寸為3×3的卷積層數(shù)對于輸入圖像有比較明顯的信息反應(yīng)。

圖2 不同卷積核下可視化中間層特征圖效果

針對上述信息，本文對于AlexNet網(wǎng)絡(luò)作出如下改進(jìn)：

改進(jìn)一：增加網(wǎng)絡(luò)的深度，將卷積層增加至七層，增加卷積核為3×3的卷積層，使網(wǎng)絡(luò)深度增加，泛化能力增強(qiáng)，并且將原網(wǎng)絡(luò)中的5×5卷積層替換為兩個3×3卷積層，增加網(wǎng)絡(luò)深度的同時，減少了訓(xùn)練的參數(shù)個數(shù)，提高網(wǎng)絡(luò)的性能。

改進(jìn)二：第一層卷積核尺寸降低為9×9，再連接3×3的五層卷積，通過步長為2的下采樣層進(jìn)行池化操作，最后再添加1×1的卷積層，實現(xiàn)跨通道交互和信息整合且不會改變輸入的大小。最后全連接為三層，隨機(jī)失活20%的神經(jīng)元，降低全連接層的神經(jīng)元為2 048和1 024，減少運算過程中的參數(shù)量，加快網(wǎng)絡(luò)收斂速度。

由此得出優(yōu)化后的IM-AlexNet模型，增加了卷積核尺寸為3×3的卷積層，擴(kuò)大了卷積效果，增加了網(wǎng)絡(luò)深度的同時不增加參數(shù)量，對分類任務(wù)有較好的預(yù)測效果。其結(jié)構(gòu)圖如圖3所示。

圖3 IM-AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

2.3 模型參數(shù)的遷移

遷移學(xué)習(xí)常用在小數(shù)據(jù)分類任務(wù)中，其意義是在通用領(lǐng)域的任務(wù)上對模型參數(shù)進(jìn)行預(yù)訓(xùn)練，然后在具體領(lǐng)域的任務(wù)上對預(yù)訓(xùn)練的模型進(jìn)行微調(diào)，從而保證模型有較快的收斂速度，且對目標(biāo)領(lǐng)域任務(wù)中的訓(xùn)練數(shù)據(jù)量要求較小。簡單來說就是將一層層網(wǎng)絡(luò)中每個節(jié)點的權(quán)重從一個訓(xùn)練好的網(wǎng)絡(luò)遷移到一個全新的網(wǎng)絡(luò)里。

本文采用已經(jīng)在大型數(shù)據(jù)集上訓(xùn)練好的AlexNet網(wǎng)絡(luò)，將原有層權(quán)重和參數(shù)遷移到新的改進(jìn)網(wǎng)絡(luò)中，其效果如圖4所示。它的作用是可以利用遷移學(xué)習(xí)來提高模型的穩(wěn)定性和泛化性，不至于因為一個像素的變化而改變分類結(jié)果，也能夠在小數(shù)據(jù)集上有良好的性能。

圖4 層權(quán)重遷移學(xué)習(xí)過程

3 實驗平臺參數(shù)及評價指標(biāo)

本文的實驗流程如圖5所示。首先將數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集隨機(jī)打亂后劃分，用于輸入網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。然后構(gòu)建并且預(yù)處理原始AlexNet網(wǎng)絡(luò)，針對具體情況，本文將雙GPU通道下并行的網(wǎng)絡(luò)進(jìn)行微調(diào)，將所有卷積層的卷積核數(shù)量合并，并且在全連接層中為了減少參數(shù)量，將全連接層最后一層改為5層，因為本文數(shù)據(jù)集是針對五類數(shù)據(jù)進(jìn)行分類的。訓(xùn)練后可以得出初始網(wǎng)絡(luò)的準(zhǔn)確率，參數(shù)量和網(wǎng)絡(luò)模型等具體參數(shù)。同時進(jìn)行網(wǎng)絡(luò)模型的優(yōu)化，再進(jìn)行上述步驟訓(xùn)練模型得出優(yōu)化后的數(shù)據(jù)及實驗結(jié)果。最后進(jìn)行對比實驗，針對初步結(jié)果和分類評價指標(biāo)對實驗結(jié)果進(jìn)行具體分析。

圖5 實驗流程圖

3.1 實驗平臺及參數(shù)

本實驗采用計算機(jī)配置為基于CPU運行的Win10系統(tǒng)，學(xué)習(xí)框架為tensorflow2+keras，軟件編程環(huán)境為python3.7。

本實驗使用自建數(shù)據(jù)集，該數(shù)據(jù)集包括5類經(jīng)網(wǎng)絡(luò)搜索的同一品牌大眾旗下車燈局部圖片，以8∶1∶1的比例進(jìn)行隨機(jī)分配訓(xùn)練集，驗證集和測試集，總計9 358張圖片，每張圖片都包含多個汽車正面一側(cè)的單個車燈圖片。經(jīng)過數(shù)據(jù)增強(qiáng)的方法，數(shù)據(jù)集增加了大量不同角度、不同噪聲干擾、隨機(jī)剪裁等各種條件下的圖像，能夠較為真實且全面地反映出真實情況。

損失函數(shù)是用于表征真實輸出與預(yù)測值之間的損失，損失越小則預(yù)測值與真實值越接近，模型效果越好。本文選擇分類交叉熵函數(shù)（Cat‐egorical_Crossentropy）作為損失函數(shù)，不僅適用于多分類問題，而且需要在softmax作為輸出層激活函數(shù)的配合下使用。其次，其輸出誤差可以控制學(xué)習(xí)率，并且在梯度下降時，可以避免均方誤差作為損失函數(shù)帶來的學(xué)習(xí)速率逐漸降低的問題。

優(yōu)化器的作用是進(jìn)行梯度更新，最小化損失。本實驗中采用Adam優(yōu)化器（Adaptive momen‐tum），它是一種自適應(yīng)動量的隨機(jī)優(yōu)化方法，常作為神經(jīng)網(wǎng)絡(luò)中的優(yōu)化器算法。它使用“動量”和“學(xué)習(xí)率自適應(yīng)”兩種方法來加快收斂速率，本文學(xué)習(xí)率設(shè)定為0.000 1。Adam算法為不同的參數(shù)設(shè)計獨立的自適應(yīng)性學(xué)習(xí)率，使得更新梯度不會相差太大，即梯度可以平滑、穩(wěn)定的過渡，從而適應(yīng)各種不穩(wěn)定的目標(biāo)函數(shù)，獲得更快的收斂速度，計算效率較高［21-23］。

訓(xùn)練初始時需要初始化參數(shù)，輸入圖片尺寸為224×224，每次訓(xùn)練迭代為100，每組大小為128，偏向于選用2的冪次方，可以更高效地利用運算性能。

3.2 分類評價指標(biāo)

衡量分類型模型準(zhǔn)確度中最基本、最直觀、計算最簡單的方法就是混淆矩陣。其概念是對分類模型的錯誤分類和正確分類的觀測值分別進(jìn)行計數(shù)，然后將結(jié)果放入一個矩陣形式的表中。好的模型是可以良好地表達(dá)真實預(yù)測正值和真實預(yù)測負(fù)值并且越大越好，表現(xiàn)差的預(yù)測負(fù)值和預(yù)測正值則越小越好。除了混淆矩陣，還有精確率、召回率和特異度也能從側(cè)面衡量一個模型的性能，表2對各分類指標(biāo)進(jìn)行了簡單介紹。

表2 各分類評價指標(biāo)的介紹

4 實驗結(jié)果分析

為了驗證AlexNet網(wǎng)絡(luò)在卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的先驗性和基礎(chǔ)性，本文選擇了用HOG-SVM、GoogleNet和VGG16網(wǎng)絡(luò)進(jìn)行簡單實驗對比，從準(zhǔn)確率和運行速度兩個方面進(jìn)行分析。

由表3可知，手工特征提取的方法存在較大誤差，而在卷積神經(jīng)網(wǎng)絡(luò)的對比實驗中，表中用運行速度與參與網(wǎng)絡(luò)訓(xùn)練的總參數(shù)量來證明AlexNet網(wǎng)絡(luò)可靠性，由表3可知，保證硬件設(shè)備和運行環(huán)境一致情況下，參數(shù)量可以表示參與整個網(wǎng)絡(luò)訓(xùn)練的權(quán)重數(shù)量，參數(shù)量越大，所需要的硬件設(shè)備要求越高，運算量越大，影響網(wǎng)絡(luò)訓(xùn)練的收斂速度。在運行速度上AlexNet網(wǎng)絡(luò)和改進(jìn)后AlexNet網(wǎng)絡(luò)遠(yuǎn)優(yōu)于其他分類網(wǎng)絡(luò)，并且網(wǎng)絡(luò)參與訓(xùn)練的總參數(shù)量也遠(yuǎn)少于其他分類網(wǎng)絡(luò)。因此本文選用AlexNet網(wǎng)絡(luò)做基礎(chǔ)改進(jìn)的思路正確。

表3 四種模型的對比分析/（s/step）

為了驗證參數(shù)優(yōu)化改進(jìn)后的模型在車燈圖像識別方面是否具有良好的分類效果和準(zhǔn)確率，首先將原有AlexNet網(wǎng)絡(luò)和IM-AlexNet模型進(jìn)行實驗對比，從損失值（Loss）和準(zhǔn)確率（Accuracy）方面進(jìn)行分析。

由圖6的兩個圖對比可知IM-AlexNet模型相比于原始模型來說，準(zhǔn)確率提高，損失值波動趨近于穩(wěn)定，在下降后逐步穩(wěn)定并且低于原始模型的穩(wěn)定值，IM-AlexNet模型效果具有泛化性和準(zhǔn)確性。在Loss曲線圖中雖然模型有較小的差異，但是在Accuracy曲線上隨著迭代次數(shù)的增加，訓(xùn)練準(zhǔn)確率和驗證準(zhǔn)確率都在逼近1.0，并且兩者差距持續(xù)不變，無法判斷模型的表達(dá)效果，但是在運行速度上，改進(jìn)模型拓寬了網(wǎng)絡(luò)深度，在參數(shù)量增加的同時收斂速度并沒有很大的影響，在運行速度上IM-AlexNet模型達(dá)到了3 s/step，收斂速度大大降低。

圖6 改進(jìn)前后網(wǎng)絡(luò)的loss值和accuracy值曲線對比圖

接下來將從更為準(zhǔn)確的混淆矩陣和其他分類指標(biāo)上去分析。原始AlexNet模型和IM-AlexNet模型的混淆矩陣圖的對比分析如圖7所示，雖然整體準(zhǔn)確率相近，但在混淆矩陣圖中可以發(fā)現(xiàn)，IM-AlexNet網(wǎng)絡(luò)模型對于五個類別的數(shù)據(jù)都有較好的識別效果。在TP和TN所表達(dá)的矩陣對角線上能夠較為集中地表達(dá)數(shù)據(jù)特性，與原始網(wǎng)絡(luò)的混淆矩陣相比，改進(jìn)后模型在類別上的分類識別效果更好。由表4所示，在比較精度、召回率和特異性上的數(shù)值可知，IM-AlexNet網(wǎng)絡(luò)模型優(yōu)于原始網(wǎng)絡(luò)，改進(jìn)效果良好。

圖7 各個分類指標(biāo)下的IM-AlexNet網(wǎng)絡(luò)訓(xùn)練結(jié)果圖

表4 原始網(wǎng)絡(luò)與IM-AlexNet網(wǎng)絡(luò)在分類指標(biāo)上的對比

5 結(jié)論

本文根據(jù)局部車燈圖片為研究對象，設(shè)計并實現(xiàn)了IM-AlexNet網(wǎng)絡(luò)模型結(jié)構(gòu)，通過調(diào)整模型參數(shù)不斷優(yōu)化，從準(zhǔn)確率和運行速度上對比實驗，驗證了本文算法在車輛局部特征車燈上識別車型的合理性和優(yōu)異度，在應(yīng)用于局部特征識別車輛型號方面得到了良好的效果。在自建數(shù)據(jù)集下，改進(jìn)后的模型在各類別下達(dá)到了69%的準(zhǔn)確性，在整體上也達(dá)到了96%的準(zhǔn)確率，沒有過多地增加參數(shù)量，收斂速度達(dá)到了3 s/step。由于數(shù)據(jù)集和電腦硬件的限制，本文并沒有對惡劣天氣下的圖片進(jìn)行分析，仍有改進(jìn)的空間。