林海，龐妙珍，劉天成

（1.湛江幼兒師范專科學(xué)校，湛江524300；2.遂溪縣第一中學(xué)，湛江524300）

0 引言

隨著人工智能與新一代信息技術(shù)的發(fā)展，CNN車型識別技術(shù)是智能公路治超、智慧安防、智能交通系統(tǒng)、自動駕駛等領(lǐng)域中的重要人工智能技術(shù)。馬秀[1]研究了一種基于快速R-CNN的車型識別算法。通過目標(biāo)檢測網(wǎng)絡(luò)進行圖像特征提取，經(jīng)過RPN算法，對車輛進行精細化檢測，使用Softmax-SVM集成模型分割目標(biāo)區(qū)域，實現(xiàn)了對車型的識別。針對車型數(shù)據(jù)集的特點，費東煒[2]提出了一種適用于車型識別的數(shù)據(jù)增廣方法，有效提升了小樣本車型識別的準(zhǔn)確率。通過采用改進的HashNet網(wǎng)絡(luò)對車輛的二值特征表達進行學(xué)習(xí)，以全局平均池化層替換HashNet中的部分全連接層，大幅度減少了參數(shù)數(shù)量，提升了前向計算速度和網(wǎng)絡(luò)性能。在車型識別中，帶標(biāo)簽車型數(shù)據(jù)的數(shù)量是影響車型識別的重要因素。楊昌東等[3]以“增強數(shù)據(jù)”為核心，結(jié)合PGGAN和Attention機制，提出一種基于對抗網(wǎng)絡(luò)的再分類的網(wǎng)絡(luò)模型ATPGGAN，由生成網(wǎng)絡(luò)和分類網(wǎng)絡(luò)組成。使用生成網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)進行增強擴充，運用注意力機制和標(biāo)簽重嵌入方法對網(wǎng)絡(luò)進行再優(yōu)化使其生成圖像細節(jié)更加完善，從而提高車型識別準(zhǔn)確率。

雖然，目前CNN車型識別技術(shù)已經(jīng)發(fā)展的比較成熟，但是以上方法存在模型復(fù)雜度高的計算成本高、分類速度慢，模型復(fù)雜度低的靈敏度低和分類精度低等問題。為了提高當(dāng)前車載和野外環(huán)境安裝的低配置設(shè)備車型識別系統(tǒng)的分類精確度，本文提出了一種CNN輕量型分類網(wǎng)絡(luò)DGNet用于車型識別，該方法以DarkNet53網(wǎng)絡(luò)為基礎(chǔ)，沿用了原網(wǎng)絡(luò)的濾波器尺寸，保持了基本體系結(jié)構(gòu)的優(yōu)勢，設(shè)計了輕量型Ghost-Conv模塊，能夠在提高分類精度的同時，大幅降低了計算成本，并提高了分類的速度，經(jīng)過實驗表明本文方法在模型參數(shù)、分類精確度、分類速度上都取得了較好的平衡。本文貢獻如下：

（1）提出了新的輕量型分類網(wǎng)絡(luò)DGNet。

（2）設(shè)計了Ghost-Conv模塊，完成對DarkNet53網(wǎng)絡(luò)的改造，使DGNet更適合在配置低的設(shè)備中運行車型識別系統(tǒng)。

1 相關(guān)工作

1.1 輕量型圖像分類網(wǎng)絡(luò)

目前基于CNN深度學(xué)習(xí)的圖像分類方法，往往存在模型復(fù)雜度高，計算成本高的現(xiàn)象。因此，研究輕量化CNN圖像分類方法是當(dāng)今的熱門議題。Sandler等[4]提出了一種新的移動架構(gòu)MobileNet，它提高了移動模型在多個任務(wù)和基準(zhǔn)測試以及不同模型大小范圍內(nèi)的最新性能。該模型基于反向殘差結(jié)構(gòu)，其中殘差塊的輸入、輸出是薄瓶頸層，使用了輕量級深度卷積來過濾中間擴展層中的特征，從而達到了減少計算成本的效果。楊遠飛[5]提出了基于輕量型的卷積神經(jīng)網(wǎng)絡(luò)模型，首先，把上層輸出通過數(shù)量較少的卷積核，然后，通過并行操作得到與原模型相同維度的輸出行輸出整合在一起。和同規(guī)模的模型相比，該模型在減少參數(shù)的同時增加了網(wǎng)絡(luò)的深度，在保持精度的前提下減少了結(jié)構(gòu)參數(shù)量和計算量。針對分組卷積引起的分組通道間不流通的問題，董藝威[6]提出了奇異瓶頸，基于SqueezeNet網(wǎng)絡(luò)，提出輕量化結(jié)構(gòu)SlimNet，在分類精度、結(jié)構(gòu)參數(shù)量及計算量上均優(yōu)于SqueezeNet。

1.2 GhostNet

為了減少最新的深度神經(jīng)網(wǎng)絡(luò)的計算成本，Han等設(shè)計了GhostNet[7]，提出了一種用于構(gòu)建高效的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的新模塊GhostModule。首先，將原始卷積層分為兩部分，使用一半的卷積核來生成原始特征圖，然后，進一步使用廉價變換操作以高效產(chǎn)生另外一半幻影特征圖，最后，進行合并生成特征圖。在基準(zhǔn)模型和數(shù)據(jù)集上進行的實驗表明，GhostModule是一個即插即用的模塊，能夠?qū)⒃寄Ｐ娃D(zhuǎn)換為更輕量化的模型，同時保持可比的性能。此外，在效率和準(zhǔn)確性方面，使用提出的GhostModule構(gòu)建的GhostNet均優(yōu)于原始模型。

1.3 DarkNet53特征提取網(wǎng)絡(luò)

DarkNet53是由Joseph Redmon[8]提出的圖像特征提取主干網(wǎng)絡(luò)。該網(wǎng)絡(luò)包括了5個Stage單元（每個單元中都包含有重復(fù)結(jié)構(gòu)的殘差單元，分別重復(fù)重復(fù)1次、2次、8次、8次、4次），共53層，網(wǎng)絡(luò)結(jié)構(gòu)相對復(fù)雜。該網(wǎng)絡(luò)模型結(jié)合了深度殘差網(wǎng)絡(luò)ResNet和DarkNet19的特點，分類精確度可與最先進的分類器相媲美，而且浮點運算更少，速度更快。例如Dark?Net53比ResNet101性能更好，而且分類速度更快，這主要是因為ResNet101的層數(shù)太多，從而增加了運算成本。不過在沒有GPU的低配備的設(shè)備中運行，由于模型參數(shù)較大，該網(wǎng)絡(luò)運行速度與輕量型網(wǎng)絡(luò)相比還是比較慢。

2 DGNet網(wǎng)絡(luò)

2.1 DGNet網(wǎng)絡(luò)的構(gòu)建

DGNet網(wǎng)絡(luò)是基于DarkNet53網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的圖像分類網(wǎng)絡(luò)，沿用了網(wǎng)絡(luò)的濾波器尺寸，保持了基本體系結(jié)構(gòu)的優(yōu)勢，如表1所示，DGNet網(wǎng)絡(luò)除去最后一個Connected（全連接層）總共6個卷積層和46個Ghost-Conv作為主體網(wǎng)絡(luò)。首先是3×3，32通道的卷積層Conv提取圖像的初始特征，然后是5組重復(fù)的Stage，每個Stage由1個單獨的卷積層Conv與一組重復(fù)執(zhí)行的殘差單元構(gòu)成，重復(fù)執(zhí)行的殘差單元分別重復(fù)1次、2次、8次、8次、4次；在每個重復(fù)執(zhí)行的殘差單元中，先執(zhí)行1×1的Ghost-Conv操作，再執(zhí)行3×3的Ghost-Conv操作，Ghost-Conv通道數(shù)量先減半，再恢復(fù)。最后是全連接層和輸出。

表1 DGNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 Ghost-Conv模塊

Ghost-Conv模塊的設(shè)計如圖1所示，使用了GhostNet中的GhostModule提取圖像特征圖，并根據(jù)kernel_size的值，決定GhostModule所使用的激活函數(shù)以及其他參數(shù)。Ghost-Conv一共有46個，占據(jù)了整個網(wǎng)絡(luò)88%的計算量，是DGNet網(wǎng)絡(luò)輕量化的關(guān)鍵設(shè)計。我們使用Ghost-Conv替換原DarkNet53模型Stage單元中的Conv，通過GhostModule使用更少的參數(shù)來生成與Conv相同數(shù)量的特征圖，從而減少計算成本和提高分類運行速度。

圖1 Ghost-Conv模塊

它大約等于加速比。經(jīng)實驗證明，減少的計算成本相當(dāng)于原來的一半，運行速度也加快了一半。

2.3 激活函數(shù)

為了提高網(wǎng)絡(luò)的學(xué)習(xí)能力，提升梯度的傳遞效率。Ghost-Conv模塊使用的激活函數(shù)主要有Leaky?ReLU和mish，在濾波器尺寸為1×1的Ghost-Conv中使用的是LeakyReLU激活函數(shù)降低計算成本，在濾波器尺寸為3×3的Ghost-Conv使用的是mish激活函數(shù)，使用計算精度更高的mish激活函數(shù)有利于提高分類的精度，mish激活函數(shù)的計算公式如下：

mish激活函數(shù)在負值的時候，曲線并不是完全截斷的，而是允許比較小的負梯度流入，從而保證信息流動。

LeakyReLU激活函數(shù)的計算公式如下：

LReLU是ReLU的變體，對輸入小于0部分的反應(yīng)有所變化，減輕了ReLU的稀疏性，negative_slop這個系數(shù)保證在輸入小于0的時候有微弱的輸出，緩解一些ReLU導(dǎo)致神經(jīng)元死亡的問題。

2.4 損失函數(shù)

其中，N為最小值，θ為模型參數(shù)。在訓(xùn)練數(shù)據(jù)集過程中，梯度下降得到模型參數(shù)θ=（θ1,θ2,…,θc），最終取得損失函數(shù)的全局最優(yōu)解。

3 實驗數(shù)據(jù)與結(jié)果分析

3.1 實驗數(shù)據(jù)集和實驗設(shè)備配置

車輛車型識別數(shù)據(jù)集我們采用BIT-Vehicle數(shù)據(jù)集，包含9850張車輛圖像。數(shù)據(jù)集中有1600×1200和1920×1080兩個攝像頭在不同時間、不同地點拍攝的圖像。圖像包含照明條件、比例、車輛表面顏色和視點的變化。數(shù)據(jù)集中的車輛分為6類：公共汽車、面包車、小型貨車、轎車、SUV和卡車。每種車型的車輛數(shù)量分別為558、883、476、5922、1392和822輛。如圖2所示。模型算法運用PyTorch深度學(xué)習(xí)框架實現(xiàn)，模型訓(xùn)練平臺為Ubuntu 16.4 64位系統(tǒng)，顯卡為8張NVIDIA GTX 2080 Ti顯卡，每張顯卡顯存為8G。初始學(xué)習(xí)率、batch分別設(shè)置為0.01、1000，從數(shù)據(jù)集圖像數(shù)據(jù)中，隨機選擇7200張用于訓(xùn)練，1800張用于驗證和850張用于測試。

圖2 BIT-Vehicle數(shù)據(jù)集

3.2 BIT-Vehicle數(shù)據(jù)集的正確率對比實驗

為了驗證DGNet網(wǎng)絡(luò)的車型識別有效性，我們在BIT-Vehicle數(shù)據(jù)集上進行了訓(xùn)練和評估。評估平臺選用只帶集顯的低配PC，硬件配置為：CPU為Intel Core i3，內(nèi)存 為4G，并和MobileNetV3、Dark?Net53兩種分類方法進行了對比。如圖3和表2所示，分類準(zhǔn)確率較低的是MobileNetv3網(wǎng)絡(luò)，Top1 Acc值為77.3，這主要是因為該網(wǎng)絡(luò)深度不夠，從而影響了分類的精度，不過該模型參數(shù)是最低的，size值為14，由于網(wǎng)絡(luò)比較簡單，分類速度也是最快的。Dark?Net53網(wǎng)絡(luò)的Top1 Acc值為86.5，由于采用了53個卷積層結(jié)構(gòu)，網(wǎng)絡(luò)的復(fù)雜度高，分類的精度有很大的提升，不過模型參數(shù)也是最大的，size值為162，分類速度也是最慢的，比MobileNetV3慢了將近兩倍。本文方法DGNet網(wǎng)絡(luò)的Top1 Acc值為92.3，是目前圖像分類方法中精度非常高的模型。由于采用了Ghost-Conv模塊，因此在參數(shù)減少量方面比原模型減少了將近一半，size值為83，分類速度上也相應(yīng)提高了將近一倍的速度。與MobileNetV3對比，雖然在模型參數(shù)上有所增加，但也屬于輕量型分類方法，并且在分類精度上有了更大的提高，因此本文方法在模型參數(shù)、分類精確度、分類速度上都取得了較好的平衡。

表2 3種網(wǎng)絡(luò)在BIT-Vehicle數(shù)據(jù)集的實驗數(shù)據(jù)對比

圖3 3種分類網(wǎng)絡(luò)

在BIT-Vehicle數(shù)據(jù)集的Top1 Acc、平均分類時間與模型參數(shù)的氣泡圖，Y軸表示Top1 Acc，氣泡大小代表模型參數(shù)，X軸表示平均分類時間

3.3 損失率對比實驗

為了對比MobileNetV3、DarkNet53、DGNet分類網(wǎng)絡(luò)損失率的情況，我們在BIT-Vehicle數(shù)據(jù)集上進行了訓(xùn)練。根據(jù)訓(xùn)練后的分類結(jié)果，我們分別繪制了3種分類網(wǎng)絡(luò)的損失率曲線圖，如圖4所示，Mobile?NetV3的收斂速度比較慢，損失率相對比較高，這是由于網(wǎng)絡(luò)的深度不夠，圖像特征提取能力比較弱造成的。DarkNet53的損失率曲線與DGNet的相近，這主要是由于兩種方法在網(wǎng)絡(luò)結(jié)構(gòu)上是相同的，DGNet的收斂速度是3種方法中最快的，損失率也是最低的。由此可見采用了Ghost-Conv模塊和Softmax-Loss損失函數(shù)，有助于提高訓(xùn)練過程中的收斂速度和降低損失率。

圖4 3種分類網(wǎng)絡(luò)的在BIT-Vehicle數(shù)據(jù)集上的損失率

4 結(jié)語

CNN分類方法相對傳統(tǒng)分類算法在分類精度上有了很大的提高，本文以DarkNet53網(wǎng)絡(luò)為基礎(chǔ)，提出了一種新的圖像分類網(wǎng)絡(luò)DGNet用于車型識別，通過實驗對比發(fā)現(xiàn)，本文方法相對于原模型Dark?Net53進一步減少了網(wǎng)絡(luò)參數(shù)，降低了運算成本，分類速度提高了一半，分類精度也有所提升，能夠高效運行在沒有GPU的低配置設(shè)備中，適合在車載和野外環(huán)境中應(yīng)用。在未來的實驗探索中，可以繼續(xù)研究具有更多特性的特征提取網(wǎng)絡(luò)，在數(shù)據(jù)集的采樣中將對更多的車輛顏色、型號、朝向進行收集，以進一步提高分類的精度。