(安徽工業(yè)大學電氣與信息工程學院，安徽馬鞍山243032)

為規(guī)范工廠倉儲管理，企業(yè)要求行人、車輛等按照規(guī)定的出入口進出，且貨車通道不允許行人及其他車輛通過，利用攝像機傳回圖像實時檢測與識別成為有效方案之一?；谝曈X的目標識別方法一般采用各種人工設計的特征+分類器的方式，如使用方向梯度直方圖(HoG)[1-2]、Haar[3-4]、SURF[5]等特征或其變體和組合，將設計特征輸入到一個可訓練分類器，如SVM[6-7]、AdaBoost[8]等，再通過有監(jiān)督的訓練方式獲得最終識別結果。董天陽等[9]利用Haar特征+Adaboost分類器的方法對車輛進行識別，但這種方式通常訓練比較復雜，算法的實時性也無法得到保證。李天劍等[10]嘗試使用Densenet[11]+SSD(Single Shot-multibox Detector)的方法解決工業(yè)現場智能叉車對托盤的檢測識別問題，這種方法省略了繁瑣的特征篩選，簡化了訓練過程，在保證識別精度的同時也能較大提高算法的實時性。在此基礎上，提出一種融合Darknet19[12]與SSD模型[13]的車輛識別模型用于工業(yè)廠區(qū)特定車輛的檢測和識別。首先在Caffe框架下利用ImageNet[14]數據集對Darknet19網絡進行預訓練，然后用預訓練后的網絡替換SSD模型中的基礎分類網絡VGG16[15]，并利用Pascal VOC[16]數據集對新網絡進行訓練，最后使用私有數據集對訓練后的網絡進行微調。

1 Darknet19模型

Darknet19是Redmon等[12]提出的一種網絡模型，在VGG16的基礎上引入1×1卷積、批歸一化(Batch Normalization,BN)，并在每一次池化操作后把通道數翻倍，使Darknet19模型在精度相對VGG16變化不大的情況下大幅度減小模型的參數量及浮點運算量。Darknet19網絡模型結構與VGG16模型類似，主要差異在于Darknet在每組卷積核尺寸為3×3的卷積層中間添加一層卷積核尺寸為1×1的卷積層，且卷積核尺寸為1×1的卷積層通道數均為相鄰卷積層通道數的1/2。Darknet19模型的具體結構如表1。

表1 Darknet19網絡模型Tab.1 Network model of Darknet19

1.1 卷積運算

以二維圖像及相應的二維卷積核進行卷積運算，卷積核包含兩種尺寸，分別為3×3和1×1,如式(1)

其中：G(i,j)為卷積結果；I(i,j)為輸入圖像中第i行第j列的像素；H(q,n)為卷積核中第q行第n列的元素。

1.2 批歸一化

批歸一化的原理是將數據輸入卷積層之前對數據進行歸一化處理，為避免歸一化卷積層學習到的特征受到影響，在歸一化的基礎上引入可學習參數γ，β對歸一化后的數據進行比例縮放和位移。批歸一化的前向傳播與反向傳播的流程如圖1，圖中實線為前向傳播過程，虛線為反向傳播過程。其中：x與y分別為批歸一化操作的輸入數據與輸出數據；dx，dy分別為反向傳播過程輸出與輸入的梯度；dγ，dβ分別為通過反向傳播得到的可學習參數γ與β的梯度

圖1 批歸一化層前向/反向傳播Fig.1 Forward/back propagation of BN layer

2 車輛檢測卷積網絡模型設計

構建的車輛檢測卷積神經網絡模型是一個融合Darknet19與SSD的回歸檢測模型。該模型設計的思路是在基礎網絡環(huán)節(jié)使用Darknet19模型中conv6_2之前的網絡以代替SSD模型中的VGG16網絡，在預測階段，根據conv4_3，conv6_1，conv7_2，conv8_2，conv9_2及conv10_2卷積層得到的6種不同尺度的特征圖預測物體邊界框（Bounding Box）位置及相應的置信度。

2.1 邊界框預測

為預測目標物體的邊界框位置，使用回歸的方法預測邊界框的位置信息，包括邊界框的幾何中心坐標(cx,cy)及其長度(w)與高度(h)。其損失函數如式(2)。

2.2 置信度預測

對于每一個預選框，除需生成位置偏差估計以外，還需根據設定的網絡節(jié)點對c+1個(c個類別和1個背景)類別分別計算置信度，用以判斷該框所在位置包含目標的類別。其損失函數采用Softmax損失函數表示，如式(3)。

2.3 迭代損失函數

迭代損失函數與SSD中的相同，是預測的位置損失Lloc與置信度損失Lconf的加權和，如式(4)。

其中α為位置損失Lloc的權重系數，一般情況下令α=1。

2.4 預選框生成

使用不同尺度特征中的預選框對目標區(qū)域進行處理，而同一種尺度特征下又包含不同尺度的預選框，從而使預選框可覆蓋輸入圖像中各種形狀和大小的目標區(qū)域。每個特征圖上，第b類預選框尺度計算如下式。

其中：Smin與Smax分別為設定所有尺度特征圖中預選框的最大與最小比率，Smin=0.2,Smax=0.9；d為特征尺度的數量。

預選框的長寬比設為a,a∈{1,2,3,1/2,1/3}，長寬比為1時，額外增加一個預選框，該框的尺度每一個預選框，寬、高、中心點計算如下式。

3 實驗與結果分析

3.1 數據準備與標注

實驗所用數據由廠房監(jiān)控視頻處理得到，將視頻中的每幀圖片單獨提取，原始視頻圖像的分辨率為1 920×1 080，為縮短訓練耗時，將圖像縮小為原來的0.3倍作為最終樣本，使用開源的圖像標注工具LabelImg對生成的1 800張樣本圖像進行標注并生成Pascal VOC格式的xml標注文件。樣本產生的標注圖如圖2。

圖2 樣本標注Fig.2 Sample labelling

3.2 訓練結果分析

訓練共分為3個階段，首先在Caffe中預訓練Darknet19網絡；然后將訓練好的模型與SSD模型結合，并使用Pascal VOC數據集調優(yōu)；最后使用私有數據進行微調。

3.2.1 圖像分類網絡模型訓練

Darknet19網絡提出時是在Darknet中訓練的，Caffe框架中無法直接使用Darknet訓練出的網絡參數，所以在Caffe環(huán)境中重新訓練該網絡。為更好地保護網絡的神經元在訓練過程中不會大面積壞死，將激活函數改為pReLU，在ImageNet Val測試集中獲得了71.6%的準確率。

3.2.2 目標檢測模型訓練

在訓練好的Darknet19模型參數基礎上，使用PASCAL VOC 07+12(16 551張樣本圖像)進行訓練，PASCAL VOC數據集中的目標物體相對較大，故將生成預選框的尺度范圍設為20%～90%。各尺度特征層對應的預選框寬高比分別為{2,1/2}，{2,3,1/2,1/3}，{2,3,1/2,1/3}，{2,3,1/2,1/3}，{2,1/2}及{2,1/2}。將Darknet19網絡中Maxpool5的參數由大小為2×2、步長為2改為大小為3×3、步長為1并增加一個像素的填充，然后刪除conv6_3之后的網絡，使用隨機梯度下降法對該模型進行微調。為在預訓練模型的基礎上更好地訓練新添加的網絡，在將預訓練模型中各層參數凍結的情況下，分別使用10-2與10-3的學習率各訓練2×104次。對新添加的網絡訓練到一定程度后，再恢復預訓練模型中各層參數學習更新的能力，并分別使用10-3，10-4和10-5的學習率各訓練40 000，30 000，20 000次。實驗所用的計算機CPU型號為Intel Core i7-6800K，GPU為GTX1080Ti。當預測框與標簽框的重疊率＞0.5時，在PASCAL VOC test2007（共4 952張樣本圖像）中的測試結果如表2。

表2 在Pascal VOC2007上的測試指標Tab.2 Test index on Pascal VOC2007

由表2可知：相比Faster R-CNN(VGG)[17]模型，本文模型在測試精度得到提升的同時大幅提高了檢測幀率；相對于Densenet+SSD[10]及YOLO[18]模型，本文模型無論在檢測精度還是在檢測幀率方面均有大幅提高；相對于SSD300[13]模型，本文模型測試精度稍低，但由于基礎網絡的計算量得到大幅削減，檢測幀率得到了有效提升；與YOLOv2 352×352[12]相比，本文模型測試精度與其相當，檢測速度方面，在硬件性能較弱的情況下稍低于YOLOv2 352×352[12]。由此表明本文模型在保證檢測精度的同時可有效提升檢測的實時性，為后續(xù)在硬件性能較弱的情況下仍可有效應用奠定了基礎。

使用私有數據集微調后，在測試集中得到的平均查準率為99.2%。經分析得知，導致最終平均查準率無法繼續(xù)提升的原因主要是SSD模型對小目標不敏感。但在實際應用場景中，識別的目標是針對從貨車通道通行的貨車，因此對小目標不敏感不會對系統的應用造成影響，且在檢測速度上較以往模型有較大提升，故本文模型能夠滿足工業(yè)廠房中對貨運車輛識別的特定需求。圖3為本模型在測試集中得到的部分識別結果，由圖3可看出采用本文模型可準確對各類目標進行識別。

4 結 論

為解決工廠倉儲環(huán)境中無人門禁系統識別出貨運車輛的問題，通過采集真實場景大量圖片并進行人工標注，構建相應私有數據集，提出一種融合Darknet19網絡與SSD模型的車輛檢測與識別模型。該模型結合了Darknet計算量小與SSD模型平均查準率較高的優(yōu)點，成功實現了通過攝像機傳回的圖像實時識別出可放行的貨車與不可放行的行人和其他車輛，避免了傳統方案中需不斷進行人工干預的問題。該方案已成功應用于某工業(yè)廠房貨車通道中的車輛、行人與其他車輛的有效識別中。

圖3 測試結果Fig.3 Results of tests