趙 偉，胡文藝，羅荔豪，黃 元

（成都理工大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)安全學(xué)院，四川成都 610000）

汽車行業(yè)的飛速發(fā)展使得節(jié)假日的車流量成為一個(gè)居高不下的高峰，與此同時(shí)各種大小不一的停車場(chǎng)車牌識(shí)別依舊采用以往的傳統(tǒng)識(shí)別算法，傳統(tǒng)識(shí)別算法不僅存在識(shí)別準(zhǔn)確率低、設(shè)備要求高、訓(xùn)練模型耗時(shí)長(zhǎng)等問(wèn)題，而且需要人工提取特征和編碼處理，這既降低了識(shí)別的效率，還加大了識(shí)別工作的復(fù)雜度，因此其識(shí)別速度慢和準(zhǔn)確率低是導(dǎo)致停車場(chǎng)前有大量車輛擁堵的主要根源。該文構(gòu)建了一個(gè)兼具輕量化和準(zhǔn)確率的深度學(xué)習(xí)網(wǎng)絡(luò)，目的是對(duì)車牌達(dá)到高準(zhǔn)確性和實(shí)時(shí)性的識(shí)別，利用公開(kāi)攝像機(jī)在日常生活中當(dāng)?shù)赝＼噲?chǎng)拍攝實(shí)際車牌照片，基于YOLOv4 算法，改進(jìn)其特征提取網(wǎng)絡(luò)主干，縮小了模型的大小，進(jìn)一步減少參數(shù)量，從而訓(xùn)練得到模型，并對(duì)車牌進(jìn)行識(shí)別，同時(shí)進(jìn)行合理的優(yōu)化調(diào)參，盡可能提高識(shí)別準(zhǔn)確率和速度，提高模型的魯棒性以及泛化能力。

1 YOLOv4介紹

1.1 YOLOv4算法簡(jiǎn)介

YOLO 是一種目標(biāo)檢測(cè)技術(shù)，將目標(biāo)檢測(cè)視為一個(gè)回歸問(wèn)題來(lái)求解。基于一個(gè)單獨(dú)的端到端網(wǎng)絡(luò)，端到端網(wǎng)絡(luò)統(tǒng)一了處理訓(xùn)練過(guò)程的分類過(guò)程，全部交給網(wǎng)絡(luò)來(lái)處理[1]。傳統(tǒng)方法處理圖像時(shí)，首先需要人工的設(shè)計(jì)特點(diǎn)，提取圖像特征點(diǎn)，將提取的特征作為模型輸入到送入分類器[2]。使用深度學(xué)習(xí)手段之后，將特征提取交給卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成從原始圖像的輸入到物體位置和類別的輸出。從網(wǎng)絡(luò)設(shè)計(jì)上看，YOLO 與RCNN、Fast RCNN 及Faster RCNN 的區(qū)別主要在于YOLO 訓(xùn)練和檢測(cè)均是在一個(gè)單獨(dú)網(wǎng)絡(luò)中進(jìn)行，而RCNN、Fast RCNN 采用分離的模塊求取候選框，訓(xùn)練過(guò)程也是分成多個(gè)模塊進(jìn)行的[3]。

YOLOv1 利用預(yù)設(shè)好的多個(gè)網(wǎng)格單元進(jìn)行分類和回歸；YOLOv2 在前者基礎(chǔ)上引入了批量歸一化和維度聚類方法，使其速度和精度得到了一定的提升；YOLOv3 算法替換了YOLOv2 的主干網(wǎng)絡(luò)，并增加了網(wǎng)絡(luò)的層數(shù)，使其每秒傳輸幀數(shù)減少一半的同時(shí)平均精度均值提升了3.1%[4]；YOLOv4 在YOLOv3 的基礎(chǔ)上，改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)，主干部分采用了CSPDarknet53，并采用了mish 激活函數(shù)、Mosaic 數(shù)據(jù)擴(kuò)充等tricks 來(lái)進(jìn)一步提高模型準(zhǔn)確率，還加入了SPP 模塊以及PANet，預(yù)測(cè)部分大體與YOLOv3 一致[5]。

1.2 YOLOv4算法結(jié)構(gòu)

YOLOv4 的算法結(jié)構(gòu)圖如圖1 所示。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖

CSPDarkNet 利用CSP 連接并以DarkNet-53 作為提取特征骨干的網(wǎng)絡(luò)主干[6]。與基于ResNet 的設(shè)計(jì)相比，CSPDarkNet53 模型具有更高的目標(biāo)檢測(cè)精度，并且可使用mish 激活函數(shù)提高CSPDarkNet53 的分類精度。除此之外，采用CSPDarkNet 結(jié)構(gòu)還可以降低參數(shù)的數(shù)量，從而減少計(jì)算量[7]。CSPDarkNet 結(jié)構(gòu)圖如圖2 所示。

圖2 CSPDarkNet結(jié)構(gòu)圖

mish 激活函數(shù)在負(fù)值時(shí)，允許較小的負(fù)梯度流入而并非完全截?cái)?，有效避免了梯度飽和的?wèn)題[8]，同時(shí)mish 函數(shù)保證了每一點(diǎn)的平滑，使得梯度下降效果比ReLU 函數(shù)更佳[9]。mish 激活函數(shù)與其他激活函數(shù)的對(duì)比如圖3 所示。

圖3 mish與常用激活函數(shù)對(duì)比

YOLOv4 的SPP 空間金字塔池化采用5×5、9×9和13×13 三種最大池化方式，進(jìn)行多尺度的特征融合[10]，可有效增加主干特征的接收范圍。

1.3 CIoU的介紹

2 MobileNet介紹

MobileNet 模型是針對(duì)嵌入式設(shè)備提出的一種輕量級(jí)的深層神經(jīng)網(wǎng)絡(luò)，其使用的核心思想是深度可分離卷積，它將一個(gè)標(biāo)準(zhǔn)的卷積拆分成深度卷積和逐點(diǎn)卷積兩個(gè)結(jié)構(gòu)，從而產(chǎn)生新的特征，達(dá)到減少網(wǎng)絡(luò)參數(shù)，降低模型大小的目的[13]。深度卷積完成后的特征圖數(shù)量與輸入層的通道數(shù)相同而無(wú)法擴(kuò)展，并且在每個(gè)通道獨(dú)立進(jìn)行卷積運(yùn)算，因此沒(méi)有有效利用不同通道在相同空間位置上的特征信息，但逐點(diǎn)卷積可將這些特征圖進(jìn)行組合[14]。深度可分離卷積和普通卷積的對(duì)比如圖4 所示。

圖4 普通卷積和深度可分離卷積

MobileNet 的網(wǎng)絡(luò)主干結(jié)構(gòu)如圖5 所示。

圖5 MobileNet網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè)標(biāo)準(zhǔn)卷積的輸入和輸出分別為PF×PF×M的特征圖和PF×PF×N的特征圖，卷積核大小為K×K[15]，則輸出特征圖的計(jì)算公式為：

MobileNet 通過(guò)深度可分離卷積進(jìn)行計(jì)算量?jī)?yōu)化，將標(biāo)準(zhǔn)卷積轉(zhuǎn)化為深度卷積和逐點(diǎn)卷積，每層后面都會(huì)接BN 層和ReLU 激活函數(shù)。深度可分離卷積的每個(gè)輸入維度對(duì)應(yīng)一個(gè)卷積核[16]，對(duì)于相同的輸入，深度卷積的輸出特征圖計(jì)算公式為：

MobileNetV1 中為了使結(jié)構(gòu)更小且計(jì)算量更小，引入了寬度因子和分辨率因子兩個(gè)參數(shù)，寬度因子是在每層稀疏網(wǎng)絡(luò)，為每層通道乘以一定的比例，從而減少各層的通道數(shù)。分辨率因子是將每層特征圖的大小乘以一定的比例[17]。兩個(gè)參數(shù)互相作用可以平衡速度和精度，并通過(guò)減少參數(shù)量來(lái)降低計(jì)算量。一個(gè)標(biāo)準(zhǔn)卷積G的參數(shù)量為P=M×N×K×K，深度可分離卷積G＇的參數(shù)量為P＇=K×K×M+1×1×M×N，其中K×K表示卷積核的尺寸大小，M、N分別表示輸入和輸出的通道數(shù)[18]，則二者參數(shù)的比值為：

通過(guò)式（3）可進(jìn)行估算，如果卷積核尺寸選為3×3，則計(jì)算量降低為原來(lái)的1/9～1/8[19]。

該實(shí)驗(yàn)用MobileNetV1 網(wǎng)絡(luò)結(jié)構(gòu)替換YOLOv4中的特征提取主干網(wǎng)絡(luò)CSPDarkNet，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。

圖6 MobileNet_YOLOv4結(jié)構(gòu)圖

利用MobileNet 系列主干結(jié)構(gòu)得到的一個(gè)有效特征層代替原YOLOv4 中的特征層后，測(cè)試查看網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量與原YOLOv4 算法進(jìn)行比較，如表1所示。

表1 修改主干網(wǎng)絡(luò)后的參數(shù)量

為了進(jìn)一步減少模型參數(shù)，使得整個(gè)模型輕量化，該實(shí)驗(yàn)在原有YOLOv4 的SPP 模塊和PANet 模塊中將普通卷積更換為深度可分離卷積，使得參數(shù)進(jìn)一步減少[20]，表2 是替換PANet 模塊中卷積塊之后的模型參數(shù)量以及各種模型的大小。

表2 修改后的參數(shù)量及模型大小

該文基于小樣本數(shù)據(jù)下的目標(biāo)識(shí)別，因此比較基于YOLOv4 算法與大幅減少參數(shù)后的Mobile NetV1-YOLOv4 算法的識(shí)別準(zhǔn)確率和速度，由于參數(shù)量的減少不僅可以有效降低模型運(yùn)算量和模型大小，訓(xùn)練速度也得到提高。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)訓(xùn)練和參數(shù)設(shè)置

實(shí)驗(yàn)采用Labelimg 工具對(duì)圖片進(jìn)行標(biāo)注預(yù)處理，將所要檢測(cè)的車牌中出現(xiàn)的漢字、字母和數(shù)字分為35 個(gè)類，其中每個(gè)類為車牌相對(duì)應(yīng)的數(shù)字或字母。由于樣本數(shù)據(jù)存在不平衡現(xiàn)象，因此盡可能將數(shù)量多的樣本放入訓(xùn)練集中，該實(shí)驗(yàn)共選取了2 000 張圖片作為訓(xùn)練數(shù)據(jù)，同時(shí)模型按9∶1 的比例進(jìn)行訓(xùn)練和測(cè)試。為防止出現(xiàn)小樣本在訓(xùn)練時(shí)可能出現(xiàn)的過(guò)擬合現(xiàn)象，該實(shí)驗(yàn)在訓(xùn)練階段加入了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的Early Stopping 技巧，深度神經(jīng)網(wǎng)絡(luò)希望通過(guò)加深網(wǎng)絡(luò)層次減少優(yōu)化的參數(shù)，同時(shí)可以得到更好的優(yōu)化結(jié)果，早停法的使用可以通過(guò)在模型訓(xùn)練整個(gè)過(guò)程中截取保存結(jié)果最優(yōu)的參數(shù)模型，來(lái)防止訓(xùn)練過(guò)擬合。使得訓(xùn)練所用的時(shí)間大大減少，同時(shí)也得到了較高的準(zhǔn)確率。實(shí)驗(yàn)設(shè)置初始圖像輸入尺寸為416×416×3，學(xué)習(xí)率為0.000 1，打開(kāi)YOLOv4 中的Mosaic 數(shù)據(jù)增強(qiáng)，關(guān)閉標(biāo)簽平滑以及應(yīng)用余弦退火，以更新學(xué)習(xí)率的大小。

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)主要應(yīng)用Precision、Recall、AP、mAP、F1 和FPS 來(lái)進(jìn)行評(píng)估。設(shè)置閾值為0.5，即IoU ＞0.5 時(shí)，認(rèn)為是有效檢測(cè)，有效檢測(cè)框的數(shù)量記為T(mén)P，否則為無(wú)效檢測(cè)，無(wú)效檢測(cè)框或者對(duì)于同一個(gè)真實(shí)框的多次重復(fù)檢測(cè)框數(shù)量記為FP，F(xiàn)N 為以為檢測(cè)到錯(cuò)誤數(shù)據(jù)的真實(shí)數(shù)據(jù)的數(shù)量[21]，則：

通常以Precision 和Recall 兩個(gè)指標(biāo)來(lái)衡量模型的好壞，以F1 來(lái)組合這兩個(gè)量，其也是Precision 和Recall 兩個(gè)指標(biāo)的調(diào)和平均值，它們?nèi)齻€(gè)的值均越大越好[22]。FPS 用來(lái)評(píng)估目標(biāo)檢測(cè)的速度，即每秒內(nèi)可以處理的圖片數(shù)量。AP 針對(duì)的是單一類別的準(zhǔn)確率，mAP 是將所有的類別的AP 進(jìn)行求平均[23]，即：

3.3 實(shí)物檢測(cè)結(jié)果

實(shí)驗(yàn)數(shù)據(jù)集包含了本地車牌，但不限于白天。實(shí)物檢測(cè)結(jié)果圖如圖7 所示。

圖7 實(shí)物檢測(cè)結(jié)果圖

3.4 不同模型的結(jié)果對(duì)比

各個(gè)模型mAP 如表3 所示。

表3 各個(gè)模型mAP

而MobileNetV1-YOLOv4 每秒處理圖片的數(shù)量為34 張。

在35 個(gè)類中隨機(jī)抽取5 個(gè)類，對(duì)比兩個(gè)模型下的Precision、Recall 和F1 如表4-5 所示。

表4 YOLOv4下五個(gè)類的指標(biāo)

表5 MobileNetV1-YOLOv4下5個(gè)類的指標(biāo)

3.5 準(zhǔn)確率低的樣本結(jié)果分析

在每個(gè)類的檢測(cè)結(jié)果中，閾值設(shè)置為0.5 的情況下，L 的檢測(cè)率和準(zhǔn)確率較低。這是因?yàn)樵谒袛?shù)據(jù)中，車牌中的L 出現(xiàn)次數(shù)不到10 次，導(dǎo)致L 的AP、F1 等均較低，因此若有推廣使用的需要，建議將每個(gè)類放入足夠多的樣本數(shù)據(jù)，以便進(jìn)行學(xué)習(xí)和檢測(cè)。

4 結(jié)論

實(shí)驗(yàn)中計(jì)算機(jī)配置16 GB 內(nèi)存、RTX2060 顯卡，并且使用cuda10.1 進(jìn)行學(xué)習(xí)加速，以YOLOv4 網(wǎng)絡(luò)為基礎(chǔ)，替換特征提取部分為MobileNetV1，并加入預(yù)測(cè)模型，經(jīng)過(guò)實(shí)驗(yàn)及評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比，結(jié)果表明，MobileNetV1_YOLOv4 模型識(shí)別效果更佳，模型縮小為49 MB，mAP 為98.08%、每秒處理圖片的數(shù)量為34 張。