李世偉

（上海建橋?qū)W院 上海市 201306）

1 介紹

YOLOv5 目標(biāo)檢測算法是將物體的定位和分類在一起完成，在一個(gè)輸出層回歸bounding box 的位置和所屬類別，在場景復(fù)雜的地方，誤檢會(huì)相對(duì)較多，而LPRNet[1]由輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)組成，它采用端到端[2]的方法來進(jìn)行訓(xùn)練，并且創(chuàng)建嵌入式部署的解決方案，以此來提高車牌識(shí)別的準(zhǔn)確率和運(yùn)算效率。

在車輛目標(biāo)檢測與車牌識(shí)別過程中，通過使用構(gòu)成YOLOv5 模型的骨干網(wǎng)絡(luò)CSPDarknet5 與LPRNet 的Backbone 來提取車輛圖片信息的特征。然后，利用這些特征對(duì)LPRNET 和YOLOv5 的Neck 與Head 部分進(jìn)行訓(xùn)練，最后，利用訓(xùn)練好的模型對(duì)車輛與車牌進(jìn)行目標(biāo)檢測。圖1顯示了使用YOLOv5 模型進(jìn)行車輛目標(biāo)檢測與LPRNET 模型進(jìn)行車牌識(shí)別的框架。一般來說，該方法分為模型訓(xùn)練過程和模型推理兩部分。在訓(xùn)練過程中，利用標(biāo)注好的數(shù)據(jù)進(jìn)行提取特征，支持目標(biāo)檢測與車牌識(shí)別任務(wù)的訓(xùn)練。在識(shí)別過程中，將車輛圖片信息輸入給訓(xùn)練好的混合模型進(jìn)行識(shí)別。

圖1：Yolov5 模型車輛目標(biāo)檢測與LPRNET 模型車牌識(shí)別框架

2 方法原理

2.1 YOLOv5主要內(nèi)容

2.1.1 輸入端

YOLOv5 模型的輸入端采用了和YOLOv4[3]模型一樣的數(shù)據(jù)增強(qiáng)的方式，即Mosaic 數(shù)據(jù)增強(qiáng)，利用隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接，對(duì)于小目標(biāo)的檢測效果具有明顯提升。YOLOv5 算法針對(duì)不同的數(shù)據(jù)集，都會(huì)有初始設(shè)定長寬的錨框。在網(wǎng)絡(luò)訓(xùn)練中，網(wǎng)絡(luò)在初始錨框的基礎(chǔ)上輸出預(yù)測框，進(jìn)而和真實(shí)框Ground Truth 進(jìn)行比對(duì)，計(jì)算兩者差距，再反向更新，迭代網(wǎng)絡(luò)參數(shù)。在常用的目標(biāo)檢測算法中，不同的圖片長寬都不相同，因此常用的方式是將原始圖片統(tǒng)一縮放到一個(gè)標(biāo)準(zhǔn)尺寸，再送入檢測網(wǎng)絡(luò)中。比如YOLO 算法中常用416×416，608×608 等尺寸。

YOLOv5 代碼中對(duì)此進(jìn)行了改進(jìn)，也是YOLOv5 推理速度能夠很快的一個(gè)不錯(cuò)的技巧。在實(shí)際的應(yīng)用場景中，很多圖片的長寬比不同，所以通過縮放填充后，兩端的黑邊大小不一致，并且填充的比較多，則會(huì)導(dǎo)致信息冗余，影響模型推理速度，只要在原圖像自適應(yīng)地添加最少黑邊，在推理時(shí)，計(jì)算量減少，目標(biāo)檢測速度就能得到提升。

2.1.2 骨干網(wǎng)絡(luò)

該層的Focus 結(jié)構(gòu)，從高分辨率圖像中，周期性的抽出像素點(diǎn)重構(gòu)到低分辨率圖像中，即將圖像相鄰的四個(gè)位置進(jìn)行堆疊，聚焦wh(width&&height)維度信息到C(channel)通道空間，提高每個(gè)點(diǎn)感受野，并減少原始信息的丟失，該模塊的設(shè)計(jì)主要是減少計(jì)算量加快速度。YOLOv5 默認(rèn)3×640×640 的輸入，先復(fù)制四份，然后通過切片操作將這個(gè)四個(gè)圖片切成了四個(gè)3×320×320 的切片，接下來使用concat從深度上連接這四個(gè)切片，輸出為12×320×320，之后再通過卷積核數(shù)為64 的卷積層，生成64×320×320 的輸出，最后經(jīng)過batch_borm 處理和Leaky_ReLU 激活處理將結(jié)果輸入到下一個(gè)卷積層。

該層的BottleneckCSP 模塊主要包括Bottleneck 和CSP兩部分，YOLOv5 模型中的的Cross Stage Partial(CSP)結(jié)構(gòu)，其初衷是減少計(jì)算量并且增強(qiáng)梯度的表現(xiàn)。主要思想是：在輸入Dense_block 之前，將輸入分為兩個(gè)部分，其中一部分通過block 進(jìn)行計(jì)算，另一部分直接通過一個(gè)shortcut 進(jìn)行concatenate。模型采用CSP 結(jié)構(gòu)的有加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，減少計(jì)算算力與內(nèi)存消耗的優(yōu)點(diǎn)，現(xiàn)在的網(wǎng)絡(luò)大多計(jì)算算力成本昂貴，不利于深度學(xué)習(xí)的工業(yè)落地。

該層的SPP 模塊(空間金字塔池化模塊)，其作用就是將不同的特征圖轉(zhuǎn)化為固定的特征圖，通過分別采用5/9/13的最大池化，再進(jìn)行concat 融合，提高感受野。SPP 的輸入是512×20×20，經(jīng)過1x1 的卷積層后輸出256×20×20，然后經(jīng)過并列的三個(gè)MaxPool 進(jìn)行下采樣，將結(jié)果與其初始特征相加，輸出1024×20×20，最后用512 的卷積核將其恢復(fù)到512×20×20。

2.1.3 Neck 層

YOLOv5 的Neck 層采用PAN+FPN 的結(jié)構(gòu)，PANET 基于Mask R-CNN 和FPN 框架，加強(qiáng)了信息傳播，具有準(zhǔn)確保留空間信息的能力，可以對(duì)像素進(jìn)行適當(dāng)?shù)亩ㄎ灰孕纬裳谀！?/p>

2.1.4 輸出層

YOLOv5 中采用其中的GIoU_Loss 做Bounding box 的損失函數(shù)。GIoU 的全稱為通用交并比，對(duì)于任意的兩個(gè)A、B 框，首先找到一個(gè)能夠包住它們的最小方框C。然后計(jì)算C (A ∪ B) 的面積與C 的面積的比值，再用A、B 的IoU 值減去這個(gè)比值得到GIoU，所以GIoU_loss=1-GIoU。注：C (A ∪ B) 的面積為C 的面積減去A∪B 的面積。GIoU 損失函數(shù)計(jì)算如下：

LGIOU=1-IOU(A,B)+|C-A ∪ B|/|C|

2.1.5 訓(xùn)練

本設(shè)計(jì)目標(biāo)檢測模型是基于Windows10 操作系統(tǒng)，python3.7，torch1.20，cuda11 以及torchvision0.40 的環(huán)境進(jìn)行訓(xùn)練。本論文目標(biāo)檢測部分使用VOC 格式數(shù)據(jù)集進(jìn)行訓(xùn)練。訓(xùn)練前將標(biāo)簽文件放在VOCdevkit 文件夾下的VOC2007 文件夾下的Annotation 中，訓(xùn)練前將圖片文件放在VOCdevkit 文件夾下的VOC2007 文件夾下的JPEGImages中。

在配置參數(shù)上，可通過pytorch 提供的API 進(jìn)行訓(xùn)練參數(shù)修改，方便修改訓(xùn)練模型的超參數(shù)與文件配置。對(duì)于模型存放路徑，可通過init_logger 函數(shù)，進(jìn)行對(duì)模型的進(jìn)行實(shí)時(shí)保存到目標(biāo)文件夾，同時(shí)生成日志文件，可觀測模型訓(xùn)練時(shí)的epoch、loss、accuracy 等模型訓(xùn)練指標(biāo)。在環(huán)境配置好與數(shù)據(jù)集準(zhǔn)備存放好后的情況下，最后直接運(yùn)行python train.py 就可直接訓(xùn)練。

2.2 LPRNet主要內(nèi)容

2.2.1 輸入端

LPRNet 在輸入端采用STN(Spatial Transformer Network)網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行處理，STN 處理是可選的過程，STN的出現(xiàn)使我們完成如何變換圖像來獲得優(yōu)秀的車牌識(shí)別輸入圖像。我們選擇LocNet 網(wǎng)絡(luò)結(jié)構(gòu)用于產(chǎn)出最佳的轉(zhuǎn)換參數(shù)來實(shí)現(xiàn)。如表1 所示。

表1： LOCNET 結(jié)構(gòu)

2.2.2 骨干網(wǎng)絡(luò)

LPRNet 采用輕量級(jí)的CNN[4]骨干網(wǎng)絡(luò)，LPRNet 骨干網(wǎng)絡(luò)輸入原生RGB 圖像，使用CNN 來提取圖像特征。骨干子網(wǎng)絡(luò)的輸出可認(rèn)為是一個(gè)代表對(duì)應(yīng)字符概率的序列，它的長度與輸入圖像的寬度相關(guān)。主干結(jié)構(gòu)如表2 所示。

表2：主干結(jié)構(gòu)

2.2.3 訓(xùn)練

本設(shè)計(jì)車牌識(shí)別模型是基于Windows10 操作系統(tǒng)，python3.7，torch1.20，cuda11 以及torchvision0.40 的環(huán)境進(jìn)行訓(xùn)練?？赏ㄟ^pytorch 提供的API 進(jìn)行訓(xùn)練參數(shù)修改，方便修改訓(xùn)練模型的超參數(shù)與文件配置?？赏ㄟ^pytorch 提供的API 進(jìn)行訓(xùn)練參數(shù)修改，方便修改訓(xùn)練模型的超參數(shù)與文件配置。如圖2 所示。

圖2：配置參數(shù)

在環(huán)境配置好與數(shù)據(jù)集準(zhǔn)備存放好后的情況下，最后直接運(yùn)行python train_LPRNet.py

就可直接訓(xùn)練。

2.2.4 實(shí)驗(yàn)結(jié)果

本LPRNet 網(wǎng)絡(luò)設(shè)計(jì)在CCPD[5]中文車牌數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，車牌通過YOLOv5 車牌檢測方法獲得，數(shù)據(jù)集按照9:1的比例分為測試集和訓(xùn)練集，本文使用開源出來的模型權(quán)重進(jìn)行實(shí)現(xiàn)識(shí)別車牌的下游任務(wù)。LPRNet 在不同設(shè)備上的表現(xiàn)如表3 所示，可以看出LPRNet 可以用于需要實(shí)時(shí)處理的任務(wù)。

表3：性能分析

3 數(shù)據(jù)集

本設(shè)計(jì)的目標(biāo)檢測數(shù)據(jù)集使用VOC2007 標(biāo)注好的數(shù)據(jù)集，總數(shù)為9963 張圖片，其中包括訓(xùn)練數(shù)據(jù)集5011 張和測試數(shù)據(jù)集4952 張。

車牌檢測與識(shí)別數(shù)據(jù)集來源于標(biāo)注好的CCPD 數(shù)據(jù)集，CCPD 數(shù)據(jù)集一共包含超多25 萬張圖片，每種圖片大小720x1160x3，選取部分CCPD 數(shù)據(jù)集作為本設(shè)計(jì)中的車牌檢測與識(shí)別的數(shù)據(jù)集，總共包含9 項(xiàng)，占比如圖3 所示。

圖3：車牌檢測與識(shí)別數(shù)據(jù)集占比

每項(xiàng)占比的意義如表4 所示。

表4：CCPD 數(shù)據(jù)集占比及其意義

4 結(jié)論

本設(shè)計(jì)在識(shí)別精確度、模型推理速度與可視化呈現(xiàn)結(jié)果上都取得了良好的效果?，F(xiàn)有的車輛與車牌檢測和車牌識(shí)別方法大多集中在車輛的顏色、大小和形狀上，受天氣和光照，相機(jī)拍攝等因素的影響很大。通過對(duì)YOLOv5Net 與LPRNet 提取的特征進(jìn)行了分析，利用與視覺任務(wù)強(qiáng)相關(guān)的測試樣本集對(duì)目標(biāo)檢測模型與車牌識(shí)別模型進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明[6]，當(dāng)測試樣本場景與視覺任務(wù)相關(guān)度越高，得到的目標(biāo)檢測模型與車牌識(shí)別模型的效果越好，能夠?yàn)榻煌ㄜ囕v識(shí)別與管理等作業(yè)提供可靠、高效的車輛信息。

該設(shè)計(jì)在實(shí)際應(yīng)用中，還存在著一些不足，如在模型推理的速度上還需要精進(jìn)，為了模型的實(shí)際部署應(yīng)用還需要模型蒸餾方便部署在各種硬件設(shè)備。