亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進(jìn)的Yolov5的端到端車牌識(shí)別算法

        2022-12-16 09:22:54蔡先治魯旭葆苗澤宇
        計(jì)算機(jī)時(shí)代 2022年12期
        關(guān)鍵詞:檢測(cè)信息模型

        蔡先治,王 棟,魯旭葆,苗澤宇

        (山東科技大學(xué)測(cè)繪與空間信息學(xué)院,山東 青島 266590)

        0 引言

        車牌識(shí)別系統(tǒng)是智能交通和智慧停車不可或缺的重要一環(huán),在萬物互聯(lián)的時(shí)代對(duì)于車輛信息的管理和車輛位置的規(guī)劃都起著非常重要的作用。車牌識(shí)別算法按照流程可分為對(duì)圖像中車牌邊框進(jìn)行定位,對(duì)定位的車牌進(jìn)行字符識(shí)別兩部分。

        車牌定位算法,即通過車牌的某些特征來獲取車牌的位置信息。傳統(tǒng)定位的方法有利用顏色信息[1]、形態(tài)學(xué)特征[2]、邊緣檢測(cè)[3]等方法,對(duì)車牌進(jìn)行定位?;陬伾畔⒌能嚺贫ㄎ?,利用車牌和字符的顏色特征實(shí)現(xiàn)定位,該方法易受到光照和背景顏色的影響。基于邊緣檢測(cè)的定位,主要利用車牌的輪廓特征進(jìn)行車牌定位,對(duì)于傾角較大的車牌圖像定位效果不佳。傳統(tǒng)的車牌定位方法,步驟繁瑣、定位的精度低,需要利用新技術(shù)改進(jìn)和提升。

        近些年隨著深度學(xué)習(xí)的發(fā)展,基于深度學(xué)習(xí)的車牌定位算法成為當(dāng)下的主流。車牌定位算法可分為單階段和雙階段兩類。單階段如Yolo系列,該類算法在獲取候選框的時(shí)候同時(shí)得到位置信息和分類信息,該類算法具有速度快準(zhǔn)確率高的特點(diǎn)。雙階段的算法,出現(xiàn)了像SSD[4]、Faster-Rcnn[5]這類算法,這類算法分兩個(gè)步驟,先獲取車牌的候選框,并不斷對(duì)候選框的位置進(jìn)行修正,再對(duì)物體分類,雙階段算法相比于單階段算法準(zhǔn)確率更高,可時(shí)間成本更大。

        車牌識(shí)別算法可分為字符分割和無分割兩種類型,傳統(tǒng)的車牌識(shí)別方法多采用字符分割算法,再利用光學(xué)字符識(shí)別(Optical Character Recognition)對(duì)字符識(shí)別,常用算法有模模板匹配算法[6]、支持向量機(jī)[7]、ANN[8]等對(duì)字符進(jìn)行識(shí)別,可這類方法步驟較多,容易逐步積累誤差,造成識(shí)別準(zhǔn)確率下降。隨著循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的提出和發(fā)展,其對(duì)語音和文本的較好的識(shí)別能力,使得無分割車牌識(shí)別算法成為當(dāng)前的主流算法,文獻(xiàn)[9]利用BGRU 序列識(shí)別模型實(shí)現(xiàn)無分割的字符進(jìn)行識(shí)別,文獻(xiàn)[10]提出LPRNet 網(wǎng)絡(luò)利用輕量化的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)無分割車牌識(shí)別,識(shí)別準(zhǔn)確率達(dá)到95%,可該算法中文數(shù)據(jù)集不均衡對(duì)中文識(shí)別能力較弱。

        基于車牌識(shí)別在檢測(cè)速度、模型的大小、可靠性等問題,本文以Yolov5 的端--端車牌識(shí)別方法為框架,通過在主干網(wǎng)絡(luò)中加入EPSA 注意力模塊、引入損失函數(shù)α-CIoU、增加檢測(cè)尺度,再利用CRNN 字符識(shí)別模型實(shí)現(xiàn)端--端的車牌識(shí)別。同時(shí)采取車牌模擬的方法以應(yīng)對(duì)中文數(shù)據(jù)集不足的特點(diǎn),均衡各個(gè)省份車牌的數(shù)據(jù)集,達(dá)到數(shù)據(jù)增強(qiáng)的目的,提高中文字符識(shí)別能力。

        1 Yolov5結(jié)構(gòu)基本原理

        Yolo 系列的算法,其特點(diǎn)是將目標(biāo)檢測(cè)算法轉(zhuǎn)換成回歸問題,可以快速的識(shí)別目標(biāo)。目前已經(jīng)推出了多個(gè)版本,如Yolov3、Yolov4。UitralyticsLLC 公司為了進(jìn)一步這類算法提高檢測(cè)精度和速度,推出了Yolov5 目標(biāo)檢測(cè)網(wǎng)絡(luò),相比于之前的算法無論是檢測(cè)速度、精度、模型大小都有著不同程度提高。Yolov5按照網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度可分為Yolov5s、Yolov5m、Yolov5l 等版本,大小依次遞增,本文考慮了模型的運(yùn)行速度對(duì)程序的影響,以復(fù)雜度最小的Yolov5s 作為車牌定位的框架。

        Yolov5s網(wǎng)絡(luò)結(jié)構(gòu)如圖1,主要由BackBone、Neck、Head 等部分組成。Backbone 是特征提取網(wǎng)絡(luò),由Focus、csp 等結(jié)構(gòu)組成。Focus 即為切片操作,通過擴(kuò)大通道數(shù)量,再進(jìn)行卷積實(shí)現(xiàn)下采樣,在不提高模型計(jì)算量的前提下,保留更多圖像信息。Yolov5s 將csp結(jié)構(gòu)應(yīng)用在Backbone 中,csp1 對(duì)信息進(jìn)行提取,csp2負(fù)責(zé)信息的特征融合。Neck 結(jié)構(gòu)是由FPN[11]特征金字塔和PAN 路徑聚合結(jié)構(gòu)所組成,F(xiàn)PN 是由上而下傳遞語義信息,PAN 是由下而上傳遞圖像的位置信息,Neck 結(jié)構(gòu)整合了上述兩種結(jié)構(gòu),促進(jìn)了主干網(wǎng)絡(luò)中不同尺寸網(wǎng)絡(luò)信息的融合。Head 即目標(biāo)檢測(cè)部分,主要用來檢測(cè)不同尺寸圖像,不同大小的Head頭部負(fù)責(zé)檢測(cè)大、中、小不同尺寸的物體??捎捎赮olov5s 的設(shè)計(jì)主要是在中、大尺寸物體的檢測(cè),小尺寸物體由于分辨率低、圖像信息不豐富,因此識(shí)別率較低,Yolov5 在這方面有著一定的改進(jìn)空間。

        圖1 Yolov5結(jié)構(gòu)圖

        2 基于Yolov5的車牌定位算法

        2.1 引入注意力機(jī)制

        Yolov5s 對(duì)于小尺寸物體的識(shí)別能力不能滿足實(shí)際應(yīng)用的需要,而在深度學(xué)習(xí)領(lǐng)域,通過加入注意力機(jī)制可以有效提高深度卷積網(wǎng)絡(luò)的性能??紤]到EPSANet[12]結(jié)構(gòu)可以有效的獲取多尺度的圖像信息,能夠凸顯小目標(biāo)物體的權(quán)重信息,提高小尺寸物體的檢測(cè)準(zhǔn)確率,并且模型的參數(shù)小,輕量化。這里將在Yolov5s 主干網(wǎng)絡(luò)中加入EPSANet 注意力模塊,以提取更細(xì)粒度信息,提高多尺度信息的表達(dá)能力,抑制圖像中無關(guān)信息的影響,強(qiáng)調(diào)車牌特征的表達(dá),達(dá)到對(duì)車牌精確定位的目的。

        EPSANet 模塊具體可以分為以下幾個(gè)流程,如圖2所示,將輸入的特征圖送入到SPC模塊中去,然后將其送入到SE[13]權(quán)重模塊中,得到每個(gè)部分相應(yīng)的權(quán)重,利用Softmax 對(duì)權(quán)重值進(jìn)行歸一化處理,使權(quán)重值映射到[0,1]區(qū)間。再將所得到的參數(shù)和分割的部分進(jìn)行點(diǎn)乘運(yùn)算,輸出得到特征圖再將各個(gè)特征圖將其拼接起來。

        圖2 EPSA結(jié)構(gòu)圖

        2.2 多尺度檢測(cè)結(jié)構(gòu)

        Yolov5s 目標(biāo)檢測(cè)網(wǎng)絡(luò)采用8×8、16×16、32×32倍下采樣來檢測(cè)不同大小的物體,對(duì)于以608×608大小的車牌為例,若車牌的寬度小于8 的像素點(diǎn)。網(wǎng)絡(luò)很難學(xué)習(xí)到特征信息。另外小尺寸的物體分辨率低,信息量少,若對(duì)其進(jìn)行復(fù)雜的卷積、下采樣運(yùn)算,容易造成信息的丟失,小尺寸目標(biāo)更依賴淺層的圖像信息。綜合以上幾點(diǎn),本文將在原有的三個(gè)檢測(cè)尺寸的基礎(chǔ)上,將在淺層附近再增加一個(gè)檢測(cè)尺寸,在主干網(wǎng)絡(luò)淺層部分整合更多高分辨率的圖像信息,以提高Yolov5s對(duì)小尺寸車牌的檢測(cè)能力。

        2.3 對(duì)IoU損失函數(shù)的改進(jìn)

        Yolov5s原本的檢測(cè)框損失函數(shù),使用的是GIoU[14],其公式為:

        其中,IoU 為預(yù)測(cè)框(PB)與真實(shí)框(GT)的交并比,Ac為能夠?qū)㈩A(yù)測(cè)框和真實(shí)框同時(shí)包含在內(nèi)的最小的矩形,U 表示預(yù)測(cè)框和真實(shí)框的并集。GIoU 是從PB 和GT之間重合的面積來考慮,可以改善IoU 在PB 和GT 不相交時(shí),梯度不能傳遞的情況。當(dāng)PB 和GT 之間的相互包含的時(shí)候,由公式⑴、⑵可知GIoU 退化成IoU,會(huì)弱化實(shí)驗(yàn)結(jié)果。

        本文在CIoU 的基礎(chǔ)上結(jié)合結(jié)合α-IoU的特點(diǎn),提出可調(diào)節(jié)邊框檢測(cè)損失函數(shù)α-CIoU。α-CIoU的定義如下:

        其中b、bgt表示預(yù)測(cè)框和真實(shí)框的中心點(diǎn),ρ 表示采用歐式距離計(jì)算兩點(diǎn)之間距離。C表示同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小矩形的對(duì)角線長(zhǎng),β 為權(quán)重參數(shù),ν是用來衡量長(zhǎng)寬比的相似性。α為該函數(shù)的調(diào)節(jié)參數(shù),α可以取不同的值,實(shí)現(xiàn)不同的邊框檢測(cè)效果,該改進(jìn)可以進(jìn)一步挖掘原來目標(biāo)檢測(cè)框的能力,并且針對(duì)不同的數(shù)據(jù)集,找出其相對(duì)最優(yōu)的α值,使其目標(biāo)檢測(cè)的效果達(dá)到最佳。

        3 基于CRNN的字符識(shí)別算法

        為了避免車牌分割造成字符被錯(cuò)分漏分,影響最后的識(shí)別結(jié)果,本文利用RNN 的改進(jìn)方法CRNN[15]算法實(shí)現(xiàn)無分割車牌字符識(shí)別。

        對(duì)于語音識(shí)別和文字識(shí)別,通常采用RNN,可RNN 在訓(xùn)練過程容易出現(xiàn)這梯度消失的問題,容易導(dǎo)致訓(xùn)練中斷無法繼續(xù)學(xué)習(xí)更深層等內(nèi)容,只對(duì)相鄰的序列有較好記憶功能,因此難以滿足對(duì)于較長(zhǎng)文本的序列識(shí)別。BLSTM[16,17](Bi-directional Long Shortterm memory)是RNN 的一種改進(jìn)版本,能夠?qū)W習(xí)到文本中較長(zhǎng)的依賴信息,可以在一定程度上解決RNN梯度消失的問題,BLSTM主要通過門的結(jié)構(gòu)選擇性的讓信息通過,過濾掉不重要的信息,實(shí)現(xiàn)信息的添加和移除,同時(shí)BLSTM 采用雙向結(jié)構(gòu),即可同時(shí)利用序列的前向信息、后向信息能夠更有助于序列的預(yù)測(cè),得到更準(zhǔn)確的結(jié)果。

        其原理如圖3 所示,首先利用車牌定位將車牌分割出來,再將分割的車牌送入到CRNN 網(wǎng)絡(luò)中。具體流程圖如下,利用卷積和池化層提取圖像的特征圖,將特征圖按照寬度劃分成26個(gè)小特征圖,再利用雙層BLSTM對(duì)這些小特征圖的結(jié)果逐一預(yù)測(cè),每一部分的特征圖都對(duì)應(yīng)圖像的對(duì)應(yīng)分割序列的感受野。再利用中文名CTC(Connectionist Temporal Classification)對(duì)BLSTM 的輸出結(jié)果進(jìn)行解碼,得到每個(gè)車牌的字符,獲取車牌的識(shí)別結(jié)果。

        圖3 車牌識(shí)別網(wǎng)絡(luò)

        4 實(shí)驗(yàn)與結(jié)果分析

        4.1 實(shí)驗(yàn)數(shù)據(jù)

        本文的數(shù)據(jù)集采用了網(wǎng)絡(luò)上公開的CCPD 數(shù)據(jù)集,部分停車場(chǎng)數(shù)據(jù)集和自采車牌圖片,共收集到10628 張車牌圖像。在實(shí)際的識(shí)別過程中,車牌邊框在圖像中分布的位置、所占的整個(gè)圖像的比例,影響著最后的識(shí)別結(jié)果。如圖4(a)為目標(biāo)框的中心點(diǎn)在圖中的分布概率,圖4(b)為樣本邊框與圖片的長(zhǎng)、寬比。由目標(biāo)的空間、大小分布看,目標(biāo)框由頂部至中間部分,依次增大,底部數(shù)據(jù)量較少,且小目標(biāo)車牌的數(shù)據(jù)量較大。

        圖4 車牌目標(biāo)框的分布信息

        訓(xùn)練車牌識(shí)別網(wǎng)絡(luò),若以一萬張的車牌數(shù)據(jù)集為例子,由于字母和數(shù)字可以在一張車牌中重復(fù)出現(xiàn),可在CRNN 網(wǎng)絡(luò)中多次訓(xùn)練,而每張車牌只有一個(gè)中文字符,因此對(duì)于一萬張樣本的車牌數(shù)據(jù)集平均每個(gè)字符只有300 多個(gè)中文數(shù)據(jù)樣本,這對(duì)于中文字符復(fù)雜的結(jié)構(gòu)來說,較少數(shù)據(jù)量無法滿足復(fù)雜的應(yīng)用場(chǎng)景,這也造成了中文字符無法被有效的識(shí)別出來,無法滿足實(shí)際訓(xùn)練的需要。另外,有些偏遠(yuǎn)的省份,車牌圖像的收集難度較大,因此難以做到中文數(shù)據(jù)集均衡的狀況。因此,本文將采用車牌圖像仿真的方法,通過模擬在多霧、傾斜、灰度變化等情況下的車牌,達(dá)到數(shù)據(jù)集增強(qiáng)效果,其模擬的效果接近真實(shí)車牌,圖5為部分仿真車牌圖片。

        圖5 模擬車牌

        4.2 改后的車牌定位算法驗(yàn)證

        4.2.1 實(shí)驗(yàn)平臺(tái)搭建及其準(zhǔn)備

        本文的所有實(shí)驗(yàn)環(huán)境是Window64 位操作系統(tǒng)系統(tǒng)下搭建的,電腦的16GB 運(yùn)行內(nèi)存,顯卡采用NVIDIA GeForce RTX 3060 Laptop GPU,6GB,在pytorch torch 1.8.1+cuda11.1 平臺(tái)下實(shí)現(xiàn)模型的搭建和訓(xùn)練工作。

        訓(xùn)練信息如下,輸入圖像為640×640,對(duì)數(shù)據(jù)集按照9:1 的比例劃分出訓(xùn)練集和測(cè)試集,學(xué)習(xí)率設(shè)置為0.001,批次大小設(shè)置為12,迭代次數(shù)設(shè)置為120次。

        本文通過查看每個(gè)迭代下的平均檢測(cè)精度(Average precision)的變化來比較模型的優(yōu)劣,通過FPS(每一秒鐘檢測(cè)的圖片的數(shù)量)來衡量模型的檢測(cè)效率。

        4.2.2 消融實(shí)驗(yàn)及對(duì)比

        為了比較做出改進(jìn)的每一部分對(duì)于車牌定位的具體影響,本文采用消融實(shí)驗(yàn),分析每一部分對(duì)于車牌實(shí)際效果的貢獻(xiàn)率,通過AP、FPS 的值,分析出模型的效果。通過對(duì)比的每一部分若使用該部分內(nèi)容則用“?”,若是未采用則用“?”符號(hào)來表示。具體結(jié)構(gòu)見表1。

        表1 Yolov5消融實(shí)驗(yàn)

        由表1的消融實(shí)驗(yàn)可知,EPSA 對(duì)檢測(cè)結(jié)果的提升較為明顯,AP值有著一定程度的提高,EPSA注意力機(jī)制可以有效地抑制背景加強(qiáng)目標(biāo)信息的表達(dá),使其對(duì)小目標(biāo)特征提取能力得到提升,由于增加了網(wǎng)絡(luò)的復(fù)雜度,相應(yīng)的降低了識(shí)別速度;通過加入多尺度,能夠有效提高網(wǎng)絡(luò)的檢測(cè)性能,相比之前的網(wǎng)絡(luò)準(zhǔn)確率提高了2.4%,使得之前在網(wǎng)絡(luò)中被篩掉的小目標(biāo)車牌,被檢測(cè)出來。而改進(jìn)的邊框損失函數(shù)α-CIoU可以在一定程度上改善網(wǎng)絡(luò)的性能,提高網(wǎng)絡(luò)的定位精度,提高了0.6%的定位精度。由上述對(duì)比實(shí)驗(yàn)可知的結(jié)果可知,使用本文的改進(jìn)后的方法可以有效的改善車牌的識(shí)別能力,抑制背景特征。

        4.2.3 不同模型識(shí)別性能的對(duì)比

        本文利用經(jīng)典的網(wǎng)絡(luò)模型如SSD、Faster-Rcnn、Yolov3、Yolov4、Yolov5做對(duì)比實(shí)驗(yàn)。

        由表2的信息可知,本文方法的檢測(cè)查準(zhǔn)率、查全率都有著一定的提升,另外相比其他目標(biāo)檢測(cè)模型,本文的檢測(cè)速度并不遜色。從權(quán)重模型的大小上看,本文的權(quán)重模型的大小是Yolov4 的1/3,是Faster-Rcnn 模型的1/22,權(quán)重模型占用內(nèi)存空間較小,對(duì)移動(dòng)端友好,降低了設(shè)備的運(yùn)算量,提高了效率,可以方便的部署到移動(dòng)端。改進(jìn)后的方法與Yolov5相比,精度提高了4.6%,盡管檢測(cè)速度卻有所下降,可改進(jìn)后的方法仍優(yōu)于其他目標(biāo)檢測(cè)模型,能夠滿足實(shí)際應(yīng)用的需要。

        表2 主流檢測(cè)網(wǎng)絡(luò)性能對(duì)比

        4.3 車牌識(shí)別模型驗(yàn)證

        本文對(duì)車牌識(shí)別模型中共使用了18628 張車牌圖片,其中采集的車牌10628 張,仿真的車牌8000 張,仿真的車牌主要是為了彌補(bǔ)數(shù)據(jù)集對(duì)于一些偏遠(yuǎn)省份數(shù)據(jù)量過小的影響。訓(xùn)練的批次大小設(shè)為12,設(shè)置為30 個(gè)訓(xùn)練周期,學(xué)習(xí)率設(shè)置為0.001,訓(xùn)練的框架為pytorch。本文從loss 和識(shí)別的準(zhǔn)確率(accuracy)兩個(gè)方面來衡量模型的效果。

        由圖6的訓(xùn)練的結(jié)果可知使用CRNN 模型的收斂速度較快,精度較高,識(shí)別準(zhǔn)確率為96.5%,實(shí)際訓(xùn)練的模型的大小為7.1MB,對(duì)移動(dòng)端友好。另外從圖7的實(shí)際車牌檢測(cè)效果看,本文的車牌識(shí)別算法對(duì)于車牌在遮擋、模糊、傾斜、灰暗條件下的車牌圖像均有著較為好的識(shí)別效果,能夠滿足在各種天氣、角度、昏暗條件的實(shí)際車牌識(shí)別需要。

        圖6 字符訓(xùn)練結(jié)果

        圖7 改進(jìn)算法后的車牌識(shí)別結(jié)果

        5 結(jié)束語

        本文研究以Yolov5s 為框架端——端的車牌識(shí)別方法,通過加入EPSA 注意力機(jī)制,增加多尺度檢測(cè)框可以有效的提高小尺寸車牌的檢測(cè)能力,增強(qiáng)車牌在復(fù)雜背景的識(shí)別能力,另外引入的α-CIoU 檢測(cè)框損失函數(shù),提高其預(yù)測(cè)框結(jié)的精度。在車牌識(shí)別階段,利用CRNN實(shí)現(xiàn)無分割的車牌識(shí)別也能達(dá)到較高的準(zhǔn)確率,并通過車牌模擬的方法,實(shí)現(xiàn)中文數(shù)據(jù)增強(qiáng),提高中文字符識(shí)別的準(zhǔn)確率。實(shí)驗(yàn)表明本文的車牌定位準(zhǔn)確率達(dá)到98.8%,識(shí)別準(zhǔn)確率達(dá)到96.5%,且能夠適應(yīng)復(fù)雜條件下的車牌識(shí)別的要求。

        猜你喜歡
        檢測(cè)信息模型
        一半模型
        “不等式”檢測(cè)題
        “一元一次不等式”檢測(cè)題
        “一元一次不等式組”檢測(cè)題
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        訂閱信息
        中華手工(2017年2期)2017-06-06 23:00:31
        3D打印中的模型分割與打包
        小波變換在PCB缺陷檢測(cè)中的應(yīng)用
        展會(huì)信息
        日本一二三四高清在线| 日韩女人毛片在线播放| 日韩熟女一区二区三区 | 岳好紧好湿夹太紧了好爽矜持| 久久韩国漫画无删减漫画歪歪漫画| 国产在线高清无码不卡| 韩国一区二区三区黄色录像| 亚洲乱码中文字幕久久孕妇黑人 | 色青青女同性恋视频日本熟女| 亚洲av香蕉一区二区三区av| 成年女人a毛片免费视频| 欧美一片二片午夜福利在线快| 黄片在线观看大全免费视频| 成人av综合资源在线| 巨人精品福利官方导航| 欧美亚洲综合另类| 999久久久免费精品国产| 福利网在线| 日本视频一区二区二区| 中文字幕女优av在线| www插插插无码视频网站| 国产欧美日韩网站| 亚洲精品一区二区三区日韩 | 亚洲精品字幕在线观看| 久久与欧美视频| 91九色播放在线观看| 猫咪av成人永久网站在线观看| 精品国产一区二区三区久久久狼| 看全色黄大色大片免费久久久| 国产嫩草av一区二区三区| 亚洲va无码手机在线电影| 日韩一区二区超清视频| 国产黄片一区二区三区| a级毛片免费观看在线播放| 亚洲国产精品一区二区第四页| av在线免费播放网站| 娇小女人被黑人插免费视频| 中文人妻无码一区二区三区在线 | 亚洲性色ai无码| 精品久久中文字幕一区| 国产日韩精品欧美一区喷水|