摘" 要:道路上不斷出現(xiàn)貨車超限的情況,對(duì)人們生命財(cái)產(chǎn)安全造成很大影響。而檢測(cè)貨車超限的前提是準(zhǔn)確識(shí)別貨車,為了提高檢測(cè)貨車的速度與精度并判別裝載物料是否超限,該文提出一種基于改進(jìn)YOLOv5s和Canny模型的貨車物料超限檢測(cè)方法。采用輕量級(jí)提取網(wǎng)絡(luò)ShuffleNetV2作為YOLOv5s網(wǎng)絡(luò)的主干部分,以此來(lái)減少模型的計(jì)算量和參數(shù)量;用EIoU損失函數(shù)優(yōu)化邊框回歸,精確貨車目標(biāo)定位;為檢測(cè)對(duì)貨車圖像進(jìn)行灰度化和邊緣檢測(cè)處理,再與標(biāo)準(zhǔn)超限體比較,可判斷貨車是否超限。實(shí)驗(yàn)結(jié)果表明,在自制貨車數(shù)據(jù)集上,改進(jìn)YOLOv5s的平均精度可達(dá)95.8%,比原模型提高了9.2%,參數(shù)量和計(jì)算量為原模型的45.4%、44.4%。最后將處理后圖像與標(biāo)準(zhǔn)超限體對(duì)比,可檢測(cè)貨車是否超限,有利于消除道路交通安全隱患,為城市治超管理提供方法。
關(guān)鍵詞:超限檢測(cè);YOLOv5s;灰度化;Canny算法;貨車
中圖分類號(hào):U294.6" " " 文獻(xiàn)標(biāo)志碼:A" " " " " 文章編號(hào):2095-2945(2023)17-0065-04
Abstract: In view of the fact that trucks continue to exceed the limit on the road, the safety of people's lives and property has been greatly affected, while the premise of determine whether the truck exceeds the limit or not is accurately recognizing the truck loading, this paper proposes a truck material out-of-limit detection method based on improved YOLOv5s and Canny algorithm, in order to improve the speed and accuracy of truck detection. The lightweight extraction network ShuffleNetV2 is used as the backbone of the YOLOv5s network to reduce the amount of calculation and parameters of the model; the frame regression is optimized by EIoU loss function to accurately locate the truck target; the detected truck image is grayed out and edge detection is processed, and then compared with the standard out-of-limit body, whether the truck is out of limit can be judged. The experimental results show that on the self-made truck data set, the average accuracy of the improved YOLOv5s is 95.8%, which is 9.2% higher than the original algorithm, and the number of parameters and the amount of calculation are 45.4% and 44.4% of the original algorithm. Finally, the processed image is compared with the standard out-of-limit body, which can detect whether the truck is out of limit, which is helpful to eliminate the hidden danger of road traffic safety and provide a method for urban management.
Keywords: out-of-limit detection; YOLOv5s; graying; Canny algorithm; truck
近年來(lái)隨著我國(guó)交通運(yùn)輸業(yè)的快速發(fā)展,城市交通負(fù)擔(dān)不斷增加,車輛載重也日漸重型化,超限車輛一方面增加了對(duì)道路的壓迫,另一方面在交通安全方面也存在潛在危害,因此檢測(cè)車輛是否超限顯得尤為重要。能準(zhǔn)確識(shí)別貨車并判斷裝載物料是否超限為超限超載的治理提供了重要指導(dǎo),有利于減少道路交通安全隱患,延長(zhǎng)道路使用壽命。
檢測(cè)物料是否超限的方法有人工檢測(cè)法、激光、紅外對(duì)射檢測(cè)法和圖像識(shí)別法等。洪韋等[1]通過(guò)激光雷達(dá)數(shù)據(jù)處理關(guān)鍵技術(shù),將車廂左側(cè)、右側(cè)和頂部3個(gè)部位超限檢測(cè)結(jié)果以點(diǎn)云圖像的方式呈現(xiàn),檢車人員可快速判斷超限等異常情況。余滿等[2]研究了高速公路激光雷達(dá)超限檢測(cè)系統(tǒng),通過(guò)將高分辨率三維激光雷達(dá)新型檢測(cè)器安裝于收費(fèi)站入口,同時(shí)檢測(cè)器與攝像機(jī)抓拍、邊緣計(jì)算、語(yǔ)音播報(bào)系統(tǒng)聯(lián)動(dòng),實(shí)現(xiàn)了動(dòng)態(tài)檢測(cè)車輛的長(zhǎng)、寬、高。龐婷婷等[3]研究了基于Faster R-CNN的鐵路超限貨物自動(dòng)檢測(cè)系統(tǒng),可檢測(cè)鐵路運(yùn)輸中物料超限情況。
在車輛分析中,車輛檢測(cè)是其關(guān)鍵的一步,也是后續(xù)車型識(shí)別、車標(biāo)識(shí)別、車牌識(shí)別、車輛特征識(shí)別等的基礎(chǔ)。為從道路車輛中檢測(cè)到貨車并判斷貨車裝載物料是否超限,本文提出一種基于改進(jìn)YOLOv5s和Canny模型的物料超限檢測(cè)方法,利用改進(jìn)YOLOv5s識(shí)別貨車,再將識(shí)別為貨車的圖像灰度化并提取邊緣,通過(guò)與標(biāo)準(zhǔn)超限體對(duì)比,來(lái)判斷貨車裝載物料是否超限。
1" 改進(jìn)的YOLOv5s目標(biāo)檢測(cè)模型
1.1" YOLOv5s模型
YOLOv5是一階段目標(biāo)檢測(cè)模型,包含4個(gè)不同寬度和高度的版本,其中YOLOv5s模型的寬度和高度最小,計(jì)算量和參數(shù)量也最小,考慮到交通監(jiān)控現(xiàn)場(chǎng)投放的大多是算力偏低的嵌入式設(shè)備和低分辨率攝像頭,本文選擇YOLOv5s模型作為預(yù)訓(xùn)練模型。
YOLOv5s[4]由輸入端、Backbone、Neck和Prediction組成,輸入端的作用是輸入圖像并對(duì)圖像預(yù)處理,將輸入圖片進(jìn)行縮放裁剪得到相應(yīng)預(yù)測(cè)框,并自適應(yīng)添加最少黑邊;Backbone利用CSP結(jié)構(gòu)對(duì)輸入圖像進(jìn)行特征提??;Neck使用FPN+PAN結(jié)構(gòu)將低層和高層特征進(jìn)行融合,從而更加充分提取圖像特征;最后通過(guò)Prediction的損失函數(shù)和非極大值抑制對(duì)圖像做預(yù)測(cè)。
1.2" YOLOv5s改進(jìn)模型
1.2.1" ShuffleNetV2
車輛檢測(cè)是檢測(cè)貨車是否超限的前提,模型檢測(cè)時(shí)長(zhǎng)與所占內(nèi)存對(duì)及時(shí)判斷貨車是否超限有很大影響。ShuffleNetV2[5]是一種輕量級(jí)的特征提取網(wǎng)絡(luò),能平衡模型的速度和準(zhǔn)確度,使用ShuffleNetV2網(wǎng)絡(luò)作為Backbone來(lái)提取貨車的特征,可保證檢測(cè)精度的同時(shí)減少參數(shù)量和計(jì)算量,同時(shí)為室外部署減少內(nèi)存,ShuffleNetV2結(jié)構(gòu)圖如圖1所示。
為滿足實(shí)時(shí)檢測(cè)貨車的要求,ShuffleNetV2通過(guò)深度可分離卷積來(lái)降低參數(shù)量并提高識(shí)別速度。與普通卷積相比,深度可分離卷積的參數(shù)量與計(jì)算量均有所減少,且在保證輸入輸出維度相同的前提下能夠提取出更多的圖像特征。
1.2.2" 損失函數(shù)改進(jìn)
在識(shí)別貨車時(shí)易存在車輛相互遮擋的現(xiàn)象,這種情況將對(duì)準(zhǔn)確識(shí)別貨車產(chǎn)生影響。YOLOv5s模型使用的損失函數(shù)是GIoU-Loss[6],GIoU有效解決了IoU無(wú)法優(yōu)化兩框不相交以及無(wú)法顯示兩框相交過(guò)程的問(wèn)題,但GIoU并沒(méi)有考慮兩框的相對(duì)位置和長(zhǎng)寬比,當(dāng)預(yù)測(cè)框位于目標(biāo)框的內(nèi)部,兩框最小外接矩形相同,此時(shí)GIoU退化成IoU。針對(duì)GIoU損失函數(shù)回歸不準(zhǔn)確問(wèn)題,本文引入EIoU(efficient intersection over union),其公式為
2.1" 圖像灰度化
將貨車圖像灰度化,使貨車圖像只包含一個(gè)通道的信息,有利于后續(xù)貨車邊緣的提取?;叶然脑硎菍⑤斎雸D像的像素點(diǎn)三通道值假定為相同值,并用統(tǒng)一的灰度值替代。本文用加權(quán)平均法將貨車圖像灰度化,將三通道的通道值進(jìn)行加權(quán),用作表示灰度值,其公式為
2.2" 改進(jìn)Canny模型
圖像的大部分信息都存在于圖像的邊緣中,將檢測(cè)為貨車的圖像輸入Canny模型中,能有效提取貨車邊緣圖,通過(guò)與標(biāo)準(zhǔn)超限體比較,可判斷貨車物料是否超限。傳統(tǒng)的Canny邊緣檢測(cè)模型[7]主要分為4部分,分別為圖像降噪、梯度計(jì)算、非極大值抑制和雙閾值邊界跟蹤。
3" 實(shí)驗(yàn)與分析
3.1" 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集
本文的實(shí)驗(yàn)過(guò)程在pytorch框架下進(jìn)行,計(jì)算機(jī)硬件配置GPU為NVIDIA Geforce RTX 2070 super,操作系統(tǒng)為Ubuntu 18.04.5 LTS,python版本為3.6,顯卡內(nèi)存為11.7 GB,操作系統(tǒng)類型為64位。
實(shí)驗(yàn)所使用的數(shù)據(jù)集為自制貨車數(shù)據(jù)集,部分?jǐn)?shù)據(jù)來(lái)源于某監(jiān)控視頻數(shù)據(jù),從視頻中截取出201張貨車圖像,另一部分為網(wǎng)上收集,共359張圖像,將總計(jì)560張貨車圖像統(tǒng)一裁剪成640×640像素大小,為提高改進(jìn)YOLOv5s模型對(duì)貨車的檢測(cè)精度,將所有圖像進(jìn)行亮度增強(qiáng)、對(duì)比度增強(qiáng)、水平翻轉(zhuǎn)、隨機(jī)方向旋轉(zhuǎn)和添加高斯噪聲等操作。
貨車數(shù)據(jù)集經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后共2 800張,使用Labelimg工具標(biāo)注圖像中車輛目標(biāo),并添加truck車輛標(biāo)簽。最后按照訓(xùn)練集∶驗(yàn)證集∶測(cè)試集=8∶1∶1的比例對(duì)數(shù)據(jù)集進(jìn)行劃分,最終得到訓(xùn)練集、驗(yàn)證集、測(cè)試集貨車圖像2 240張、280張、280張。
3.2" 評(píng)價(jià)指標(biāo)
3.3" 實(shí)驗(yàn)訓(xùn)練及結(jié)果
3.4" truck超限檢測(cè)判別
貨車物料超限檢測(cè)方法是基于圖像特征分析的識(shí)別方法,以下以貨車高度為基準(zhǔn),判斷貨車是否超高。將標(biāo)準(zhǔn)超限體(未超限貨車)的真實(shí)高度H和計(jì)算機(jī)處理的貨車高度h(以像素值的數(shù)量表示)作為參考標(biāo)定尺度,且這兩者之間的比值為常數(shù)。待檢測(cè)貨車與它的圖像之間的關(guān)系如圖3所示。
4" 結(jié)論
1)重新設(shè)計(jì)YOLOv5s模型,使用ShuffleNetV2替換原YOLOv5s的特征提取部分,深度可分離卷積代替普通卷積,可壓縮模型的計(jì)算量和參數(shù)量,提高模型檢測(cè)效率,減少所占內(nèi)存;采用EIoU損失函數(shù)對(duì)檢測(cè)框篩選,可減少相互遮擋的情況,避免漏檢。
2)在自建貨車數(shù)據(jù)集上驗(yàn)證,實(shí)驗(yàn)結(jié)果表明改進(jìn)YOLOv5s的mAP可達(dá)95.8%,比原模型提高了9.2%,參數(shù)量和計(jì)算量分別降為原模型的45.4%、44.4%。
3)將貨車圖像灰度化并提取邊緣,將標(biāo)準(zhǔn)超限體的真實(shí)高度與計(jì)算機(jī)圖像高度比值作為參考,可檢測(cè)貨車的超限情況,從而減少道路貨車超限現(xiàn)象。
參考文獻(xiàn):
[1] 洪韋,唐國(guó)良,藍(lán)賢桂.基于激光雷達(dá)的鐵路貨運(yùn)超限檢測(cè)系統(tǒng)研究[J].鐵道貨運(yùn),2021,39(8):31-37.
[2] 余滿,林欣,丁志偉.高速公路激光雷達(dá)超限檢測(cè)系統(tǒng)[J].中國(guó)交通信息化,2021(8):126-128,132.
[3] 龐婷婷,郝菊香.基于Faster R-CNN的鐵路超限貨物自動(dòng)檢測(cè)系統(tǒng)[J].自動(dòng)化與儀器儀表,2021(8):72-76.
[4] 蔣超,張豪,章恩澤,等.基于改進(jìn)YOLOv5s的行人車輛目標(biāo)檢測(cè)模型[J].揚(yáng)州大學(xué)學(xué)報(bào)(自然科學(xué)版),2022,25(6):45-49.
[5] 何雨,田軍委,張震,等.YOLOv5目標(biāo)檢測(cè)的輕量化研究[J].計(jì)算機(jī)工程與應(yīng)用,2023,59(1):92-99.
[6] 侯志強(qiáng),劉曉義,余旺盛,等.使用GIoU改進(jìn)非極大值抑制的目標(biāo)檢測(cè)模型[J].電子學(xué)報(bào),2021,49(4):696-705.
[7] CANNY J.A computational approach to edge detection[J]. IEEE transactions on pattern analysis and machine intelligence,1986,8(6):679-698.