王洪昌　王鵬　焦博文　于奕軒　王玉林

文章編號：10069798（2022）02005506;DOI：10.13306/j.10069798.2022.02.009

摘要：針對夜晚環(huán)境中傳統(tǒng)交通流量統(tǒng)計出現(xiàn)的實時性、魯棒性及準確性不高的問題，提出了一種基于改進的YOLOv5s交通流量統(tǒng)計算法。采用殘差網(wǎng)絡的連接結(jié)構對YOLOv5s算法中的Focus層進行改進。將改進后的YOLOv5s算法與DeepSORT跟蹤算法、統(tǒng)計模塊搭建高效的交通流量統(tǒng)計框架。采集實際路況的夜間場景視頻來對該框架的準確性進行驗證。實驗結(jié)果表明，該算法平均準確率達到92.9%，較改進前提升3.0%，平均檢測速度可以達到33.4Hz，準確率及實時性都能滿足交通流量統(tǒng)計要求。該算法框架可有效地提供夜間交通流量數(shù)據(jù)，為智能交通發(fā)展提供一定的技術支持。

關鍵詞：計算機視覺;交通流量統(tǒng)計;YOLOv5s;DeepSORT;智能交通

中圖分類號：TP391.41;TP393.021文獻標識碼：A

智能交通技術是融合多學科內(nèi)容的前沿學科[1]，交通流量統(tǒng)計[2]是智能交通技術的重要環(huán)節(jié)和數(shù)據(jù)來源，開展這方面的研究具有重要意義。目前，交通流量統(tǒng)計算法分為目標檢測、目標跟蹤和目標統(tǒng)計三個模塊。目標檢測[3]是獲取交通流信息的第一步，準確的目標檢測算法可以大大提高跟蹤模塊的性能。傳統(tǒng)的目標檢測方法易受到天氣和光線等外界因素的影響，進而對目標跟蹤的準確性造成影響。采用基于深度學習[4]的目標檢測方法，可以對道路中的車輛進行精準識別，利用獲取的車輛種類和位置信息進一步跟蹤和計數(shù)。J.REDMON等人[5]提出以卷積神經(jīng)網(wǎng)絡為基礎的YOLO目標檢測算法，實現(xiàn)了對圖像目標的檢測和分類，目前已經(jīng)由YOLOv1發(fā)展到Y(jié)OLOv5[69];張文龍等人[10]在JDE跟蹤算法的基礎上添加AFN模塊，使用EfficientNetv2替換YOLOv5的特征提取網(wǎng)絡，提高了算法實時跟蹤速度和檢測能力;賴見輝等人[11]采用基于深度學習的YOLOv3方法，建立卡爾曼濾波、匈牙利分配和透視投影變換的交通流量計數(shù)模式，車流量計數(shù)精度在95%左右;劉磊等人[12]采用YOLO網(wǎng)絡與MeanShift跟蹤算法結(jié)合的車流量統(tǒng)計方法，此方法具有較強的魯棒性。雖然科研工作者對交通流量統(tǒng)計方法做了一定研究，但缺少在夜晚交通環(huán)境下的算法和性能測試，夜間場景中目標識別準確率低一直是交通流量統(tǒng)計的一個難點。針對夜晚交通工況，本文提出了一種新的交通流量統(tǒng)計算法框架（res-YOLOv5strafficflowstatisticalframework，RY-TFSF）。該算法借鑒殘差網(wǎng)絡[13]的思想，改進了YOLOv5s[14]中的Focus模塊，將改進后的YOLOv5s檢測算法與DeepSORT跟蹤算法、統(tǒng)計模塊融合，搭建成新的交通流量統(tǒng)計算法框架。與傳統(tǒng)的交通流量統(tǒng)計框架相比，該框架在保證實時性的同時，提高了準確率。該研究在交通流量統(tǒng)計領域應用前景廣闊。

1目標檢測

1.1YOLOv5s網(wǎng)絡結(jié)構

深度學習中以YOLO為代表的基于回歸檢測方法表現(xiàn)出了更好的性能。其中，最新的YOLOv5算法較前幾代YOLO算法在靈活性和速度上得到了極大的改進，可滿足交通流量統(tǒng)計領域?qū)崟r性的要求。YOLOv5目標檢測網(wǎng)絡結(jié)構共有四種，按照網(wǎng)絡結(jié)構規(guī)模排序小到大依次為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x，四種網(wǎng)絡結(jié)構的殘差組件和卷積核的個數(shù)依次增加[15]。YOLOv5s網(wǎng)絡是YOLOv5系列中深度和特征圖寬度最小的網(wǎng)絡結(jié)構，YOLOv5s網(wǎng)絡架構如圖1所示。

該網(wǎng)絡包括Input、Backbone、Neck和Prediction四個部分，其中，Input為圖片輸入模塊，要求輸入圖像大小為640×640，對于不滿足該尺寸的輸入圖片，可將圖片自適應的縮放到640×640像素大小。Backbone的作用是對圖像進行降采樣，減小圖片的寬和高，而通道數(shù)增加，可提取不同層次的語義信息。YOLOv5s中使用CSPDarknet53結(jié)構，使用Focus結(jié)構作為基準網(wǎng)。Neck位于主干網(wǎng)絡和網(wǎng)絡頭部的中間位置，它可以對特征提取的多樣性及魯棒性進行優(yōu)化。Prediction包含分類和回歸兩個分支，用來完成目標檢測結(jié)果的輸出。

1.2Res-YOLOv5sFocus層的改進

在主干網(wǎng)絡的卷積層前有一個Focus層[16]用來豐富輸入圖像信息，YOLOv5s中的Focus層如圖2所示。

在YOLOv5s的Focus層中，將輸入圖像在行與列上分別取奇數(shù)像素與偶數(shù)像素，在3個通道上產(chǎn)生4個圖像塊，并將所有圖像塊沿通道方向進行拼接，使原本3通道的圖像變?yōu)?2通道，并且圖像尺寸變?yōu)樵瓉淼囊话?。這種Focus結(jié)構在下采樣的過程中，將寬與高上的信息變換到了通道方向，為后續(xù)的特征提取保存了較完整的圖片下采樣信息。-

為更好提取目標的圖像特征，增強目標檢測算法對目標的識別能力，本文對YOLOv5s模型中的Focus層做出了結(jié)構上的改進，改進后的Focus層如圖3所示。基于Focus結(jié)構上增加了一條通路，該通路直接輸入圖像進行卷積，再將兩條通路進行拼接后，經(jīng)過一次32通道3×3的卷積，即可得到改進Focus模塊的輸出。此結(jié)構能在YOLOv5s/Focus層優(yōu)勢的基礎上，更多的保留原始圖像信息，并且將兩條通路結(jié)合，豐富輸入圖像信息，使后續(xù)卷積層可以獲得更好的特征提取效果。-

1.3激活函數(shù)

本文采用LeakyReLU激活函數(shù)對卷積層得到的運算結(jié)果進行非線性激活[1718]，傳統(tǒng)的ReLU激活函數(shù)雖然具有較快的計算速度與收斂速度。但當輸入值為負時，會因為其0輸出導致神經(jīng)元無法更新參數(shù)。

而相較于傳統(tǒng)的ReLU函數(shù)，LeakyReLU函數(shù)在輸入的負半?yún)^(qū)間引入了Leaky值，避免了輸入為負值時，0的導數(shù)引發(fā)神經(jīng)元無法更新參數(shù)的問題。ReLU和LeakyReLU激活函數(shù)如圖4所示。

圖4中，LeakyReLU激活函數(shù)負半軸是一個較小斜率的函數(shù)，可以初始化神經(jīng)元，避免神經(jīng)元死亡并可增加負值特征信息的提取。當LeakyReLU激活函數(shù)中a=5.5時，LeakyReLU激活函數(shù)的分類能力高于ReLU激活函數(shù)。

2目標跟蹤

目標跟蹤的主要任務是關聯(lián)兩幀之間的檢測目標，對目標進行編號，獲得目標運動軌跡，為流量統(tǒng)計框架提供數(shù)據(jù)基礎。DeepSORT算法是跟蹤檢測算法中的一個經(jīng)典代表，其具有魯棒性和實時性較高的優(yōu)點，DeepSORT算法流程如圖5所示。

圖5中IOU匹配為檢測目標框交并比，是衡量真實目標框與檢測目標框差異的一種參數(shù)。該算法在SORT算法的基礎上加入了深度特征，通過目標的外觀特征匹配來增加在遮擋等特殊情況下目標跟蹤的準確率，并減少了ID跳變的次數(shù)。

對所有初始幀進行檢測和ID編號初始化，使用卡爾曼濾波預測下一幀的狀態(tài)參數(shù)，根據(jù)預測框和下一幀檢測框的CNN和IOU進行匈牙利匹配[19]。預先設置合適的閾值，判斷特征距離與所設閾值的大小關系，要求三者中有一處匹配成功，則會進入卡爾曼濾波更新階段。若經(jīng)過T次匹配仍未成功，目標跟蹤Tracks會被認為已經(jīng)離開視頻，其將被刪除，未匹配成功的目標檢測框Detections將給予新的ID編號，所有Detections和Tracks處理完成后，則進入下一幀的匹配更新環(huán)節(jié)。-

3流量統(tǒng)計框架

本文針對夜間交通場景，搭建了交通流量統(tǒng)計框架RY-TFSF，RY-TFSF交通流量統(tǒng)計框架如圖6所示。由于交通場景的復雜性以及智能交通系統(tǒng)對信息實時性的要求，統(tǒng)計流量時，剔除冗余的信息，避免其對智能交通系統(tǒng)各性能的影響[20]。-當一個車輛ID首次在視頻區(qū)域出現(xiàn)時，記錄框中心點位置（x，y）first，當該ID通過檢測線時會再次記錄框中心點（x，y）end，根據(jù)兩次記錄的中心點，可計算得到一個矢量方向，進而判斷該ID的運動方向。

判讀該ID是否被記錄于ID集中，如選項為否，則根據(jù)跟蹤檢測框的類別和行駛方向進行計數(shù)，如已經(jīng)計數(shù)則不進行操作。當某車輛駛出視頻區(qū)域時，將此ID從Recorded_ID中刪除，以此縮小RY-TFSF框架的規(guī)模，減少對算力的需求，保證流量統(tǒng)計的速度和實時性。

4實驗結(jié)果及分析

軟件配置為編程語言采用python3.7，深度學習框架及相應庫分別采用pytorch1.7.0，Cuda10.1和Cudnn7.4.1，操作系統(tǒng)為Ubuntu18.04。硬件配置為i710700kCPU@3.00GHz，NVIDIAGeForceRTX2080Ti，12G顯存，CUDA核心數(shù)為4352和運行內(nèi)存為32G。實驗參數(shù)為置信度設為0.4，IOU匹配閾值設為0.5，HOG特征匹配閾值設為0.5。

本文測試過程分為兩個步驟：一是對改進的YOLOv5s神經(jīng)元網(wǎng)絡進行訓練，得到適用于夜間環(huán)境的車輛識別器;二是將訓練好的識別器與跟蹤模塊和統(tǒng)計模塊結(jié)合，得到適用于夜間環(huán)境的交通流量統(tǒng)計集成系統(tǒng)，并應用該系統(tǒng)對標注數(shù)據(jù)集進行檢測。-

4.1深度神經(jīng)元網(wǎng)絡訓練

YOLOv5s網(wǎng)絡的訓練階段使用了Mosaic數(shù)據(jù)增強操作和自適應錨框計算，Mosaic數(shù)據(jù)增強操作可以提升模型的訓練速度和整個網(wǎng)絡的精度[21]。在YOLOv5s模型訓練過程中，損失函數(shù)隨迭代次數(shù)變化曲線如圖7所示。

YOLOv5s模型訓練過程圖橫坐標為迭代次數(shù)，縱坐標為損失函數(shù)值Loss。由圖7可以看出，在迭代800次左右，3種Loss的值均趨向于穩(wěn)定，此時得到相對較優(yōu)的權重。

4.2交通流量統(tǒng)計測試及結(jié)果分析

流量統(tǒng)計框架的車輛類別分為轎車、公交車和卡車3種車型，使用這3種類型對測試視頻進行流量統(tǒng)計檢測，利用opencv在視頻的左上角搭建虛擬計數(shù)器。流量統(tǒng)計框架部分效果圖如圖8所示。

通過采集實際道路的夜間交通視頻，對本文所搭框架的準確率進行驗證分析，計算框架平均準確率和平均速率分別為

Fave=FtotalTtotal-式中，Ni，j為框架測試得到的第i個視頻中的第j種類的目標數(shù)量;Ri，j為真實的第i個視頻中的第j種類的目標數(shù)量;Ftotal為測試視頻的總幀數(shù);Ttotal為框架測試完視頻所用的總時間。經(jīng)過計算，得到改進前后夜間交通視頻流量統(tǒng)計測試結(jié)果，夜間交通視頻流量統(tǒng)計測試結(jié)果如表1所示。

由表1統(tǒng)計測試結(jié)果分析可知，該框架對夜間場景視頻的交通目標具有良好的計數(shù)準確率和檢測速度，在單張顯卡的設備上，可滿足智能交通對實時性的要求。

5結(jié)束語

本文搭建了一個適用于夜間場景的交通流量統(tǒng)計框架，該框架分為檢測、跟蹤和統(tǒng)計模塊。分析研究目標檢測算法的網(wǎng)絡結(jié)構，選用YOLOv5s算法，針對夜間場景交通問題的特點，改進Focus模塊來提高算法的特征提取能力。改進后的YOLOv5s算法與DeepSORT跟蹤算法構建了跟蹤框架，在此跟蹤框架的基礎上搭建流量統(tǒng)計框架，并拍攝了夜間交通視頻。對夜間交通視頻測試，其結(jié)果說明該框架具有不錯的魯棒性、實時性和較強的開放性，并且可較容易地集成其它功能。本實驗的不足之處是統(tǒng)計算法檢測速度較慢，后期研究中將增加對夜間極端天氣視頻的測試，繼續(xù)修改統(tǒng)計算法框架，提高對極端工況的實驗統(tǒng)計速度和準確率，這也是本實驗今后深入研究的主要方向。-參考文獻：

[1]張毅，姚丹亞，李力，等.智能車路協(xié)同系統(tǒng)關鍵技術與應用[J].交通運輸系統(tǒng)工程與信息，2021，21（5）：4051.

[2]范雪梅.基于卷積神經(jīng)網(wǎng)絡圖像識別的交通流量信息采集終端的設計與實現(xiàn)[D].南京：東南大學，2018.

[3]張婷婷，章堅武，郭春生，等.基于深度學習的圖像目標檢測算法綜述[J].電信科學，2020（7）：92106.

[4]BHATTJ，HASHMIKA，AFZALMZ，etal.Asurveyofgraphicalpageobjectdetectionwithdeepneuralnetworks[J].AppliedSciences，2021，11（12）：53445365.

[5]YET，ZHAOZY，ZHANGJ，etal.Low-altitudesmall-sizedobjectdetectionusinglightweightfeature-enhancedconvolutionalneuralnetwork[J].JournalofSystemsEngineeringandElectronics，2021，32（4）：841853.

[6]KRIZHEVSKYA，SUTSKEVERI，HINTONG.ImageNetclassificationwithdeepconvolutionalneuralnetworks[J].AdvancesinNeuralInformationProcessingSystems，2012，25（2）：10971105.

[7]LIUR，LENGXF，LIUY.AfastimagematchingalgorithmbasedonYolov3[J].TransactionsofNanjingUniversityofAeronauticsandAstronautics，2021，38（5）：807815.

[8]盧迪，馬文強.基于改進YOLOv4tiny算法的手勢識別[J].電子與信息學報，2021，43（11）：32573265.

[9]張仲楠，霍煒，廉明，等.基于Yolov5的快速雙目立體視覺測距研究[J].青島大學學報（工程技術版），2021，36（2）：2027.

[10]林森，劉美怡，陶志勇.采用注意力機制與改進YOLOv5的水下珍品檢測[J].農(nóng)業(yè)工程學報，2021，37（18）：307314.

[11]賴見輝，王揚，羅甜甜，等.基于YOLO_v3的側(cè)視視頻交通流量統(tǒng)計方法與驗證[J].公路交通科技，2021，38（1）：135142.

[12]劉磊，趙栓峰，郭衛(wèi).一種YOLO識別與Meanshift跟蹤的車流量統(tǒng)計方法[J].制造業(yè)自動化，2020，42（2）：1620.

[13]郝旭政，柴爭義.一種改進的深度殘差網(wǎng)絡行人檢測方法[J].計算機應用研究，2019，36（5）：15691572，1584.

[14]ZHOUJ，JIANGP，ZOUAR，etal.ShiptargetdetectionalgorithmbasedonimprovedYOLOv5[J].JournalofMarineScienceandEngineering，2021，9（8）：162166.

[15]許宏吉，王玨，李夢荷，等.基于多卷積核殘差網(wǎng)絡的行為識別系統(tǒng)、方法、介質(zhì)及設備[P].CN111027487A，20200417.

[16]ALDAHOULN，KARIMHA，ABDULLAHM，etal.TransferdetectionofYOLOtofocusCNN'sattentiononnuderegionsforadultcontentdetection[J].Symmetry，2020，13（1）：2651.

[17]LIUYS，WANGXJ，WANGL，etal.AmodifiedleakyReLUscheme（MLRS）fortopologyoptimizationwithmultiplematerials[J].AppliedMathematicsandComputation，2019，352：188204.

[18]蔣昂波，王維維.ReLU激活函數(shù)優(yōu)化研究[J].傳感器與微系統(tǒng)，2018，37（2）：5052.

[19]魏恩偉，李偉華，張之涵，等.基于改進匈牙利算法的非侵入式負荷匹配方法[J].電測與儀表，2019（22）：5664.

[20]郭歡，朱莉，郭曉剛.基于圖像處理技術的交通流量統(tǒng)計算法的實現(xiàn)[J].自動化技術與應用，2013（2）：4952.

[21]李阿娟.YOLOv5算法改進及其現(xiàn)實應用[D].太原：中北大學，2021.-ResearchonNighttimeTrafficFlowStatisticsAlgorithmBasedonComputerVision

WANGHongchang，WANGPeng，JIAOBowen，YUYixuan，WANGYulin

（CollegeofMechanicalandElectricalEngineering，QingdaoUniversity，Qingdao266071，China）-Abstract：

AnimprovedYOLOv5strafficflowstatisticsalgorithmisproposedtoaddressthelowreal-time，robustness，andaccuracyproblemsoftraditionaltrafficcountinginthenighttimeenvironment.ThisarticleimprovestheFocuslayerintheYOLOv5salgorithmbyusingtheresidualnetwork'sconnectionstructure.TheimprovedYOLOv5salgorithmiscombinedwiththeDeepSORTmonitoringalgorithmandstatisticsmoduletoconstructanefficienttrafficflowstatisticsframework.Ultimately，theframework'saccuracyisverifiedbycollectingvideosofnighttimescenesofactualroadconditions.Theexperimentalresultsdemonstratethatthealgorithmachievedanaverageaccuracyof92.9%，implying3.0%improvementoverthepre-improvementperiod.Simultaneously，theaveragedetectionspeedcanreach33.4Hz，whichcanmeettherequirementsoftrafficflowstatisticsinbothaccuracyandreal-time.Thealgorithmframeworkcaneffectivelyprovidenighttimetrafficflowdataandprovidesometechnicalsupportforthedevelopmentofintelligenttransportation.Keywords：

computervision;trafficflowstatistics;YOLOv5stargetdetectionalgorithm;DeepSORTtrackingalgorithm;intelligenttraffic

收稿日期：20211104;修回日期：20220113

作者簡介：王洪昌（1994），男，碩士研究生，主要研究方向為自動駕駛技術。

通信作者：王玉林（1964），男，博士，教授，主要研究方向為電子控制技術。Email：wangyuln@163.com