基金項目：2021年度廣西高校中青年教師科研基礎能力提升項目“基于計算機視覺的非機動車違規(guī)行為識別研究”（編號：2021KY1131）

作者簡介：張 舜 （1990—），碩士，講師，主要從事云計算、計算機應用技術的研究工作。

摘要：文章提出了一種基于改進YOLOv4模型的非機動車違規(guī)行為識別的檢測方法。該方法采用面積比較算法融合DeepSORT算法的方式解決了非機動車違規(guī)行為識別與多目標跟蹤的問題。通過實驗，在公開數(shù)據(jù)集上，該方法相較于傳統(tǒng)方法，具有更高的準確率和更低的誤判率。

關鍵詞：非機動車檢測；計算機視覺；目標檢測

中圖分類號：U495

0 引言

隨著城市交通的不斷發(fā)展，非機動車在城市道路中的使用量逐年攀升，其安全問題也愈加突出。如何有效地進行非機動車違規(guī)行為識別和檢測，成為當前交通領域的重要研究方向。本文提出了一種基于改進YOLOv4模型的非機動車違規(guī)行為識別檢測方法。針對非機動車違規(guī)行為判定、多目標跟蹤等問題，對其算法進行了改進與融合，進一步提升模型的泛化能力。本文所提出的方法相較于傳統(tǒng)的非機動車違規(guī)行為識別檢測方法和原始版本的YOLOv4，具有更高的準確率和更低的誤判率，證明了該方法在非機動車違規(guī)行為識別領域的應用前景和可行性。

1 YOLOv4模型結構分析

YOLOv4是一種基于深度學習的目標檢測模型，其模型結構主要分為5個部分：Darknet-53主干模型、SPP和PANet模塊、C3/C4/C5輸出、FPN以及輸出層。

1.1 CSPDarknet-53主干模型

YOLOv4采用CSP（Cross Stage Partial）Darknet-53作為主干模型，該模型結構使用跨層連接技術，將輸入特征圖分成兩部分，一部分直接進入模塊內部，另一部分經(jīng)過殘差塊進行處理，再與前一部分進行通道合并。這種跨層連接方式可以加快信息流動，提高模型的特征表泛化能力。

1.2 SPP和PANet模塊

YOLOv4在主干模型中引入了金字塔空間池化（SPP）和金字塔注意力機制（PANet）模塊，加強特征表達能力，并且減少分辨率下降導致的物體檢測誤差。

1.3 特征金字塔模型（FPN）

YOLOv4采用了特征金字塔模型（FPN）來處理不同尺度的物體，并通過跨層連接將低級別特征與高級別特征相結合，以改進小物體檢測和定位性能。

1.4 C3/C4/C5輸出

C3、C4、C5分別代表CSPDarknet-53中3個尺度的輸出特征圖，這些特征圖被CNN層處理后，送到最終的輸出層。

1.5 輸出層

YOLOv4輸出層包含多個輸出分支，每個輸出分支都可以預測一種物體類別。每個分支由多個卷積層組成，最后通過sigmoid激活函數(shù)轉化為置信度。

綜上所述，YOLOv4在模型結構上進行了多方面的優(yōu)化，如使用CSPDarknet-53主干模型、引入SPP和PANet模塊以及FPN等，提高了YOLOv4模型的表達能力和檢測性能。

2 非機動車違規(guī)行為判定算法

利用YOLOv4進行非機動車違規(guī)行為判定的方法主要分為兩個步驟：（1）目標檢測，利用YOLOv4模型對非機動車進行識別和定位；（2）違規(guī)行為判定，通過對目標運動狀態(tài)和行為特征進行分析，識別出非機動車的違規(guī)行為。本文以未佩戴安全頭盔行為為例。

2.1 傳統(tǒng)違規(guī)判定算法

目前對于未佩戴安全頭盔的非機動車違規(guī)行為，大部分的判斷算法都是基于頭肩匹配的方法^［1］，即先對駕駛員進行頭肩檢測，使用人物交互算法判斷頭盔與頭肩的關系，從而判定是否佩戴了頭盔。然而，該方法無疑增加了整個判斷流程的計算量。

2.2 面積交叉比較算法

為了解決上述問題，本文提出了一種面積交叉比較算法。當攝像頭位于非機動車正前方，可以通過比較頭盔和駕駛員之間的匹配度，來判斷是否佩戴頭盔。該方法只需要增加極少量的計算量，即可判斷當前駕駛員是否佩戴頭盔，即使存在其他駕駛員頭盔干擾的情況。如圖1所示，圖片中檢測出了without、with、b-rider與e-rider目標。取得e-rider標簽的圖像之后即可判斷是否佩戴頭盔。

通過面積交叉比較判斷，計算得到without與b-rider、e-rider目標框的交集面積，從而判斷出沒有佩戴頭盔的非機動車駕駛員；通過計算with與其他多數(shù)e-rider目標框的交集面積，從而得到未佩戴頭盔的非機動車駕駛員。如式（1）所示：

式中：O（a，b）——a目標框與b且標框的交集面積，體現(xiàn)在圖片中也就是a、b目標框相交的像素點;

U——with與without目標框的集合。

計算出來的R_e-rider是一個集合，如果集合中最大值對應的目標框框的標簽為without，那么就可以確認該目標為未佩戴頭盔的非機動車駕駛員。

基于計算機視覺的非機動車違規(guī)行為識別的研究/張 舜

3 DeepSORT多目標跟蹤

在實際交通場景中，多輛非機動車同時出現(xiàn)的頻率非常高，為了識別其他的違規(guī)行為，需要跟蹤多個非機動車目標，并獲取視頻流中多個目標幀與幀之間的關聯(lián)信息。本文采用DeepSORT算法來實現(xiàn)多目標跟蹤。

DeepSORT算法是由SORT跟蹤算法進化而來的新版本。SORT算法具有優(yōu)秀的性能和低復雜度，但存在身份跳變的問題。在非機動車違規(guī)行為識別的過程中，身份跳變即代表目標的丟失，從而使違規(guī)行為識別毫無意義。而DeepSORT算法采用級聯(lián)+IoU的匹配機制，融合了目標特征信息，同時給軌跡設置了max_age參數(shù)，即使目標被遮擋仍可以重新被跟蹤，從而降低身份跳變的發(fā)生。在非機動車違規(guī)行為識別中，降低身份跳變對于判斷非機動車違規(guī)行為至關重要。因此，通過DeepSORT算法來實現(xiàn)違規(guī)行為識別任務，可以有效地提高多目標持續(xù)跟蹤的穩(wěn)定性。

3.1 表觀特征

DeepSORT算法中實現(xiàn)了目標的表觀特征余弦距離^［2］，借用了ReID領域模型提取特征，在實際交通場景的視頻中，目標往往會出現(xiàn)遮擋、目標運動軌跡不連續(xù)的情況，在這種情況下，如果僅僅通過運動特征進行匹配計算還是依舊會造成身份跳變的現(xiàn)象。DeepSORT算法中采用了表觀特征解決了這個問題。

對于每一個跟蹤目標會構建一個集合，用于存儲成功關聯(lián)的特征向量。然后計算第i個跟蹤目標的所有特征向量與當前幀檢測結果第j個目標的特征之間的最小余弦距離，計算公式如式（2）。

式中：r_j——第j個檢測目標被CNN輸出的128維向量；

i——跟蹤器序列；

r^（i）_k——跟蹤的特征向量，保留過去成功跟蹤的k次的特征。

3.2 融合DeepSORT算法

在DeepSORT算法中，提取目標特征的模型是Wide residual networks^［3］。在原始的DeepSORT算法中，重識別特征權重是通過訓練行人數(shù)據(jù)集得到的。這些權重無法直接應用于非機動車的應用場景中。因此，需要重新選取合適的數(shù)據(jù)集進行訓練，以獲得符合非機動車應用場景的新權重。使用非機動車數(shù)據(jù)集對模型進行訓練，該數(shù)據(jù)集包含400張圖片，將數(shù)據(jù)集按照7∶3的比例分為訓練集和測試集，對模型進行訓練，可以提升算法在非機動車場景下的表現(xiàn)。

3.3 實驗結果

為了驗證改進后的重識別特征提取模型的性能，使用重識別數(shù)據(jù)集對改進前后的兩個特征提取模型進行測試，并對非機動車場景視頻進行速度測試。最終將得到的結果列在表1中。

由表1可知，改進后的重識別特征提取模型相比改進前，在推理時間和精度指標方面都有所提升。具體而言，精度提高了2.8%，平均推理時間減少了2.2 ms。本次改進不僅提高了一定的精度，也顯著減少了推理時間，表明改進效果十分有效。在實際視頻跟蹤中，每幀圖像的平均處理時間為30 ms，幀率可達24.8 FPS，可以實時監(jiān)控視頻流。

4 結語

本文主要介紹了一種基于改進YOLOv4模型的非機動車違規(guī)行為識別檢測方法。本文的主要工作如下：

（1）改進了傳統(tǒng)非機動車違規(guī)行為中不佩戴頭盔的判定算法，由傳統(tǒng)的人物交互算法轉向使用面積交叉比較法，可以通過比較頭盔目標和駕駛員目標之間的匹配度，來判斷非機動車駕駛員是否真正佩戴了頭盔。由于這種方法只需要增加極少的計算量，因此可以很容易地判斷當前駕駛員是否佩戴頭盔，即使混有其他駕駛員的頭盔也能夠準確識別，相較人物交互算法減少了判斷時的計算量。

（2）融合DeepSORT算法解決多目標跟蹤的問題，通過采用自采集非機動車數(shù)據(jù)集重新訓練，使模型能夠應用于非機動車的多目標跟蹤。

與YOLOv4相比，優(yōu)化后的模型檢測能力得到了提升，對于非機動車違規(guī)行為識別判斷效率更高，可滿足實際應用的條件。

參考文獻

［1］呂佳俊.基于深度學習的安全頭盔實時檢測與報警系統(tǒng)的設計與實現(xiàn)［D］.成都：西南大學，2021.

［2］Nguyen H V，Bai L. Cosine similarity metric learning for face verification［C］.Asian conference on computer vision. Springer，Berlin，Heidelberg，2010.

［3］Zagoruyko S，Komodakis N. Wide residual networks［J］. arXiv preprint arXiv，2016（1 605）：07146.

收稿日期：2023-03-30