史曉蒙SHI Xiao-meng；魏健康WEI Jian-kang；呂曉鵬LV Xiao-peng；張偉ZHANG Wei；田其鵬TIAN Qi-peng

（北京易華錄信息技術股份有限公司，北京 100026）

0 引言

在過去的若干年中國的基建發(fā)展迅速，交通作為基建的一環(huán)對城市經(jīng)濟的發(fā)展起到重要的推動作用，構建良好完善的交通管理系統(tǒng)成為城市建設的緊迫需求，而當下日趨復雜的道路狀況加大了交通管理的難度，基于人力的交通管理方法已經(jīng)不適應目前的環(huán)境。當下大數(shù)據(jù)與人工智能技術已經(jīng)日趨成熟，因此利用人工智能技術提升交通管理系統(tǒng)的智能化和效率是當前較優(yōu)的選擇，本文以非機動車管理應用為例，簡單介紹人工智能技術如何為交通管理系統(tǒng)賦能。

1 研究背景

道路作為城市的大動脈對城市的經(jīng)濟和社會發(fā)展都有著舉足輕重的作用，創(chuàng)建安全、暢通的交通環(huán)境是建設文明城市和現(xiàn)代化城市的首要目標。而目前復雜的交通狀況，城市交通擁堵，交通違法不規(guī)范行為等依然存在，交通安全形勢嚴峻，如何提高交通管理水平，解決城市的交通問題是交通管理部門面臨的問題和挑戰(zhàn)。

規(guī)范交通行為是解決交通問題中比較好的切入點，遵守交通規(guī)則是保證道路正常運行的基礎，因此集中開展針對機動車、非機動車的一系列交通違法整治工作可以視為現(xiàn)階段交管工作的重中之重。但是在違法整治工作中，存在以下難題：交警部門已建設的視頻資源正面臨內(nèi)容浪費、已建設設備非智能化、手動抓拍人力不足、城市道路供給和需求之間呈現(xiàn)顯著的不匹配；隨著城市化信息技術的發(fā)展，城市智能交通產(chǎn)業(yè)規(guī)模也在逐年擴大。人工智能賦能交通行業(yè)，對加快構建數(shù)字交通、交通強國具有重要意義。

同時隨著外賣等新興行業(yè)的發(fā)展，外賣車違法事件也日漸增多，一方面造成了交通秩序混亂，另一方面也對人身安全等造成威脅，因此對于外賣車的監(jiān)管具有十分重要的意義。

2 外賣車違法檢測系統(tǒng)

外賣車違法檢測系統(tǒng)是以機器視覺中的多目標跟蹤為基礎，并集分類、檢測和邏輯分析于一體的應用，用于檢測外賣車的5 種違法行為，包括駕駛員未戴頭盔，占用機動車道、逆行、橫穿道路和闖紅燈檢測，整體的算法架構圖見圖1。

圖1 外賣車整體架構

遵循深度學習的通用思路，分別按照①收集任務數(shù)據(jù)并標注；②構建任務模型；③模型的訓練與優(yōu)化三個步驟來構建違法系統(tǒng)中所用到的算法模型，當前的算法共包括5 種模型，如表1 所示。

表1 模型及用途匯總表

2.1 多目標跟蹤模型

在整個違法事件檢測系統(tǒng)中跟蹤模型是核心模塊，這里使用的是DeepSORT 多目標跟蹤模型，該模型主要分為兩個部分：①ReID 外觀重識別模型部分；②SORT 軌跡分配部分。

2.1.1 ReID 重識別模型

ReID 重識別模型常應用于跨攝像頭行人重識別中，該模型可以識別不同對象的外觀特征并用特定的向量來表征，然后通過比較特征向量的距離來判斷不同對象的相似程度，在此處的非機動車違法事件檢測中只需要對同一個攝像頭設備下非機動車進行識別即可，因此首先構建同一攝像頭設備下的非機動車ReID 數(shù)據(jù)集，然后基于這些數(shù)據(jù)重新訓練ReID 模型，在ReID 模型中使用ResNet50作為骨干網(wǎng)絡，并使用512 維度的特征向量來表征物體，最終的效果是相同的非機動車間特征向量的距離遠小于不同的非機動車間的特征向量距離。

2.1.2 SORT 軌跡分配部分

在SORT 部分中使用了卡爾曼濾波和匈牙利匹配算法，卡爾曼濾波根據(jù)線性運動模型來更新對象軌跡的位置等相關信息，而匈牙利匹配則負責軌跡框和檢測框的匹配問題，這里主要是針對特定場景對運動模型的狀態(tài)方程進行調(diào)整，使用運動對象的中心點、寬高比以及高度作為運動模型的狀態(tài)空間參數(shù)，并對位置和速度參數(shù)進行整定，從而對當前場景下非機動車的運動進行更精確的建模。

在匈牙利匹配中使用對象之間的特征相似性、交并比IOU 和馬氏距離來更精確地匹配跟蹤框和檢測框，從而提高跟蹤的準確性。

2.2 分類模型

外賣車分類采用EfficientNet-b5 分類模型，同時為解決數(shù)據(jù)集類別之前存在失衡問題，因此使用focal loss 作為訓練的損失函數(shù)，為了確保模型學習到正確的特征，使用grad-cam 可視化卷積的最后一層來理解模型在分類時最關注的特征區(qū)域。

在分類模型中也同時加入了位置注意力（spatial attention）模塊，注意力模塊可以捕捉對分類結果更有利的特征，如不同的外賣品牌中駕駛員的頭盔、衣服或箱子包含大量的差異性信息，而使用注意力模塊使模型更關注這些區(qū)域的特征從而更有利于最終的分類效果。

為了解決數(shù)據(jù)集的類別不平衡問題，這里使用聚焦損失（focal loss），由于待分類的外賣車品牌有多種，因此這里將二分類的focal loss 修改為多分類的focal loss，然后使用相應類別樣本數(shù)量的相關權重來進一步優(yōu)化該損失，從而提高樣本數(shù)量少的類別和困難樣本在訓練模型中的比重，最終保持各個類別準確率的平衡，同時在分類模型的訓練過程中加入了標簽平滑（label smooth）、隨機權重平均（Stochastic Weight Averaging）和余弦學習率衰減等方式來提升模型的泛化能力。

紅綠燈分類中使用輕量化MobileNetV3 模型，保證模型精度的同時提高推理效率。

2.3 YOLOV5 檢測模型

這里用到兩個檢測模型，分別用于檢測非機動車與駕駛員頭盔，這里采取的訓練方式與現(xiàn)有技術相同，都是基于大規(guī)模的預訓練數(shù)據(jù)集進行微調(diào)，首先從各種場景采集大量的非機動車數(shù)據(jù)，然后基于這些數(shù)據(jù)訓練一版模型得到預訓練權重，當模型要部署到新的場景時，從該場景收集少量的現(xiàn)場數(shù)據(jù)，然后在已有的預訓練權重上進行微調(diào)，由于預訓練權重是基于不同的場景數(shù)據(jù)訓練的，保證了數(shù)據(jù)的多樣性，可以大幅提高模型的泛化能力，而基于特定場景的微調(diào)也進一步提升模型在該場景下的表現(xiàn)能力。

2.4 違法事件檢測

違法事件檢測是整合前面得到的模型并結合邏輯分析判斷實現(xiàn)的具體應用，具體流程為：

①讀入場景的視頻幀數(shù)據(jù)。

②使用YOLO 模型檢測當前場景中的非機動車，如果存在非機動車則使用EfficientNet 模型識別其品牌，并設置為跟蹤狀態(tài)，并使用DeepSORT 算法進行非機動車目標跟蹤，最終得到完整的非機動車軌跡數(shù)據(jù)，這里的軌跡數(shù)據(jù)包含當前非機動車的軌跡編號、非機動車的跟蹤框（中心點坐標、寬和高）、非機動車的縮略圖數(shù)據(jù)以及當前外賣車的品牌類別。如果當前場景中沒有非機動車則設置為檢測狀態(tài)，只有當系統(tǒng)處于跟蹤狀態(tài)時才對非機動車進行跟蹤。

③系統(tǒng)在跟蹤狀態(tài)時獲取了各個非機動車的軌跡信息，而每個非機動車都有唯一的軌跡號，因此可以減少時序視頻幀信息的重復利用，達到去重的目的，根據(jù)軌跡信息并結合邏輯判斷等方式判斷違法事件。

④當存在違法事件后則返回違法事件，輸出違法信息。

2.4.1 未戴頭盔（見圖2）

圖2 未戴頭盔流程圖

檢測步驟：

①輸入對應軌跡編號下非機動車的縮略圖。

②使用YOLOV5 進行頭盔檢測，如果檢測到頭盔就直接返回，如果沒有檢測到頭盔則獲取非機動車駕駛員的頭部圖像。

③利用圖像灰度直方圖對駕駛員頭部圖像進行分析，如果其直方圖分布滿足設置的閾值則表示該分布與未戴頭盔的特征分布一致，直接輸出未戴頭盔事件。

2.4.2 闖紅燈檢測（見圖3）

圖3 闖紅燈流程圖

檢測步驟：

①輸入場景圖像。

②根據(jù)預先獲取到的紅綠燈區(qū)域信息裁減紅綠燈圖像，并使用MobileNet 識別紅綠燈類別，如果為紅燈則進行后續(xù)的闖紅燈判斷，否則直接返回。

③讀取對應軌跡編號的坐標點信息，依次判斷軌跡點是否出現(xiàn)在非機動車的停止線以內(nèi)；跨過停止線；出現(xiàn)在對面的路口，如果三個條件全滿足并且整個過程中都是紅燈，則判定為闖紅燈，并輸出事件。

2.4.3 逆行檢測（見圖4）

圖4 逆行檢測流程圖

檢測步驟：

①輸入非機動車軌跡和縮略圖數(shù)據(jù)。

②根據(jù)車道的實際方向來預先設置方向線，計算軌跡線和方向線的夾角，如果夾角大于閾值則繼續(xù)判斷，否則直接返回。

③使用ResNet50 多屬性分類模型來識別非機動車是否為車頭或車尾，如果車頭的朝向與方向線方向相反，并且第2 步中計算的夾角大于閾值，則輸出逆行事件，否則直接返回。

2.4.4 占用機動車道（見圖5）

檢測步驟：

①輸入非機動車軌跡數(shù)據(jù)。

②根據(jù)機動車道的實際位置預先設置機動車道區(qū)域多邊形框，然后判斷非機動車的軌跡點是否出現(xiàn)在機動車道框內(nèi)，如果出現(xiàn)則表示占用機動車道，輸出違法事件，否則直接返回。

2.4.5 橫穿道路檢測（見圖6）

圖6 橫穿道路檢測流程圖

檢測步驟：

①輸入非機動車軌跡數(shù)據(jù)。

②根據(jù)機動車道的實際位置為每個車道設置單獨的多邊形框，然后判斷非機動車的軌跡點在各個機動車車道的占用情況，如果占用車道的數(shù)量大于設定的閾值則表示車輛橫穿了道路，直接輸出違法事件，否則直接返回。

2.5 系統(tǒng)性能

系統(tǒng)性能總結如表2。

表2 系統(tǒng)性能總結

使用視頻進行測試得到的時間消耗曲線見圖7。

圖7 時間消耗曲線

2.6 本方案的優(yōu)點

本論文提出了一種基于深度學習的外賣車違法事件檢測方法，設計了模型推理程序。

首先，采集實際場景非機動車圖像作為基礎數(shù)據(jù)集，建立大規(guī)模訓練數(shù)據(jù)集使其既具有非機動車各角度、場景下樣本，又具有其詳細特征。然后采用深度學習在訓練數(shù)據(jù)集上訓練適用于實際場景的非機動車檢測模型。同時根據(jù)外賣車/非機動車數(shù)據(jù)集，進行美團、餓了么及普通非機動車分類模型訓練，建立外賣車分類模型。實際使用時，對視頻流進行抽幀，然后進行非機動車檢測，對于檢測到的非機動車進行分類，區(qū)分是否為外賣車及廠家等信息，通過跟蹤算法，得到外賣車軌跡信息，利用外賣車軌跡信息、車道線信息及紅綠燈狀態(tài)信息，對外賣車行駛過程進行監(jiān)控，判斷其行駛過程是否存在未戴頭盔、闖紅燈、逆行、占用機動車車道、橫穿道路等違法行為。

模型可以實現(xiàn)在各種應用場景及不同光照條件下的快速、準確的外賣車違法行為檢測，多場景下準確率達95%，在Tesla p4 上測試平均速度可達52.35ms。

本論文主要的創(chuàng)新點為：

①建立實際場景下的非機動檢測數(shù)據(jù)集及美團、餓了么、普通非機動車分類數(shù)據(jù)集，包括真實視頻場景中采集的圖像與公共數(shù)據(jù)集圖像，并采用多種數(shù)據(jù)增強方式（如mosaic 增強、隨機擦除、加入噪聲等）進一步擴大數(shù)據(jù)集；

②使用YOLOV5 檢測模型，可直接得到非機動車矩形框，通過提取矩形框內(nèi)非機動車小圖進行分類，實現(xiàn)美團、餓了么、普通非機動車的分類，有助于加強對于對局部信息的理解；

③不僅限于正面非機動車數(shù)據(jù)，對于多角度、多姿態(tài)、多場景下的非機動車均可檢測，對于非機動車非法事件的檢測清晰、明確，無需人工二次分類；

④使用TensorRT 作為模型的推理后端優(yōu)化模型的推理速度并降低對顯存資源的消耗，并使用多進程和多線程技術優(yōu)化違法事件檢測的判斷邏輯，從而進一步優(yōu)化整個系統(tǒng)的執(zhí)行效率，最終提高系統(tǒng)的并發(fā)性能，當前外賣車違法事件檢測系統(tǒng)在Tesla P4 上測試的平均檢測速度為52.35ms。

3 結束語

近幾年，隨著智慧城市建設及交通秩序建設，對非機動車尤其是外賣車的監(jiān)管愈發(fā)重視，規(guī)范交通行為是解決交通問題中比較好的切入點，遵守交通規(guī)則是保證道路正常運行的基礎，因此集中開展針對機動車、非機動車的一系列交通違法整治工作可以視為現(xiàn)階段交管工作的重中之重。基于深度學習技術的非機動車管控可最大程度地實現(xiàn)對城市各部門、各單位實時化動態(tài)管控，讓“粗放式管理”成為“精細化管理”，變“臨時突擊”為“長效管理”，使各部門、各單位真正地支持、投入和參與到非機動車管控建設管理中來，切實提升城市整體文明實力。