傅宏偉

（廣東飛達(dá)交通工程有限公司，廣東廣州510000）

0 引言

高速公路上的交通異常事件導(dǎo)致出現(xiàn)重大交通事故隱患。依靠人工巡檢監(jiān)控視頻方式檢查交通異常事件難以保證效率以及及時(shí)性。近年來，隨著圖像處理算法以及硬件設(shè)備的發(fā)展，深度學(xué)習(xí)算法在視頻檢測(cè)應(yīng)用方面取得很好的效果。陳波等人利用殘差網(wǎng)絡(luò)模型的圖像識(shí)別技術(shù)實(shí)現(xiàn)對(duì)隧道內(nèi)的交通流量、交通擁堵等方面進(jìn)行監(jiān)測(cè)[1]。高新聞等人利用YOLOv3和改進(jìn)的SORT算法對(duì)檢測(cè)目標(biāo)進(jìn)行異常情況自動(dòng)判斷，幀級(jí)檢測(cè)精度高，達(dá)到實(shí)際場(chǎng)景的應(yīng)用要求[2]。李海生等人利用基于深度學(xué)習(xí)算法開發(fā)的事件檢測(cè)系統(tǒng)應(yīng)用于珠海機(jī)場(chǎng)高速，對(duì)違法停車、擁堵、行人等事件進(jìn)行預(yù)警，準(zhǔn)確率達(dá)到了96%，極大降低了人工成本[3]。

針對(duì)事件檢測(cè)系統(tǒng)當(dāng)前的問題，即部分高速公路周圍存在省道、鄉(xiāng)道或者其他公路，以及高速公路場(chǎng)景外存在行人等情況，系統(tǒng)檢測(cè)整個(gè)攝像機(jī)畫面會(huì)導(dǎo)致誤報(bào)增加。

另外，監(jiān)控人員需輪詢實(shí)時(shí)視頻，頻繁轉(zhuǎn)動(dòng)攝像機(jī)或攝像機(jī)未停留在預(yù)置位等行為都會(huì)降低檢測(cè)的準(zhǔn)確率。當(dāng)前事件檢測(cè)系統(tǒng)解決此問題方案是：獲取攝像機(jī)的某個(gè)預(yù)置位畫面后，通過人工方式劃分檢測(cè)區(qū)域。

同時(shí)，攝像機(jī)為球機(jī)時(shí)，需針對(duì)多個(gè)預(yù)置位畫面劃分檢測(cè)區(qū)域。當(dāng)攝像機(jī)偏移預(yù)置位時(shí)，系統(tǒng)停止識(shí)別檢測(cè)。該方案增加了人工維護(hù)成本，同時(shí)降低了系統(tǒng)的靈活性。

因此，提出一種免劃線自適應(yīng)檢測(cè)區(qū)域的事件檢測(cè)系統(tǒng)方案，利用EfficientPS全景分割算法識(shí)別交通場(chǎng)景的各類目標(biāo)，根據(jù)不同等級(jí)的識(shí)別粒度提供對(duì)應(yīng)結(jié)構(gòu)化的識(shí)別結(jié)果，提升高速公路場(chǎng)景的全要素識(shí)別能力[4]。另外，結(jié)合視頻時(shí)間維度的信息數(shù)據(jù)，優(yōu)化識(shí)別結(jié)果的穩(wěn)定性和精準(zhǔn)性，實(shí)現(xiàn)自動(dòng)分析高速公路范圍內(nèi)的交通異常事件，減少人力投入。

1 技術(shù)路線

1.1 總體框架

系統(tǒng)采用先進(jìn)的深度學(xué)習(xí)、人工智能及計(jì)算機(jī)視覺等技術(shù)，實(shí)現(xiàn)實(shí)時(shí)檢測(cè)高速公路范圍內(nèi)的交通異常事件。系統(tǒng)是以YOLOv5目標(biāo)檢測(cè)算法、DeepSORT目標(biāo)跟蹤算法和EfficientPS全景分割算法為核心，基于DeepStream的深度學(xué)習(xí)應(yīng)用框架開發(fā)的一套具有快速檢測(cè)、高精度識(shí)別、穩(wěn)定運(yùn)行的系統(tǒng)。系統(tǒng)總體框架如圖1所示。利用DeepStream組件解碼監(jiān)控網(wǎng)攝像機(jī)的錄像視頻流或?qū)崟r(shí)視頻流以獲取圖像數(shù)據(jù)；YOLOv5挖掘每幀視頻圖像數(shù)據(jù)中感興趣的目標(biāo)類別，并獲取相關(guān)目標(biāo)的位置信息；DeepSORT目標(biāo)跟蹤算法基于目標(biāo)檢測(cè)信息，結(jié)合視頻的時(shí)空特征，精準(zhǔn)分析目標(biāo)軌跡姿態(tài)，并通過目標(biāo)軌跡判定感興趣的目標(biāo)是否為異常停車、違規(guī)行人、擁堵事件、拋灑物等交通異常事件。

圖1 系統(tǒng)總體框架

為了實(shí)現(xiàn)免劃線自適應(yīng)檢測(cè)區(qū)域，系統(tǒng)引入全景分割算法，利用基于EfficientPS深度學(xué)習(xí)網(wǎng)絡(luò)的像素級(jí)圖像全景分割技術(shù)，分析視頻圖像的場(chǎng)景數(shù)據(jù)，完成對(duì)高速公路交通場(chǎng)景的像素級(jí)全要素理解，識(shí)別交通場(chǎng)景中的標(biāo)識(shí)、標(biāo)線、護(hù)欄、綠化帶等重要目標(biāo)，精準(zhǔn)定位分析發(fā)生在高速公路范圍內(nèi)的事件，實(shí)現(xiàn)自動(dòng)結(jié)構(gòu)化檢測(cè)區(qū)域功能。

1.2 目標(biāo)檢測(cè)與跟蹤算法

1.2.1 基于YOLOv5目標(biāo)檢測(cè)

YOLOv5目標(biāo)檢測(cè)算法的特點(diǎn)是在輸出層直接回歸預(yù)測(cè)檢測(cè)目標(biāo)的位置信息和類別信息，其檢測(cè)精度高，檢測(cè)速度快，適合應(yīng)用于實(shí)時(shí)檢測(cè)等場(chǎng)景。YOLOv5的主要框架由輸入端、Backbone Network、Neck Network和輸出層四部分組成。

（1）輸入端

模型輸入端采用Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖像縮放等圖像處理技術(shù)，豐富圖像樣本的多樣性，減少信息參數(shù)冗余，加快模型收斂速度，增強(qiáng)模型的小目標(biāo)檢測(cè)。

（2）Backbone Network

Backbone模塊CSPDarknet網(wǎng)絡(luò)提取目標(biāo)特征，F(xiàn)ocus負(fù)責(zé)對(duì)特征圖進(jìn)行切片操作。該模型網(wǎng)絡(luò)將梯度信息融合到特征圖中，優(yōu)化網(wǎng)絡(luò)參數(shù)，有效減少梯度信息重復(fù)的現(xiàn)象。該方法使模型變小，同時(shí)提高模型的推理速度和準(zhǔn)確率，可滿足工業(yè)級(jí)實(shí)時(shí)檢測(cè)需求。

（3）Neck Network

Neck Network采用FPN和PAN結(jié)構(gòu)，結(jié)合兩種網(wǎng)絡(luò)，使淺層特征強(qiáng)定位特征和深層特征強(qiáng)語義特征雙向傳遞，聚合不同層次的特征信息，增強(qiáng)模型的特征融合能力，提高同一物體在圖像中展現(xiàn)不同大小和尺寸形態(tài)時(shí)的識(shí)別效果。

（4）輸出層

輸出層的檢測(cè)框預(yù)測(cè)采用回歸損失函數(shù)CIOU_Loss。該函數(shù)可最大化利用檢測(cè)框間的重疊面積、中心點(diǎn)距離、長寬比等重要的幾何因素，很好地識(shí)別遮擋重疊物體，有效提高預(yù)測(cè)框回歸的檢測(cè)速度和精度。

1.2.2 基于DeepSORT多目標(biāo)跟蹤

DeepSORT基于SORT多目標(biāo)跟蹤算法改進(jìn)，針對(duì)SORT跟蹤算法目標(biāo)ID頻繁切換和遮擋時(shí)間長無法跟蹤等問題，設(shè)計(jì)了一種結(jié)合目標(biāo)行為和特征信息進(jìn)行跟蹤的關(guān)聯(lián)方式，能有效提高目標(biāo)跟蹤的準(zhǔn)確率，對(duì)高速公路目標(biāo)行為分析起到關(guān)鍵作用。DeepSORT主要工作流程如下。

（1）特征提取

利用目標(biāo)檢測(cè)算法獲得目標(biāo)檢測(cè)框，根據(jù)檢測(cè)框提取視頻幀中的所有檢測(cè)目標(biāo)數(shù)據(jù)，對(duì)目標(biāo)進(jìn)行外觀特征和運(yùn)動(dòng)特征提取。

（2）特征匹配

結(jié)合目標(biāo)的外觀和運(yùn)動(dòng)特征，計(jì)算目標(biāo)的特征相似性，得到目標(biāo)的前后兩幀視頻的匹配度。

（3）數(shù)據(jù)關(guān)聯(lián)

對(duì)外觀和運(yùn)動(dòng)兩種度量方式進(jìn)行線性加權(quán)后，作為最終的度量。利用匈牙利算法關(guān)聯(lián)的代價(jià)矩陣對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，為每個(gè)對(duì)象分配目標(biāo)的ID，實(shí)現(xiàn)檢測(cè)目標(biāo)跟蹤。

1.2.3 目標(biāo)跟蹤關(guān)聯(lián)目標(biāo)檢測(cè)

DeepSORT目標(biāo)跟蹤的前提是定位到目標(biāo)物體。YOLOv5目標(biāo)檢測(cè)算法的精度高、速度快等特點(diǎn)可為DeepSORT提供準(zhǔn)確的目標(biāo)框信息。因此，系統(tǒng)以YOLOv5作為目標(biāo)檢測(cè)算法，結(jié)合DeepSORT目標(biāo)跟蹤，實(shí)現(xiàn)對(duì)正在運(yùn)行的高速公路交通異常事件的精準(zhǔn)分析。

1.3 圖像分割算法

場(chǎng)景理解在交通領(lǐng)域被廣泛應(yīng)用，圖像分割算法是場(chǎng)景理解的技術(shù)之一。對(duì)于高速公路事件檢測(cè)系統(tǒng)，僅分析高速路上的交通異常事件無法滿足客戶需求。當(dāng)事件發(fā)生在非高速公路區(qū)域內(nèi)時(shí)，此事件定義為無效事件，故如何準(zhǔn)確判斷事件發(fā)生于高速區(qū)域內(nèi)尤為重要。當(dāng)前的解決方案是通過人工指定相關(guān)區(qū)域，但該方法存在一個(gè)缺點(diǎn)：當(dāng)攝像機(jī)轉(zhuǎn)動(dòng)時(shí)，配置區(qū)域無法適配轉(zhuǎn)動(dòng)后的場(chǎng)景，導(dǎo)致產(chǎn)生誤報(bào)的情況。為了解決該問題，系統(tǒng)引入圖像全景分割算法，自動(dòng)識(shí)別高速公路場(chǎng)景內(nèi)的物體，如路面、車道線、綠化帶等，結(jié)合交通異常事件發(fā)生的位置信息，可判斷事件發(fā)生在高速路區(qū)域內(nèi)還是非高速路區(qū)域，減少攝像機(jī)轉(zhuǎn)動(dòng)后識(shí)別事件的誤報(bào)率。

1.3.1 基于EfficientPS網(wǎng)絡(luò)的高速公路全景分割算法

全景分割于2018年由Kirillov等人首次提出，意在融合語義分割和實(shí)例分割的特性，為每一個(gè)像素點(diǎn)劃分類別和實(shí)例ID，同時(shí)提出了一種評(píng)價(jià)全景分割算法指標(biāo)的方法，使得全景分割受到廣泛關(guān)注。EfficientPS全景分割算法由Valada等人提出，該方法包含共享網(wǎng)絡(luò)、雙向FPN以及實(shí)例和語義分割頭等。EfficientPS網(wǎng)絡(luò)能夠更好地利用目標(biāo)特征信息，更準(zhǔn)確地細(xì)化邊界，在多種圖像分割數(shù)據(jù)集上取得精準(zhǔn)的效果。

1.3.2 自適應(yīng)場(chǎng)景事件檢測(cè)實(shí)現(xiàn)路線

系統(tǒng)利用全景分割算法對(duì)高速公路場(chǎng)景進(jìn)行自動(dòng)識(shí)別，實(shí)現(xiàn)流程如圖2所示。啟動(dòng)任務(wù)時(shí)，系統(tǒng)捕獲當(dāng)前攝像機(jī)的視頻數(shù)據(jù)輸入目標(biāo)識(shí)別模塊和場(chǎng)景自適應(yīng)模塊，同時(shí)將獲取的攝像機(jī)信息傳輸?shù)綀?chǎng)景自適應(yīng)模塊。目標(biāo)識(shí)別模塊根據(jù)視頻數(shù)據(jù)獲取檢測(cè)目標(biāo)信息，以進(jìn)行事件邏輯判斷。場(chǎng)景自適應(yīng)模塊將獲取的視頻數(shù)據(jù)輸入全景分割模型，對(duì)視頻數(shù)據(jù)中的高速公路進(jìn)行場(chǎng)景分割。當(dāng)檢測(cè)到攝像機(jī)轉(zhuǎn)動(dòng)狀態(tài)時(shí)，系統(tǒng)下發(fā)指令停止事件邏輯判斷，同時(shí)清空轉(zhuǎn)動(dòng)前的高速公路場(chǎng)景數(shù)據(jù)。當(dāng)攝像機(jī)停止轉(zhuǎn)動(dòng)且停留在某位置超過設(shè)置時(shí)間閾值時(shí)，系統(tǒng)重新生成高速公路場(chǎng)景數(shù)據(jù)并恢復(fù)事件邏輯判斷。通過全景分割模型理解高速公路場(chǎng)景布局，分析高速公路區(qū)域位置，精準(zhǔn)定位交通異常事件是否發(fā)生于高速公路范圍內(nèi)，實(shí)現(xiàn)場(chǎng)景自適應(yīng)功能。

圖2 自適應(yīng)場(chǎng)景與檢測(cè)事件流程圖

2 基于深度學(xué)習(xí)的免劃線自適應(yīng)場(chǎng)景事件檢測(cè)試點(diǎn)路段

紫惠高速起點(diǎn)位于河源市紫金縣南部，終于惠州市平潭鎮(zhèn)，于2020年12月28日正式通車運(yùn)營。系統(tǒng)對(duì)該路段的停車事件和行人事件實(shí)施檢測(cè)。其中，兩類事件的判定規(guī)則如下。

停車事件：車輛停止在高速公路區(qū)域內(nèi)超過20s，則判定為停車事件。

行人事件：在高速公路區(qū)域內(nèi)出現(xiàn)行人，則判定為行人事件。

對(duì)系統(tǒng)在2022年5月15日—5月20日的檢測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，總共測(cè)試32路攝像機(jī)，人工統(tǒng)計(jì)該時(shí)間段發(fā)生在高速公路范圍內(nèi)的所有事件數(shù)量和發(fā)生在自適應(yīng)檢測(cè)區(qū)域范圍內(nèi)的事件，統(tǒng)計(jì)結(jié)果見表1。從表1可知，系統(tǒng)自動(dòng)判斷發(fā)生在高速公路范圍內(nèi)事件的準(zhǔn)確率達(dá)到93.9%。對(duì)攝像機(jī)轉(zhuǎn)動(dòng)自適應(yīng)場(chǎng)景檢測(cè)，對(duì)系統(tǒng)中某一攝像機(jī)A識(shí)別數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，時(shí)間為2022年5月15日—6月30日，期間攝像機(jī)A總共轉(zhuǎn)動(dòng)141次，未停留在預(yù)置位13次，統(tǒng)計(jì)結(jié)果見表2和表3。

表1 32路攝像機(jī)發(fā)生于高速公路范圍內(nèi)事件數(shù)據(jù)統(tǒng)計(jì)

表2 A攝像機(jī)發(fā)生于高速公路范圍內(nèi)事件數(shù)據(jù)統(tǒng)計(jì)

表3 A攝像機(jī)停留在非預(yù)置位上高速公路范圍內(nèi)事件數(shù)據(jù)統(tǒng)計(jì)

3 結(jié)語

針對(duì)事件檢測(cè)系統(tǒng)人工劃分檢測(cè)區(qū)域以及適應(yīng)球機(jī)轉(zhuǎn)動(dòng)檢測(cè)效果差的問題，提出利用深度學(xué)習(xí)方法自適應(yīng)場(chǎng)景的事件檢測(cè)方案。系統(tǒng)基于YOLOv5目標(biāo)檢測(cè)和DeepSORT目標(biāo)跟蹤算法檢測(cè)目標(biāo)信息，獲得精準(zhǔn)的檢測(cè)準(zhǔn)確率。同時(shí)，系統(tǒng)引入EfficientPS全景分割算法，在無人工介入的情況下，自動(dòng)識(shí)別高速公路的區(qū)域信息，且在攝像機(jī)轉(zhuǎn)動(dòng)時(shí)，系統(tǒng)通過AI監(jiān)測(cè)監(jiān)控，有效提高監(jiān)管人員的工作效率。在下一步工作中，將繼續(xù)對(duì)全景分割模塊進(jìn)行素材和參數(shù)優(yōu)化，提高準(zhǔn)確率。同時(shí)在保持檢測(cè)精度的情況下，減少YOLOv5和DeepSORT模型的參數(shù)量規(guī)模，以提高檢測(cè)速度。