靳靜璽, 孫士杰, 宋煥生

(長安大學 信息工程學院, 西安 710064)

隨著計算機視覺領(lǐng)域的快速發(fā)展, 各行各業(yè)都已經(jīng)利用計算機視覺領(lǐng)域的學術(shù)研究成果進行工業(yè)界的相關(guān)應用. 考慮到高速道路異常事件監(jiān)測[1]是交通安全監(jiān)管和路況控制的重要組成部分, 并且當前基于交通視頻分析的交通參數(shù)和交通異常事件檢測、交通行為分析等已成為智能交通領(lǐng)域研究的重點.

當前主流的交通視頻異常事件檢測均基于深度學習中目標檢測的方法, 該類方法作為計算機視覺的基本方案之一, 可作為其他視覺任務的基礎, 如: 圖像分割[2]、標注和目標跟蹤[3]、目標重識別[4]等.

目標檢測任務[5]是找出圖像或視頻中人們感興趣的物體, 并同時檢測出它們的位置和大小. 與圖像分類任務不同, 目標檢測不僅要解決分類問題, 還要解決定位問題, 圖1 為目標檢測的6 大應用領(lǐng)域.

圖1 目標檢測的應用領(lǐng)域

基于深度學習的目標檢測方法可分為兩類: 兩階段目標檢測方法和單階段目標檢測方法. 兩階段目標檢測算法精度高但是速度較慢, 不適合在生產(chǎn)環(huán)境中應用, 而當前單階段目標檢測算法發(fā)展迅速, 精度和速度均有很大的提升, 能夠在實際生產(chǎn)環(huán)境中得到大規(guī)模應用.

當前單階段目標檢測算法性能較高的YOLOv4[6]算法是一個可以應用在生產(chǎn)環(huán)境快速運行的目標檢測器,它比上一個版本YOLOv3[7]提升了10%的平均精度以及12%的幀率, 在普通的GPU 上就可以達到很好的速度和精度. YOLOv3[7]采用Darknet53 進行特征提取, 對象分類采用Logistic 代替Softmax. 相比YOLOv3[7],該算法在輸入端引入Mosaic 數(shù)據(jù)增強、cmBN 及SAT 自對抗訓練; 該網(wǎng)絡結(jié)構(gòu)的Backbone 部分是由主干特征提取網(wǎng)絡CSPDarknet53 組成, 其中用到了Mish 激活函數(shù)和Dropblock 正則化方法; Neck 部分是由SPPNet[8]和PANet[9]組成, 其中SPPNet[8]對于一幅圖像分成若干尺度的圖像塊, 然后對每一塊提取的特征融合在一起, 從而兼顧多個尺度的特征. SPPNet[8]使得網(wǎng)絡在全連接層之前能生成固定尺度的特征表示,而不管輸入圖片尺寸如何; PANet[9]引入了自底向上的路徑, 使得底層圖像特征信息更容易傳遞到高層和頂部. YOLOv4[6]的head 部分采用原先YOLOv3[7]head部分, YOLOv3[7]head 是借鑒了FPN 網(wǎng)絡[10]采用3 個不同感受野的特征圖去檢測不同尺寸的對象. 該部分輸出3 類不同大小的多維特征圖, 其大小分別是13×13、26×26、52×52, 每類特征圖對應3 個錨框, 每個網(wǎng)絡預測的位置信息(X, Y, W, H)、置信度和類別信息,YOLOv4[6]網(wǎng)絡結(jié)構(gòu)如圖2.

圖2 YOLOv4 網(wǎng)絡結(jié)構(gòu)

YOLOv4[6]在YOLOv3[7]基礎上, 將近年來深度學習領(lǐng)域最新的研究成果融入其中, 算法的性能表現(xiàn)較為出色. 其在MS COCO 數(shù)據(jù)集上利用Tesla V10 以65 fps 的實時速度獲得了43.5 的平均精度(65.7%AP50).

隨著YOLO 網(wǎng)絡的廣泛應用, 很多學者提出了很多基于YOLO 網(wǎng)絡的行人檢測方法. 高宗等人[11]提出了YOLO-P 的行人檢測網(wǎng)絡, 在YOLOv2 的網(wǎng)絡結(jié)構(gòu)基礎上根據(jù)INRIA 數(shù)據(jù)集[12]上行人目標寬高比的規(guī)律, 將原先的全連接層用卷積層代替并預測目標的偏移, 調(diào)整X 軸和Y 軸的分布密度并融合網(wǎng)絡不同位置的多級特征圖, 降低了行人的漏檢率和誤檢率并提高了行人的定位精度. 陳光喜等人[13]為了提升召回率和檢測效率, 設計YOLOv2+Person 網(wǎng)絡來檢測行人, 結(jié)合深層、淺層CNN 的特征, 得到更準確的行人分類結(jié)果. 王丹峰等人[14]提出了基于YOLOv3[7]的改進網(wǎng)絡檢測用來檢測行人, 其采用深度可分離卷積代替Darknet網(wǎng)絡, 降低了網(wǎng)絡的參數(shù)和計算量, 在VOC2007 數(shù)據(jù)集下行人的檢測精度達到90.3%. 在針對擁擠場景下,行人的嚴重遮擋、分布密集的問題, 鄧杰等人[15]提出了Crowd-YOLO 網(wǎng)絡, 在YOLOv3[7]的基礎上, 提出了時頻域融合注意力的模塊, 能夠得到具有豐富信息的深層特征圖, 在CrowdHuman 數(shù)據(jù)集下精度得到提升. 在紅外圖像中行人的小目標檢測方向, 李慕鍇等人[16]將SENet 中SE block 引入YOLOv3[7]中, 降低紅外圖像中行人誤檢率并提升了檢測精度.

當前性能表現(xiàn)較好的網(wǎng)絡都是在YOLOv4[6]基礎上加以改進. 針對復雜的光照條件、惡劣的天氣、嚴重遮擋、行人尺寸大以及圖像模糊等問題, 康帥等人[17]在YOLOv4[6]的基礎上提出了在骨干網(wǎng)中加入混合空洞卷積, 并用空間鋸齒空洞卷積結(jié)構(gòu)代替空間金字塔池化結(jié)構(gòu), 從而提升了平均精度并降低了平均誤檢率.Sambolek 等人[18]將YOLOv4[6]算法應用在山區(qū)行人搜救方面, 制作了SARD 數(shù)據(jù)集并結(jié)合VisDrone 數(shù)據(jù)集進行重新訓練, 增加Ropti 的額外度量方法并調(diào)整YOLOv4 (SARD)[6]的輸入分辨率為832×832,IOU為0.1, thresh 為0.4 取得97.15%的AP 值.

在交通異常事件檢測中, 行人檢測也是長期以來較難解決的問題, 存在問題如圖3. 實際道路上, 監(jiān)控相機一般架設在8–15 m 的高度, 行人目標較小, 而 YOLOv4[6]的head 模塊輸出52×52多維特征矩陣, 該部分針對小目標預測效果較好. 鑒于YOLOv4[6]針對小目標也具備較好的檢測精度同時其算法具有魯棒性較強的優(yōu)點,因此, 本文采用該方法進行道路上的行人監(jiān)測.

圖3 行人檢測的難點

隨著視頻云加密聯(lián)網(wǎng)成為高速公路視頻監(jiān)控領(lǐng)域發(fā)展的主流趨勢和不斷增加的云端的監(jiān)控視頻處理的需求, 本文提出基于純國產(chǎn)處理單元的鯤鵬云的行人監(jiān)測系統(tǒng)具有非常重要的應用價值.

系統(tǒng)部署在云端可以快速地將位于各地監(jiān)測點的云上多路視頻數(shù)流實時接入云端處理, 云端將處理好的監(jiān)測結(jié)果通過TCP 協(xié)議實時傳輸?shù)奖镜乇O(jiān)控中心;同時部署到云服務上, 可節(jié)省大量建設本地機房的成本, 以及不考慮機房噪音、散熱和維護的問題.

該系統(tǒng)首先利用鯤鵬920 CPU 處理單元和Open-CV 庫, 解析實時的RTSP 視頻碼流, 進而將視頻序列傳輸?shù)侥繕藱z測模塊, 該模塊基于YOLOv4[6], 利用Atlas 300 這個NPU 推理加速, 可進行多個場景的高速道路上的行人檢測; 最后, 將檢測到的不同場景下行人進行匯總分析, 進行事件上報和行人闖入的圖像保存記錄.

1 行人監(jiān)測系統(tǒng)的設計

本系統(tǒng)針對高速道路上的行人闖入事件可以進行全天候的監(jiān)測. 從監(jiān)控相機中獲得視頻流通過EasyDarwin流媒體服務器轉(zhuǎn)發(fā)至鯤鵬云服務器, 云端對源源不斷的視頻流進行分析, 能夠監(jiān)測多個發(fā)生有行人進入道路發(fā)生的異常情況, 并可以將行人闖入高速的事件圖像和發(fā)生時間的進行保存, 圖4 為系統(tǒng)流程圖.

圖4 鯤鵬行人監(jiān)測系統(tǒng)整體圖

行人監(jiān)測系統(tǒng)是針對從相機獲取的多路RTSP 視頻流, EasyDarwin 流媒體轉(zhuǎn)發(fā)至云端, 云端接入后, 調(diào)用OpenCV 和ffmpeg 實時解碼, 將解碼后圖像傳入到運用YOLOv4 的檢測模塊, 同時在NPU 下進行推理加速, 從傳輸來的一幀幀圖像中判斷是否存在行人闖入高速道路的情況, 將存在的行人闖入事件的位置信息進行記錄, 同時進行對比判斷是否是新的行人闖入事件, 將監(jiān)測到新的行人事件進行上報, 具體算法流程如圖5 所示.

圖5 行人監(jiān)測系統(tǒng)流程圖

從NPU 模塊獲取到當前視頻幀的行人檢測結(jié)果,分別為類別、行人的邊界框坐標X, Y, W, H 和置信度, 將視頻序列Bi,i={1,2,3,···,n}的檢測結(jié)果進行非極大值抑制, 用來過濾冗余的bounding box, 從而獲取更精確的位置信息. 非極大值抑制采用DIoU-NMS 算法, 算法公式如式(1)所示:

其中,si表示分類得分,M是得分最高的預測框,Bi表示當前幀檢測到的第i個bounding box,Nth為設定的閾值. 其中RDIoU的計算過程如下:

其中,b和bgt表示兩邊界框中心點位置, ρ(·)表示計算其歐式距離,c表示兩個bounding box 對角線的歐式距離.

另外, DIoU-NMS 還采用了IoU方法,IoU表示圖像的交并比. 其計算過程如下:

其中,A和B分別表示兩個bounding box, 求其交集與補集的比例.

通過DIoU-NMS 獲得行人目標的最精確的位置信息, 進行判斷當前視頻幀是否存在行人, 將有行人信息的每幀中多個bounding box 中心位置信息進行存儲,后續(xù)將當前幀檢測到的行人中心位置(xt,yt)與歷史保存的行人中心位置(xt?2,yt?2) 、(xt?1,yt?1)進行計算其歐氏距離, 計算過程如式(4)所示:

其中, (xi,yi)為當前幀行人的bounding box 中心點,(xk,yk)為歷史的 bounding box 中心坐標. 最后根據(jù)求得的dis值進行新事件上報的確定, 發(fā)生新的行人事件進行 上報和記錄.

2 鯤鵬云硬件平臺

在華為云官網(wǎng)申請了一臺配置是CPU 為arm64架構(gòu)的鯤鵬920, RAM 為32 GB, NPU 為達芬奇架構(gòu)的Alas 300 的彈性云服務器, 詳細配置參數(shù)如圖6.

圖6 華為云服務器配置

通過圖7, 可以通過網(wǎng)頁端看到實時的CPU 利用率、磁盤的讀寫速度等詳細的網(wǎng)頁監(jiān)控數(shù)據(jù), 方便后續(xù)對系統(tǒng)的優(yōu)化和測試. 通過FinalShell 可以利用本地的代碼編輯器將程序快速上傳到云端, 進行遠程編譯和調(diào)試, 在FinalShell 使用SSH 協(xié)議連接后界面顯示如圖8 所示.

圖7 系統(tǒng)資源監(jiān)測網(wǎng)頁

圖8 FinalShell 連接華為云顯示

3 模擬相機推流模塊

本實驗采用常用的開源流媒體服務器EasyDarwin進行RTSP 碼流的推送, 在云端可以接入RTSP 碼流,采用ffmpeg 進行RTSP 碼流的解析和處理.

本系統(tǒng)可以針對中視頻中出現(xiàn)的行人和進行全天候監(jiān)測, 本地視頻通過流媒體服務器轉(zhuǎn)成RTSP 碼流,并將RTSP 碼流轉(zhuǎn)發(fā)到云服務器端, 云端針對多路RTSP流進行實時處理. 圖9 和圖10 為流媒體服務器轉(zhuǎn)發(fā)多路視頻流的過程和資源利用率動態(tài)顯示.

圖9 EasyDarwin 多路視頻推流

圖10 推流主機資源占用監(jiān)測圖

同時使用VLC 流媒體播放器進行查看視頻流, 為了確保視頻流穩(wěn)定推送, 避免花屏現(xiàn)象, 采用3 臺主機進行這樣的推流服務, 在顯示器可以檢查視頻流的運行情況, 防止視頻出現(xiàn)卡頓和花屏現(xiàn)象, 從而影響監(jiān)測效果, 圖11 同時推送12 路不同視頻流的效果.

圖11 VLC 實時查看RTSP 流畫面

4 實驗結(jié)果及分析

通過接入實際的多條RTSP 碼流進行鯤鵬云下行人監(jiān)測任務. 該系統(tǒng)能夠在多種不同場景下取得較好的監(jiān)測效果, 如不同天氣下如晴天、陰天和雨天; 不同時間如白天、傍晚和夜晚; 不同道路場景如高速公路和隧道, 圖12 展示了本系統(tǒng)應用場景.

圖12 測試覆蓋到的復雜場景

在上述復雜道路場景下, 其中隧道場景一般沒有白天和夜晚的區(qū)分, 但是由于隧道燈光和車輛前后燈的混疊影響, 導致其光線條件非常復雜. 實驗主要選取實際高速道路不同時間段的白天、夜晚場景和隧道不同光線條件和不同時段的場景進行行人監(jiān)測, 另外也針對視頻流異常情況下進行監(jiān)測結(jié)果的分析.

圖13 為不同高速道路及不同時間段白天場景下的行人監(jiān)測結(jié)果. 從圖13(a)中可以看出在白天9–10 點之間存在被路邊的樹木陰影遮擋的行人駕駛電動車上高速, 此時可以正確監(jiān)測到行人進入事件, 圖13(b)中遠處的交通標志牌附近的行人也可以監(jiān)測到, 但是在圖13(c)中可以監(jiān)測到離相機近的行人, 遠處兩個行人未能監(jiān)測到. 圖13(d)中存在大量行人, 監(jiān)測到該事件但是對于具體的行人未全部檢測到.

圖13 高速白天場景下的行人監(jiān)測結(jié)果

圖14 為不同高速道路及不同時間段夜間場景下的行人監(jiān)測結(jié)果, 圖14(a)中可以看出在夜間2–3 點行人監(jiān)測結(jié)果存在誤檢測現(xiàn)象, 主要是因為光照影響下陰影輪廓和行人較為相似; 圖14(b)中4–5 點貨車強光背對監(jiān)控相機下, 行人可以準確監(jiān)測到; 但是在圖14(c)中路樁受光線的影響, 可以發(fā)現(xiàn)其輪廓與行人接近, 造成誤檢測. 圖14(d)道路下準確監(jiān)測行人進入事件.

圖14 高速夜間場景下的行人監(jiān)測結(jié)果

圖15 是多條隧道場景的不同時間段的行人監(jiān)測結(jié)果. 圖15 (a)中可以看出早上9–10 點隧道口有行人進入; 圖15 (b)中14–15 點的隧道中存在大量車輛車尾燈和隧道上燈光的影響, 此時能夠準確監(jiān)測到行人;圖15 (d)中均勻的燈光場景下可以正常監(jiān)測到行人進入, 同時針對該場景遠處行人也能監(jiān)測到.

圖15 隧道場景的行人監(jiān)測結(jié)果

在行人監(jiān)測過程中, 由于網(wǎng)絡和服務器負載過高的原因, 導致圖16 中視頻流存在不同程度花屏的現(xiàn)象,圖16(a)中的圖像無法辨識道路上多種物體和道路標線, 在該場景下仍舊能夠監(jiān)測到行人進入, 對于花屏模糊部分區(qū)域也存在行人無法檢測出的現(xiàn)象, 人眼辨識也需要一段時間的比對才可以發(fā)現(xiàn)道路上的其他行人.圖16(b)中也存在局部花屏現(xiàn)象此時也可以監(jiān)測到行人事件.

圖16 視頻流異常情況的監(jiān)測結(jié)果

針對選取的上述場景, 本監(jiān)測系統(tǒng)在行人與監(jiān)控相機位置距離較近的情況下精度較高, 遠距離精度還有待提升. 在出現(xiàn)一定程度的視頻流花屏情況下引起行人目標產(chǎn)生不同程度的模糊現(xiàn)象, 此時也可以正確上報監(jiān)測到的行人事件, 但是由于視頻流花屏對檢測的干擾是隨機的, 因此需要通過對視頻流的傳輸速度和CPU 資源占用進行優(yōu)化, 可以采用NPU 進行視頻解碼降低CPU 利用率, 避免此異常情況的發(fā)生.

針對該監(jiān)測系統(tǒng)的進行性能測試, 考慮到主要利用到NPU 模塊進行推理加速, 因此主要進行NPU 和CPU 利用率及內(nèi)存使用進行對比. 測試中每個進程同時跑3 路視頻流分辨率分別為576×720、576×720和482×856. 表1 中所有YOLOv4[6]模塊用到了NPU 下的視頻解碼, 因此其NPU 資源占用率較高. 另外NPU下可以同時跑兩個不同的推理網(wǎng)絡, 對YOLOv3[7]和YOLOv4[6]模塊進行了性能方面的對比. 最后進行極限測試, 在多進程下本系統(tǒng)可以同時處理多路視頻流. 在實際生產(chǎn)環(huán)境下, 本系統(tǒng)能夠進行22 路監(jiān)控相機碼流的實時處理, 并穩(wěn)定運行57 天.

表1 行人監(jiān)測系統(tǒng)性能測試

5 結(jié)論與展望

該監(jiān)測系統(tǒng)能夠針對復雜場景下的交通視頻中行人事件, 利用YOLOv4[6]進行行人檢測與事件上報, 針對不同時段和路段的實際道路場景, 能夠取得較好的監(jiān)測效果并可實時處理22 路監(jiān)控視頻流, 同時有較高的穩(wěn)定性. 另外監(jiān)測系統(tǒng)的處理單元均為純國產(chǎn)化設備相較于傳統(tǒng)國外處理單元(如Intel CPU 和Nvdia GPU 等), 可以保證程序運行過程中的數(shù)據(jù)運算的低功耗. 同時采用NPU 也可以代替GPU 來進行深度學習算法的研究和工業(yè)部署也有著借鑒的意義.

系統(tǒng)的不足之處是還沒有針對特定場景進行大批量數(shù)據(jù)集的采集和訓練, 為了提高對道路上行人異常事件的監(jiān)測精度, 需要后續(xù)進行針對該平臺的網(wǎng)絡訓練、模型轉(zhuǎn)化和算法優(yōu)化工作.