□ 文 /李強 何均宏

研究目標

目前各地所建立的智能交通視頻系統(tǒng)中，可通過云平臺、深度學(xué)習(xí)算法，在違法檢測的處理能力和檢索能力上進行突破。

研究要求

基于云計算的技術(shù)架構(gòu)，在數(shù)據(jù)的處理能力、數(shù)據(jù)的接入、處理滿足可擴展與標準化的設(shè)計要求。

系統(tǒng)設(shè)計思路

系統(tǒng)采用分層設(shè)計，基于組件技術(shù)，實現(xiàn)分層解構(gòu)，架構(gòu)圖如圖1：

系統(tǒng)約束

· 采用云計算架構(gòu)進行前端海量數(shù)據(jù)的分析；

· 模塊化視頻分析設(shè)計，滿足云計算架構(gòu)的軟件體系部署；

· 標準化的接口定義，滿足技術(shù)發(fā)展和后續(xù)持續(xù)開的技術(shù)要求；

模塊設(shè)計

引入智能云計算技術(shù)，提供視頻智能分析模塊面向?qū)崙?zhàn)需求。該系統(tǒng)主要模塊有：

▲圖1 系統(tǒng)架構(gòu)圖

· 模塊化視頻分析設(shè)計，滿足云計算架構(gòu)的軟件體系部署，其中算法模塊管理，以算法池的方式體現(xiàn)；

· 圖形識別、特征提取等深度學(xué)習(xí)算法研究與實現(xiàn)；

· 車輛檢測、違法檢測、車輛特征識別等智能交通行業(yè)應(yīng)用。

系統(tǒng)數(shù)據(jù)接入及分析框架

基于華為FusionSphere云計算、FusionInsight AI平臺和算法倉架構(gòu)，部署Vion-Tech繁星行業(yè)算法及應(yīng)用軟件，處理集群數(shù)據(jù)流走向是基于storm流式數(shù)據(jù)處理架構(gòu)設(shè)計，要對數(shù)據(jù)的接入、處理流程進行負載均衡。同時，由主節(jié)點自動控制組織各個服務(wù)節(jié)點的拓撲，實現(xiàn)服務(wù)節(jié)點的自動化部署。

原型搭建

首先，搭建了一套以GPU為核心的云平臺，擁有極強的視頻處理能力。

其次，從數(shù)據(jù)的接入格式、數(shù)據(jù)結(jié)構(gòu)、輸出數(shù)據(jù)結(jié)構(gòu)都要進行預(yù)先定義，規(guī)范統(tǒng)一的輸入、輸出接口，以及其他數(shù)據(jù)形式等等，在軟件結(jié)構(gòu)上要規(guī)范交互接口標準。

再次，算法模塊內(nèi)部采用深度學(xué)習(xí)算法，在提高檢測率、準確率的同時，用最少的硬件來對海量數(shù)據(jù)進行高效、快速、準確的檢測分析，讓舊系統(tǒng)并行增加功能，達到緩解社會交通問題的目的。

基于深度學(xué)習(xí)的交通違法檢測算法設(shè)計

算法設(shè)計目標：實現(xiàn)四大類48種交通違法行為、事件檢測

近年來，深度學(xué)習(xí)技術(shù)在包括目標檢測在內(nèi)的各計算機視覺任務(wù)上都取得了突破性進展，具備較高目標捕獲率和正確識別率?；谀繕塑壽E跟蹤、目標自適應(yīng)、幾何建模等最新人工智能技術(shù)，可同步實現(xiàn)四大類、48種常見交通違法行為、交通事件的檢測抓拍功能。算法總體流程如圖2：

基于深度學(xué)習(xí)的STD三層車輛檢測方案設(shè)計

本系統(tǒng)通過三層識別的方法有效去除復(fù)雜場景下非目標物體的干擾，大大提高檢測準確率和檢測效率，具體的檢測方法分為三層,如圖3：

▲圖2 視頻違法分析流程圖

第一層，對目標物體進行運動分析+背景建模。通過對目標物體建立若干個不同角度的模型，對場景內(nèi)的目標進行粗略的檢測。

第二層，對目標物體進行形狀+紋理建模。通過對目標物體的形狀以及紋理（顏色等）進行建模，去掉大部分形狀。

第三層，采用端到端的卷積神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)。

本系統(tǒng)三層處理結(jié)構(gòu)，使得無論在何種光照下，圖像空間的相對色差的紋理都可以保持穩(wěn)定。

DTrack級聯(lián)混合跟蹤算法設(shè)計

目標跟蹤模塊是在車輛定位的基礎(chǔ)上對時間軸上的圖像信息進行密集采樣，對已定位的車輛進行目標鎖定，并對鎖定的車輛進行實時跟蹤，來計算出車輛的精確位置和車輛的運動矢量軌跡曲線圖。

實時多變的外界條件，如天氣、光照、運動物體的影子及混亂干擾的影響給運動檢測帶來了困難。我們設(shè)計了DTrack級聯(lián)混合跟蹤算法。

該算法包括多個級聯(lián)層級結(jié)構(gòu)，開始級別算法簡單、速度快、處理的跟蹤問題也較為簡單，越往后算法越復(fù)雜、速度越慢、處理精度也越高。通過目標原型驗證優(yōu)化，大大降低錯誤跟蹤，提高跟蹤精度，速度也非?？臁?/p>

基于CNN和度量監(jiān)督的CMV車牌識別設(shè)計

車牌識別是基于圖像分割和圖像識別理論，主要包括如下過程：

圖像采集：通過高清攝像抓拍主機對卡口過車或車輛違章行為進行實時、不間斷記錄、采集。

預(yù)處理：圖片質(zhì)量是影響車輛識別率的關(guān)鍵因素，因此，需要對高清攝像抓拍主機采集到的原始圖像進行噪聲過濾、自動白平衡、對比度調(diào)整等。

車牌定位：車牌定位的準確與否直接決定后面的字符分割和識別效果。

字符分割：在圖像中定位出車牌區(qū)域后，進一步精確定位字符區(qū)域。

▲圖4 車牌識別網(wǎng)絡(luò)設(shè)計

字符識別：對分割后的字符進行模式識別，就可以識別出輸入的字符圖像。

本系統(tǒng)采用基于GPU的云平臺，本系統(tǒng)設(shè)計了一種端到端的的深度學(xué)習(xí)網(wǎng)絡(luò)，只需收集足夠多的樣本，進行訓(xùn)練就能不斷提升識別率，網(wǎng)絡(luò)設(shè)計如圖4：

通過自主學(xué)習(xí)等方式，自動提升算法性能，可以在大角度復(fù)雜光照下，也達到正常角度、正常光照下的效果，大大減少了人為工作。

違法檢測、人車檢測、事件檢測功能說明

序號 功能車輛違法監(jiān)測功能1 闖紅燈違法抓拍2 不按所需行進方向駛?cè)雽?dǎo)向車道3 大貨車禁行4 不禮讓行人5-11 此處略

車輛及駕駛?cè)诵畔z測1 車輛圖像記錄2 駕駛?cè)嗣娌刻卣饔涗? 摩托車圖像記錄4 危險品車輛抓拍5 渣土車輛抓拍6 新能源車輛監(jiān)測7-19 此處略交通事件監(jiān)測(18種，此處略)

測試結(jié)果

測試方法

前端通過100臺原有電警抓拍單元進行車輛違法抓拍；同時把這100臺電警抓拍單元的視頻接入到后端測試設(shè)備，在相同視頻源基礎(chǔ)上，進行后端的車輛違法抓拍。

測試結(jié)果

違法抓拍功能種類對比表

指標 前端設(shè)備抓拍功能列表后端設(shè)備抓拍功能列表常規(guī)功能 闖紅燈、跨線變道、壓線、不按導(dǎo)向方向行駛、逆行、不按規(guī)定車道行駛闖紅燈、跨線變道、壓線、不按導(dǎo)向方向行駛、逆行、不按規(guī)定車道行駛擴展功能 無 非法掉頭、越線停車、大貨車禁行、路口滯留、大彎小轉(zhuǎn)、不禮讓行人、左轉(zhuǎn)不讓直行、右轉(zhuǎn)不讓非機動車、非法停車、拋灑物、擁堵檢測、行人檢測

常規(guī)功能抓拍測試結(jié)果

指標 前端設(shè)備抓拍 后端設(shè)備抓拍闖紅燈、跨線變道、壓線、不按導(dǎo)向方向行駛、逆行、不按規(guī)定車道行駛捕獲數(shù)量匯總 950 1045有效數(shù)量匯總 923 956

擴展功能抓拍測試結(jié)果

＊ 注：擴展抓拍功能，前端測試設(shè)備有些功能尚不支持

指標 前端設(shè)備抓拍 后端設(shè)備抓拍功非法掉頭、越線停車、大貨車禁行、路口滯留、大彎小轉(zhuǎn)、不禮讓行人、左轉(zhuǎn)不讓直行、右轉(zhuǎn)不讓非機動車、非法停車、拋灑物、擁堵檢測、行人檢測捕獲數(shù)量匯總 428 1590有效數(shù)量匯總 355 1490

應(yīng)用結(jié)論及展望

本平臺采用云計算、深度學(xué)習(xí)技術(shù)架構(gòu)，統(tǒng)一和規(guī)范了流程與接口，在綜合違法監(jiān)測能力、數(shù)據(jù)的挖掘能力、處理能力和檢索能力上進行了突破。對道路監(jiān)控產(chǎn)生的視頻數(shù)據(jù)進行了充分的二次利用，確保系統(tǒng)的可復(fù)用性，減少高成本智能前端的重復(fù)建設(shè)，可以創(chuàng)造巨大的社會效益。