馮 睿, 鄧袁欽

(長沙市公安局交通警察支隊, 湖南 長沙 410006)

1 概況

視頻監(jiān)控最初以模擬視頻的形式出現(xiàn)在綜合安防領域，隨著算法的演進和技術的革新，視頻監(jiān)控步入信息化快速發(fā)展階段，多米諾效應式地轉(zhuǎn)變?yōu)榫W(wǎng)絡高清視頻形式[1]。2012年公安部頒布《安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術要求》(GB/T 28181-2011)，推動了視頻監(jiān)控系統(tǒng)向數(shù)字化、高清化方向的迅猛發(fā)展。道路交通視頻監(jiān)控系統(tǒng)作為視頻監(jiān)控系統(tǒng)的一個應用分支，既是公安交管部門智能交通建設中的基礎業(yè)務系統(tǒng)之一，也是道路交通管理視頻管控工作中獲取重要信息來源不可或缺的一項技術。一直以來，“前端攝像機采集、后臺存儲交換、中心指揮應用”三步曲是各大制造廠商和應用單位的“制式”模式，這導致了工作人員在較長的一段時間里，只會單純地通過鍵盤控制巡查道路交通擁堵狀況，抓拍違法車輛；或通過定點定時方式調(diào)閱歷史錄像查找嫌疑車輛。應用上僅僅基于過車數(shù)據(jù)、時空分布軌跡、違法統(tǒng)計等做簡單的情報信息分析，這些技術智能化程度較低，并不能充分挖掘視頻圖像數(shù)據(jù)潛在的價值。

視頻結(jié)構(gòu)化技術于2010年開始推廣應用，該技術采用時空分割、特征提取及對象識別等手段，將視頻信息轉(zhuǎn)換為計算機可直接處理的文本信息[2]。視頻結(jié)構(gòu)化技術技術主要圍繞“結(jié)構(gòu)化數(shù)據(jù)”和“非結(jié)構(gòu)化數(shù)據(jù)”進行視頻數(shù)據(jù)處理。結(jié)構(gòu)化數(shù)據(jù)是指關系數(shù)據(jù)，即存儲在數(shù)據(jù)庫里，可以用邏輯關系結(jié)構(gòu)來表達實現(xiàn)的數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)是指不方便用數(shù)據(jù)庫邏輯關系表來表現(xiàn)的數(shù)據(jù)，包括各種格式的辦公文檔、文本、圖片、圖像及音頻信息等?？梢院唵蔚睦斫庖曨l結(jié)構(gòu)化技術就是將圖形圖像轉(zhuǎn)變?yōu)橛嬎銠C可直接分析的信息，這些數(shù)據(jù)信息具有5V的特點：Volume(海量)、Variety(多樣)、Velocity(高速)、Veracity(可信)和Value(有價值)。在公安實戰(zhàn)領域中，這些結(jié)構(gòu)化信息又可進一步轉(zhuǎn)化為情報信息，從而實現(xiàn)基于視頻結(jié)構(gòu)化的視頻數(shù)據(jù)向信息、情報的轉(zhuǎn)化過程[3]。

近年來，部分安防廠商利用海量視頻資源，依托智能分析平臺完成了非結(jié)構(gòu)化視頻數(shù)據(jù)向結(jié)構(gòu)化描述信息的轉(zhuǎn)換，產(chǎn)出了“以圖搜圖”、“事件檢測”、“視頻摘要”、“人臉識別”等一系列視頻結(jié)構(gòu)化分析成果?；谒惴ǚ治觯瑢⒁曨l監(jiān)控圖像進行視頻結(jié)構(gòu)化處理，形成有價值數(shù)據(jù)積累，在減少數(shù)據(jù)存儲空間、縮減人力成本的同時，推動了視頻監(jiān)控的實戰(zhàn)應用效能。

視頻結(jié)構(gòu)化技術發(fā)展至今，在道路交通視頻應用領域，主流的需求有2個： ① 依托所得數(shù)據(jù)，如人員信息(性別、面部信息、年齡范圍、身高、穿著等)、車輛信息(車牌、車型、顏色、車飾等)和行為信息(越界、徘徊、聚集等)，根據(jù)時間、空間等多個維度進行數(shù)據(jù)篩選、特征提取與對象識別，并結(jié)合地圖跟蹤軌跡，開展緝查布控工作。隨著前端設備智能化程度越來越高，這些原本要經(jīng)過后臺服務器處理才能得到的信息，目前在前端就能直接完成。② 將智能分析后的數(shù)據(jù)信息通過圖表等形式展現(xiàn)，如違法類型分布、違法數(shù)量分布，以及在不同時段內(nèi)統(tǒng)計匯總交通擁堵狀況等[4]。

視頻結(jié)構(gòu)化技術處理后得到的情報信息在道路交通領域如何同其他信息系統(tǒng)進行標準數(shù)據(jù)交換、互聯(lián)互通及語義互操作，一直受到道路交通管理者的關注。本文在道路交通視頻數(shù)據(jù)信息的基礎上，研究視頻結(jié)構(gòu)化技術的數(shù)據(jù)分析效果，并基于處理后得到的情報信息拓展其實際應用領域。

2 道路交通視頻結(jié)構(gòu)化技術分析與應用

2016年初，長沙市公安局交警支隊啟動了智能交通管理系統(tǒng)(第3期)項目建設，搭建了“融合原有視頻監(jiān)控、增加電警視頻流、多方位對接社會面交通視頻資源”的視頻聯(lián)網(wǎng)共享平臺，集成模擬及高清球機視頻、電子警察相機視頻流等各類視頻資源4600多路，不但實現(xiàn)了在視頻聯(lián)網(wǎng)共享平臺進行統(tǒng)一查閱和調(diào)用，還收集到了海量的視頻資源。但如何使用這些海量的視頻資源，是智能交通視頻監(jiān)控建設者和指揮調(diào)度人員面臨的一道難題。

2017年伊始，嘗試對智能平臺收集到的海量視頻數(shù)據(jù)進行拓展分析。一是將現(xiàn)有資源按照設備類型及像素等級進行分類，篩選出具備開展深入分析條件的設備；二是利用目前行業(yè)內(nèi)主流視頻結(jié)構(gòu)化智能算法，對不同設備產(chǎn)生的視頻圖像進行實時或歷史分析；最后分析結(jié)果，比對效果，并拓展應用。

2.1 設備類型及像素等級分類

按照設備類型分，目前支隊共有道路電視監(jiān)控球機、電子警察槍型相機、魚眼相機3類。因建設年份不同，設備性能也略有差異。按照像素等級分，球機主要由模擬、720P、1080P 3類設備組成；電子警察槍型相機主要由500萬、600萬、700萬像素3類設備組成。

當前，模擬球機屬于淘汰產(chǎn)品，因此不納入實驗分析的范疇。而200萬像素1080P的電視監(jiān)控球機和700萬像素1080 P電子警察槍型相機，是目前國內(nèi)交管行業(yè)應用最多、最廣泛的設備類型，具備一定代表性。因此，本文以這3種設備為研究對象，開展實驗分析。

2.2 視頻結(jié)構(gòu)化實驗結(jié)果與分析

選取了“楓林廣場”200萬像素1080P球機1套；“楓林路與麓山路交叉口” 700萬像素1080P電警相機1套，“楓林路交警科技大樓頂” 200萬像素1080P魚眼相機1套，以“在同一時間段內(nèi)，對同類型不同參數(shù)的設備進行視頻結(jié)構(gòu)化，比對數(shù)據(jù)項的產(chǎn)量及準確率情況”的方式開展實驗分析。分析工作分為3個步驟: ① 對不同性能參數(shù)的設備進行視頻結(jié)構(gòu)化后，對比其數(shù)據(jù)質(zhì)量(捕獲率)，圖像數(shù)據(jù)質(zhì)量是直接關系到結(jié)構(gòu)化數(shù)據(jù)是否可用的關鍵標準之一;② 比較不同性能設備獲取的數(shù)據(jù)效果，即對比不同設備結(jié)構(gòu)化產(chǎn)出數(shù)據(jù)的種類和準確性；③ 綜合不同設備的視頻結(jié)構(gòu)化優(yōu)勢缺陷，探索數(shù)據(jù)結(jié)合應用的可行性。表1為不同設備實際捕獲數(shù)據(jù)的數(shù)量及有效數(shù)據(jù)的數(shù)量。在數(shù)據(jù)質(zhì)量對比時，直接以準確的車身顏色識別情況作為數(shù)據(jù)有效與否的判斷標準。結(jié)果顯示：700萬像素1080P電警相機的性能最好，因為其準確率最高；在200萬像素設備中，電視監(jiān)控球機在捕獲的數(shù)據(jù)質(zhì)量方面要遠超過魚眼相機；魚眼相機捕獲數(shù)據(jù)的性能最差。所以，像素越高、分辨率越大的設備，捕捉到數(shù)據(jù)的質(zhì)量越高。

表1 不同相機的捕獲率設備類型捕獲數(shù)據(jù)/次有效數(shù)據(jù)/次有效率/%電視監(jiān)控球機19810151.01電子警察槍型相機17312270.52魚眼相機000

表2為不同性能設備獲取的數(shù)據(jù)效果?？梢钥闯觯跀?shù)據(jù)種類方面，電子警察槍機視頻圖像結(jié)構(gòu)化后產(chǎn)出數(shù)據(jù)種類最多，電視監(jiān)控球機次之，魚眼相機無結(jié)果。電子警察槍機分辨率較高，角度合適，捕獲率及圖像質(zhì)量高。而普通電視監(jiān)控球機，分辨率不高，視場角較大，同時因工作需要隨時處于受控轉(zhuǎn)動的狀態(tài)，導致一方面不會長時間盯住某一個位置，另一方面目標的像素較低，識別難度大。魚眼相機會因為物理位置關系，距離太遠、視角太廣，而無法獲取目標，并不適合做結(jié)構(gòu)化分析。

表2 車輛結(jié)構(gòu)化數(shù)據(jù)捕獲量設備類型過車數(shù)量/輛車牌號車身顏色車輛類型車輛品牌識別量/個識別率/%識別量/輛識別率/%識別量/輛識別率/%識別量/輛識別率/%電視監(jiān)控球機19800.0016281.8116080.8017085.85電子警察槍機1737845.0817299.4217098.2616997.68魚眼相機000000000設備類型過車數(shù)量/輛車輛子品牌車輛方向車牌類型車牌顏色識別量/輛識別率/%識別量/輛識別率/%識別量/輛識別率/%識別量/輛識別率/%電視監(jiān)控球機19816683.831981000000電子警察槍機17316293.641731004727.164727.16魚眼相機000000000

表3為不同設備結(jié)構(gòu)化產(chǎn)出數(shù)據(jù)的準確性。結(jié)果顯示：電視監(jiān)控球機和電子警察槍機在數(shù)據(jù)產(chǎn)出正確率方面要遠超魚眼相機；與電視監(jiān)控球機相比。電子警察槍機檢測內(nèi)容更多，大部分數(shù)據(jù)內(nèi)容的正確率高于電視監(jiān)控球機，尤其是車牌信息。但有個別數(shù)據(jù)準確性低于電視機監(jiān)控球機，如在“車輛方向”項目準確率上，電視監(jiān)控球機幾乎高于電子警察相機百分十以上。電視監(jiān)控球機“270°旋轉(zhuǎn)、鏡頭變焦靈活”的劣勢卻也是它的優(yōu)勢，可以在人工或者自動設置干預下跟緊目標，識別出更準確的數(shù)據(jù)。

表3 不同相機產(chǎn)出的結(jié)構(gòu)化數(shù)據(jù)準確率設備類型過車數(shù)量/輛車牌號車身顏色車輛類型車輛品牌準確量/個準確率/%準確量/輛準確率/%準確量/輛準確率/%準確量/輛準確率/%電視監(jiān)控球機1980010162.3513181.8811265.88電子警察槍機1733544.8712270.9312573.5311065.09魚眼相機000000000設備類型過車數(shù)量/輛車輛子品牌車輛方向車牌類型車牌顏色準確量/輛準確率/%準確量/輛準確率/%準確量/輛準確率/%準確量/輛準確率/%電視監(jiān)控球機19874.2215176.260000電子警察槍機1733018.5211667.054595.744493.62魚眼相機000000000

綜上所述，不論是球機、槍機還是魚眼，都有各自的優(yōu)缺點。電子警察槍機可檢測分析的內(nèi)容更多，借助當下流行的深度學習技術，甚至可以達到檢測出車窗標識物(年檢標、遮陽板、紙巾盒、掛墜、擺件)的程度，因拍攝角度固定不動的物理特性，決定了其只能“卡點”而無法“機動”。與電子警察相機不同，電視監(jiān)控球機則具備靈活的檢測范圍，利用本身旋轉(zhuǎn)可控的特點，借助人工或自動設置可干預分析出更精準的車輛結(jié)構(gòu)化數(shù)據(jù)，能夠在一定范圍內(nèi)獨立完成對目標物體的檢測與跟蹤。魚眼相機則更為特殊，雖然無法分析出任何數(shù)據(jù)，但其特有的廣角視頻畫面能夠獲取更大、更廣的監(jiān)控范圍。

當前不同設備間的視頻結(jié)構(gòu)化技術應用瓶頸是如何對視頻有效信息的高效提取，以及如何同其他信息系統(tǒng)進行標準數(shù)據(jù)交換、互聯(lián)互通及語義互操作，解決設備多而散、數(shù)據(jù)不直觀、數(shù)據(jù)應用不清晰等一系列問題。

3 視頻結(jié)構(gòu)化技術應用的拓展分析

通過分析，揭示了不同設備在視頻結(jié)構(gòu)化后的缺陷與優(yōu)勢，在道路交通管理上，如何通過結(jié)構(gòu)化數(shù)據(jù)的互相結(jié)合，篩選淘洗有效的關系數(shù)據(jù)模型，發(fā)揮出可視化指揮調(diào)度的最大效力，是城市交管部門面臨的新挑戰(zhàn)。目前，已經(jīng)有一些安防商家推出了這一概念的雛形產(chǎn)品，例如：槍球聯(lián)動、AR鷹眼、全局相機等，但受限于技術本身的發(fā)展，還沒有實現(xiàn)全面的、成熟的功能應用。

在道路交通視頻結(jié)構(gòu)化技術及情報數(shù)據(jù)的應用方面，可以從以下4個方面進一步挖掘深度、開拓應用領域。

3.1 多種設備的數(shù)據(jù)融合

充分利用現(xiàn)有電子警察、監(jiān)控球機、卡口、魚眼等視頻監(jiān)控設備，采用視頻結(jié)構(gòu)化技術分析視頻圖像，獲取有價值的車牌號碼、行駛方向等結(jié)構(gòu)化數(shù)據(jù)。按照“點 — 線 — 面”的模式，探索數(shù)據(jù)交互和服務交互的問題。通過將同區(qū)域內(nèi)的不同結(jié)構(gòu)化數(shù)據(jù)進行融合，力爭使原本孤立的視頻點，轉(zhuǎn)變?yōu)榫C合性的數(shù)據(jù)島。

3.2 視頻大數(shù)據(jù)轉(zhuǎn)化為大情報

視頻結(jié)構(gòu)化的本質(zhì)就是將雜散的視頻數(shù)據(jù)變?yōu)橛羞壿嫿y(tǒng)一的數(shù)據(jù)模型[5]。在道路交通管理應用上，視頻結(jié)構(gòu)化的核心，是數(shù)據(jù)模型向情報化的轉(zhuǎn)變，這個轉(zhuǎn)變分為兩個階段：首先要研究更強大、更全面的視頻結(jié)構(gòu)化建模算法，將所得數(shù)據(jù)進行全面智能分析和清洗，篩選具備潛在價值的數(shù)據(jù)，建立相關數(shù)據(jù)模型；然后將數(shù)據(jù)模型與業(yè)務需求相結(jié)合，支撐交通流量監(jiān)測、交通路況研判、警衛(wèi)線路可行性分析等工作，逐步解決視頻監(jiān)控數(shù)據(jù)向視頻情報的轉(zhuǎn)化。

3.3 人車關聯(lián)與建檔

當前視頻結(jié)構(gòu)化技術已經(jīng)能夠采集、分析并建立較為全面的人臉與人體數(shù)據(jù)模型、車輛數(shù)據(jù)模型[6]。在此基礎上，已經(jīng)建立并記錄一人一檔、一車一檔的視頻結(jié)構(gòu)化處理平臺。因此，如何將人車進行關聯(lián)，分析出結(jié)構(gòu)化模型并建檔應用，將是道路交通研究的新方向、新趨勢。

3.4 視頻結(jié)構(gòu)化持續(xù)優(yōu)化，抗環(huán)境干擾

視頻結(jié)構(gòu)化算法對環(huán)境比較敏感，受環(huán)境干擾大，光線、雜物、惡劣天氣、晃動都會影響實際效果。隨著計算機視覺前沿技術的日益成熟，深度學習、高性能計算、海量數(shù)據(jù)訓練、多維信息結(jié)合、大數(shù)據(jù)挖掘分析、目標跟蹤等技術都將快速推動視頻結(jié)構(gòu)化分析技術、算法效果的逐步提升，以達到根據(jù)不同的復雜環(huán)境對視頻數(shù)據(jù)精準高效地自動學習和過濾的目的。

4 結(jié)語

隨著技術的進步，視頻監(jiān)控在現(xiàn)代社會中的重要性不言而喻。進一步提取視頻中的有價值信息，充分利用非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)的互補特性，能夠產(chǎn)出更多智慧化更高、實戰(zhàn)性更強、展示性更好的產(chǎn)品。目前，視頻結(jié)構(gòu)化技術已經(jīng)成為相關領域的基礎技術，特別是興起的智能網(wǎng)聯(lián)、自動駕駛技術已經(jīng)開展了大面積技術驗證。但總體來說，在交管部門的應用還不夠深入。下一步應該結(jié)合交管實際需要，以“組合+創(chuàng)新”的方式，解決視頻單一、數(shù)據(jù)孤島、應用分離的具體問題，推動道路視頻監(jiān)控應用和交管科技手段的快速發(fā)展，為提高城市道路交通治理能力提供更多技術支撐。