江蘇聯(lián)通集團(tuán)客戶部系統(tǒng)集成中心 明福成
為進(jìn)一步加快城市工業(yè)化和信息化融合,提升政府執(zhí)政能力、促進(jìn)企業(yè)創(chuàng)新發(fā)展、提升居民生活水平,從而全面提升城市的綜合競(jìng)爭(zhēng)力和信息化水平,各地都陸續(xù)開(kāi)展了“智慧城市”建設(shè)項(xiàng)目。
太倉(cāng)市政府也開(kāi)始了智慧城市框架下的各類信息化建設(shè)項(xiàng)目,“智慧太倉(cāng)”道路監(jiān)控建設(shè)就是其中較有特色的項(xiàng)目之一。在城區(qū)主干道和鄉(xiāng)鎮(zhèn)主要道路部署大量高清數(shù)字?jǐn)z像機(jī),實(shí)現(xiàn)對(duì)主要道路的高清視頻監(jiān)控。充分發(fā)揮高清視頻監(jiān)控的作用,實(shí)現(xiàn)對(duì)道路及治安的有效管理,還需要監(jiān)控系統(tǒng)具有視頻智能分析功能,能夠自動(dòng)過(guò)濾掉雜質(zhì)信息,按照預(yù)先設(shè)定的事件規(guī)則,提取有價(jià)值的視頻信息進(jìn)行分析,實(shí)現(xiàn)跟蹤、識(shí)別、入侵檢測(cè)、觸發(fā)報(bào)警功能,從而與數(shù)據(jù)庫(kù)中的信息對(duì)比,實(shí)現(xiàn)城市交通、治安的有效管理。
視頻智能分析技術(shù)是利用計(jì)算機(jī)圖像視覺(jué)分析技術(shù),通過(guò)將場(chǎng)景中背景和目標(biāo)分離,進(jìn)而分析并追蹤在攝像機(jī)場(chǎng)景內(nèi)目標(biāo),用戶可以根據(jù)分析模塊,通過(guò)在不同攝像機(jī)的場(chǎng)景中預(yù)設(shè)不同的非法規(guī)則,一旦目標(biāo)在場(chǎng)景中出現(xiàn)了違反預(yù)定義規(guī)則的行為,系統(tǒng)會(huì)自動(dòng)發(fā)出告警信息,并觸發(fā)相關(guān)的聯(lián)動(dòng)設(shè)備。視頻智能分析技術(shù)應(yīng)用在監(jiān)控系統(tǒng)中可實(shí)現(xiàn)以下功能:快速的反應(yīng)時(shí)間,毫秒級(jí)的報(bào)警觸發(fā)反應(yīng)時(shí)間;提前預(yù)警機(jī)制,在事件剛剛發(fā)生即快速報(bào)警;更有效地監(jiān)視,監(jiān)控操作員只需要注意相關(guān)信息;強(qiáng)大的數(shù)據(jù)檢索和分析功能,能提供快速的反應(yīng)時(shí)間和調(diào)查時(shí)間;帶寬及存儲(chǔ)資源的節(jié)約,系統(tǒng)可以按照?qǐng)?bào)警類型來(lái)傳輸或錄像。
視頻智能分析技術(shù)的處理方法與人眼的生物特性類似,包括采集、預(yù)處理、處理等一系列動(dòng)作。人眼作為傳感器,實(shí)時(shí)、真實(shí)的將圖像反映到大腦中,這時(shí)人眼生成的圖像是一種復(fù)合的圖像,即將清晰的焦距成像(眼睛中心)和旁邊的稍虛的圖像合成,傳送給大腦。而大腦并不是對(duì)所有的圖像做全部實(shí)時(shí)分析,而是先采用多層分級(jí)的處理過(guò)程,首先將背景、緩慢移動(dòng)、距離最近的目標(biāo)的分辨率最低化,然后對(duì)于某些突出的細(xì)節(jié)(感興趣的區(qū)域)在進(jìn)行二次分析,獲得細(xì)節(jié)的東西,然后根據(jù)平生所學(xué)的規(guī)則,進(jìn)行判斷,做出動(dòng)作。視頻智能分析方法主要有時(shí)間差分法和背景模型法兩種。
時(shí)間差分法又稱相鄰幀差法,即利用視頻圖像特征,從連續(xù)得到的視頻流中提取所需要的動(dòng)態(tài)目標(biāo)信息。是將相鄰幀圖像相減來(lái)提取前景目標(biāo)的移動(dòng)信息。此方法不能完全提取所有相關(guān)特征像素點(diǎn),只檢測(cè)出目標(biāo)的邊緣,在其提取的運(yùn)動(dòng)實(shí)體內(nèi)部可能出現(xiàn)空洞,如圖1所示。
背景消除法是利用當(dāng)前圖象和背景圖象的差分來(lái)檢測(cè)出運(yùn)動(dòng)區(qū)域,可以提供比較完整的運(yùn)動(dòng)目標(biāo)特征數(shù)據(jù),精確度和靈敏度比較高,具有良好的性能表現(xiàn)。其處理規(guī)則是對(duì)視頻幀與基準(zhǔn)背景圖像進(jìn)行比較,相同位置的像素(區(qū)域)變化則認(rèn)為是變化了的區(qū)域,對(duì)這些區(qū)域進(jìn)一步處理、跟蹤、識(shí)別,得到包括目標(biāo)位置、尺寸、形狀、速度、停留時(shí)間等基本形態(tài)信息和動(dòng)態(tài)信息,完成目標(biāo)的跟蹤和行為理解之后,也就完成了圖像與圖像描述之間的映射關(guān)系,從而使系統(tǒng)進(jìn)一步進(jìn)行規(guī)則判定,直到觸發(fā)報(bào)警,如圖2所示。
視頻智能分析是通過(guò)模仿人眼的工作過(guò)程來(lái)實(shí)現(xiàn)的。它可分為加載算法過(guò)程、過(guò)濾器加載、背景建模及更新、目標(biāo)提取及跟蹤、目標(biāo)識(shí)別及分析、視頻分析判斷過(guò)程、觸發(fā)報(bào)警過(guò)程幾大過(guò)程。無(wú)論采用何種視頻分析架構(gòu),其視頻分析過(guò)程都是視頻智能分析的算法模塊“協(xié)力作業(yè)”的結(jié)果,視頻智能分析基本過(guò)程,如圖3所示。
視頻智能分析產(chǎn)品主要有兩種方式:一種是基于后端的服務(wù)器;第二種是基于前端的IPC(IP Camera)或DVS(Digital Video Server)。兩種架構(gòu)也可以按照目前主流說(shuō)法分成兩大類,即前端分析與后端分析,如圖4所示。在太倉(cāng)道路監(jiān)控建設(shè)項(xiàng)目中,主要采用了前端和后端相結(jié)合的分析方式。
本次項(xiàng)目建設(shè)中智能視頻分析系統(tǒng)采用 C/S(Client/Server)的架構(gòu),前端部署智能編碼器,實(shí)現(xiàn)視頻信號(hào)的前端分析,后臺(tái)監(jiān)控中心部署NVR(Network Video Recorder)服務(wù)器和管理服務(wù)器,NVR服務(wù)器負(fù)責(zé)對(duì)錄像進(jìn)行存儲(chǔ)和轉(zhuǎn)發(fā),管理服務(wù)器對(duì)前端編碼器傳回的報(bào)警信號(hào)進(jìn)行存儲(chǔ)及進(jìn)一步的智能分析,并實(shí)現(xiàn)了智能判定、智能回放、智能搜索等管理功能,通過(guò)本地或遠(yuǎn)端訪問(wèn),可以隨時(shí)查詢、調(diào)用、分類、搜索各類交通管理視頻、圖片,實(shí)現(xiàn)高效道路交通和治安管理。其中系統(tǒng)實(shí)現(xiàn)功能,如圖5所示。
視頻處理流程為:視頻信號(hào)→前端視頻分析→事件告警→告警存儲(chǔ)→搜索調(diào)用→事件處理→事件匯總→查詢回放等,視頻文件分析完畢后還可將處理后的視頻文件、可疑事件信息生成相關(guān)的報(bào)表,便于各類違章管理信息的分類統(tǒng)計(jì)、報(bào)表、分析、優(yōu)化管理等工作。
前端智能編碼器具有判線、細(xì)節(jié)診斷、人車分類、車型分類、顏色識(shí)別、遮陽(yáng)板識(shí)別、車牌識(shí)別、違章判定、車流計(jì)數(shù)等智能分析功能,后端服務(wù)器具有車牌比對(duì)、道口車速視頻比對(duì)測(cè)定、運(yùn)動(dòng)軌跡分析、車輛行為相關(guān)視頻查詢等智能分析功能。
智能視頻分析系統(tǒng)是在傳統(tǒng)視頻監(jiān)控?cái)?shù)據(jù)采集基礎(chǔ)上采用視頻智能分析技術(shù),設(shè)計(jì)視頻監(jiān)控?cái)?shù)據(jù)實(shí)時(shí)分析處理和事后分析處理系統(tǒng),在太倉(cāng)道路監(jiān)控建設(shè)項(xiàng)目中主要解決了兩個(gè)問(wèn)題:一是將監(jiān)控人員從繁雜而枯燥的“盯屏幕”任務(wù)中解脫出來(lái);二是協(xié)助監(jiān)控人員在海量的視頻數(shù)據(jù)中快速搜索定位到想要查找的圖像。大幅度降低了工作人員逐個(gè)畫面進(jìn)行查找的工作量,節(jié)省了大量的人力物力財(cái)力,有效提高了道路交通和治安管理水平,取得了非常好的實(shí)際應(yīng)用效果。