唐志鴻
中國移動通信集團(tuán)江蘇分公司
江蘇移動“千里眼”視頻監(jiān)控產(chǎn)品目前已成功應(yīng)用到環(huán)保、國土、住建、商鋪、餐飲、旅游等眾多行業(yè)領(lǐng)域,業(yè)務(wù)呈現(xiàn)出高速增長趨勢,其中應(yīng)用于環(huán)保秸稈焚燒監(jiān)控的藍(lán)天衛(wèi)士產(chǎn)品和應(yīng)用于國土監(jiān)管領(lǐng)域的國土衛(wèi)士產(chǎn)品也在全省得到大規(guī)模復(fù)制推廣,得到客戶的高度好評。
江蘇移動千里眼視頻監(jiān)控平臺的定位是用作視頻采集、視頻存儲和視頻瀏覽及監(jiān)控的功能平臺,不具備實(shí)時視頻智能分析能力,對于監(jiān)控視頻中的風(fēng)險點(diǎn),無法做到智能識別和預(yù)警,存在以下不足:
1)完全依賴人工監(jiān)控:注意力難以長時間集中,調(diào)研顯示人工盯著電視墻,超過10分鐘后將漏掉90%的信息。
2)實(shí)時性差、響應(yīng)慢:監(jiān)視器數(shù)量太多,只能采用輪詢的方式進(jìn)行監(jiān)控,無法及時發(fā)現(xiàn)突發(fā)或預(yù)警事件。
3)效率低、成本高:需要大量人力,效率低,國土衛(wèi)士、藍(lán)天衛(wèi)士等視頻內(nèi)容改變緩慢,問題更加突出。
4)數(shù)據(jù)分析難度大:平臺7×24小時錄像,存儲數(shù)據(jù)海量,事后數(shù)據(jù)查找及分析難度大。
視頻智能檢測分析是新型數(shù)字化服務(wù)發(fā)展趨勢,智能視頻監(jiān)控技術(shù)的行業(yè)應(yīng)用在國內(nèi)處于剛起步的狀態(tài)。傳統(tǒng)的視頻監(jiān)控行業(yè)需要大量的人力資源來人工觀看各路網(wǎng)絡(luò)攝像頭,并判斷是否有違法行為或者災(zāi)難事件的發(fā)生。這種監(jiān)控模式不僅浪費(fèi)了大量的人力財力,而且容易發(fā)生疏忽遺漏的情況。因此,把計(jì)算機(jī)視覺中的相關(guān)技術(shù)應(yīng)用到視頻監(jiān)控領(lǐng)域,作為一種輔助手段來提高監(jiān)控事件的準(zhǔn)確性,減少人力資源的投入,是一種主流的行業(yè)趨勢,也是新型數(shù)字化服務(wù)產(chǎn)品發(fā)展方向。
環(huán)保和國土部門客戶多次提出視頻自動檢測和告警需求,研發(fā)藍(lán)天衛(wèi)士火焰/煙霧檢測、國土違法占用檢測智能分析功能可以大幅降低客戶的人力物力投入,提升客戶業(yè)務(wù)監(jiān)管工作效率。同時,這種智能檢測識別需求屬于公司大力提倡開拓的新型數(shù)字化服務(wù),一方面可以推動公司集團(tuán)市場專線業(yè)務(wù)的深入拓展,另一方面隨著手機(jī)APP移動監(jiān)管功能的規(guī)?;瘧?yīng)用,也極大地促進(jìn)了公司流量經(jīng)營戰(zhàn)略落實(shí)。運(yùn)營中心將著力拓展中小企業(yè)藍(lán)海市場,打破隔離,尋求新的增長點(diǎn),新的突破。
系統(tǒng)擬基于江蘇移動千里眼視頻監(jiān)控平臺建設(shè)視頻監(jiān)控大數(shù)據(jù)分析系統(tǒng),該系統(tǒng)作為配套千里眼平臺的獨(dú)立功能模塊存在,從千里眼平臺實(shí)時讀取視頻數(shù)據(jù)流,并按照行業(yè)應(yīng)用需求進(jìn)行實(shí)時智能分析和檢測,對分析檢測出來的視頻內(nèi)容的異常情況進(jìn)行預(yù)警,相關(guān)預(yù)警信息通過千里眼平臺接口輸送到平臺告警模塊,并最終通過千里眼平臺客戶端向用戶發(fā)出告警信號,視頻智能檢測識別系統(tǒng)架構(gòu)如圖1所示。
圖1 視頻智能檢測識別系統(tǒng)架構(gòu)圖
系統(tǒng)通過研發(fā)視頻智能分析算法調(diào)度引擎功能模塊,從千里眼平臺獲取視頻,調(diào)度各種智能分析算法,并將算法分析結(jié)果輸出到千里眼平臺,然后利用千里眼現(xiàn)有客戶端軟件向用戶呈現(xiàn)各種檢測結(jié)果和告警信息。總體上系統(tǒng)包括平臺對接、視頻輪詢、算法調(diào)度、告警通知等四個模塊組成,其中關(guān)鍵點(diǎn)是視頻算法調(diào)度模塊的構(gòu)建,它的功能是控制整個系統(tǒng)的運(yùn)作,包括視服務(wù)資源管理、視頻流讀取、任務(wù)分發(fā)、結(jié)果反饋等。本系統(tǒng)采用開源LTS(light-task-schedule,分布式作業(yè)調(diào)度框架),自動對所有智能分析算法進(jìn)行任務(wù)分配和管理,保證整個系統(tǒng)的高效、穩(wěn)定運(yùn)行,同時具有較高的可擴(kuò)展性。
算法包括白天算法和夜間算法兩部分,兩種算法自動切換。由于攝像頭在白天和夜間的工作模式不同,所以算法必須根據(jù)這兩種模式進(jìn)行區(qū)別設(shè)計(jì)。算法總體框架如圖2所示。
圖2 算法總體框架圖
算法根據(jù)攝像頭工作模式自動判斷白天或夜間,根據(jù)判斷結(jié)果自動調(diào)用白天或者夜間算法。其中白天算法核心流程如圖3所示。
白天算法主要采用圖像分塊、多特征建模、前景檢測、顏色檢測、紋理檢測、小波分析、動態(tài)分析、時域運(yùn)動分析常用來對火焰和煙霧進(jìn)行檢測分析,綜合考慮了視頻抖動、光線變化、背景干擾物對于檢測的影響,可以排除絕大多數(shù)干擾物所導(dǎo)致的誤檢,在幾乎不影響正檢的情況下保證了較小的誤檢率。同時在準(zhǔn)確檢測到視頻中煙霧火焰的基礎(chǔ)上,算法能夠排除靜止背景干擾物(白墻、白云、道路等)的影響,具有一定的抗視頻抖動能力。
圖3 白天算法流程圖
在進(jìn)行多特征建模時,針對的對象是包括時域信息的三維時空分塊,加入時域上的信息,可以去除背景干擾,有效的提高檢測準(zhǔn)確率,減少誤判概率。離散小波變換是算法重要部分,其效果如圖4所示。
圖4 離散小波變換圖
上圖是用離散小波變換對空間圖像進(jìn)行處理的結(jié)果,左邊是原圖像,右邊四幅子圖像是二維單尺度小波變換的結(jié)果。夜間算法檢測主要流程如圖5所示。
圖5 夜間算法檢測流程圖
由于大部分?jǐn)z像頭在夜間處于紅外模式,即圖像只包含亮度信息,不包含色彩信息,所以夜間存在很多的背景干擾物,大多數(shù)時候連人眼也無法判斷是不是火焰。
夜間的干擾物基本都是路燈、房燈和車燈,夜間算法設(shè)計(jì)的目標(biāo)就是排除這三種干擾物對于火焰檢測的影響。路燈和房燈屬于同一種類型,他們的特性是基本每天夜間都會點(diǎn)亮,因此,算法使用了場景建模的方法,預(yù)先學(xué)習(xí)場景中的路燈和房燈區(qū)域,在檢測的時候就可以排除這些干擾物的影響。夜間算法自動進(jìn)行場景建模,隨著時間的推進(jìn)場景模型會變得更加準(zhǔn)確。對于車燈,它的特點(diǎn)是運(yùn)動模式和火焰不同,所以我們采用了運(yùn)動分析的方式來排除車燈對夜間火焰檢測的影響。
國土違法占用檢測算法對于一定場景下每天獲得的圖片進(jìn)行分析,與建立的背景模型進(jìn)行比較并檢測是否有違章建筑。如果在一定時間內(nèi)持續(xù)檢測到違章建筑,系統(tǒng)報警并返回報警圖片。算法針對多種自然場景進(jìn)行設(shè)計(jì),結(jié)合建筑物本身的結(jié)構(gòu)特性,對于不同場景下出現(xiàn)的違章建筑具有較好的識別能力,對雨霧天影響造成圖像模糊具有較好的自適應(yīng)能力。國土占用檢測算法流程如圖6所示。
算法針對多種自然場景特性進(jìn)行設(shè)計(jì),考慮了攝像頭晃動、天氣特點(diǎn)、非建筑物特性對于檢測的影響,可以排除絕大部分的干擾,有效地降低了誤檢率。
算法主要流程設(shè)計(jì)如下:
(1)天氣檢測:引入《Single Image Haze Removal Using Dark Channel Prior》文章中暗通道的概念,通過計(jì)算暗通道成分的多少,來判斷是否為雨霧天氣;
(2)圖像配準(zhǔn):引入基于全局Sobel索貝爾值的矯正,以降低視頻抖動、光照變化造成的影響;
(3)綠色分量檢測:篩除綠色分量較高的分塊,去掉田野、樹林等非建筑物部分,降低誤檢率;
(4)變化區(qū)域檢測:違法建筑物的產(chǎn)生會使得圖片的局部區(qū)域發(fā)生較大的變化,設(shè)計(jì)使用Hash、Hog、灰度值、CNN卷積特征等檢測算法進(jìn)行分析檢測;
(5)建筑物檢測:利用上述CNN卷積網(wǎng)絡(luò)判斷是否有建筑物痕跡;
(6)邏輯判斷:連續(xù)3天檢測到有違章建筑的痕跡時發(fā)出報警。
圖6 國土占用檢測算法流程圖
基于視頻智能檢測分析技術(shù),我們推出了藍(lán)天衛(wèi)士、國土衛(wèi)士等視頻智能檢測產(chǎn)品,可以滿足客戶日常秸稈焚燒、國土占用等監(jiān)控管理,目前產(chǎn)品已經(jīng)處于規(guī)模推廣階段。截止目前,視頻智能檢測分析行業(yè)產(chǎn)品已經(jīng)在全省落地應(yīng)用,為提升客戶工作監(jiān)管效率發(fā)揮了極大作用。
視頻智能檢測分析產(chǎn)品,通過客戶業(yè)務(wù)模式的創(chuàng)新改革,幫助客戶提升了工作效率,節(jié)約了人力投入,滿足了客戶業(yè)務(wù)的強(qiáng)需求,增強(qiáng)了用戶感知,為企業(yè)創(chuàng)造了良好的社會效益和經(jīng)濟(jì)效益。