唐志鴻

中國移動通信集團(tuán)江蘇分公司

0 前言

江蘇移動“千里眼”視頻監(jiān)控產(chǎn)品目前已成功應(yīng)用到環(huán)保、國土、住建、商鋪、餐飲、旅游等眾多行業(yè)領(lǐng)域，業(yè)務(wù)呈現(xiàn)出高速增長趨勢，其中應(yīng)用于環(huán)保秸稈焚燒監(jiān)控的藍(lán)天衛(wèi)士產(chǎn)品和應(yīng)用于國土監(jiān)管領(lǐng)域的國土衛(wèi)士產(chǎn)品也在全省得到大規(guī)模復(fù)制推廣，得到客戶的高度好評。

江蘇移動千里眼視頻監(jiān)控平臺的定位是用作視頻采集、視頻存儲和視頻瀏覽及監(jiān)控的功能平臺，不具備實(shí)時視頻智能分析能力，對于監(jiān)控視頻中的風(fēng)險點(diǎn)，無法做到智能識別和預(yù)警，存在以下不足：

1）完全依賴人工監(jiān)控：注意力難以長時間集中，調(diào)研顯示人工盯著電視墻，超過10分鐘后將漏掉90%的信息。

2）實(shí)時性差、響應(yīng)慢：監(jiān)視器數(shù)量太多，只能采用輪詢的方式進(jìn)行監(jiān)控，無法及時發(fā)現(xiàn)突發(fā)或預(yù)警事件。

3）效率低、成本高：需要大量人力，效率低，國土衛(wèi)士、藍(lán)天衛(wèi)士等視頻內(nèi)容改變緩慢，問題更加突出。

4）數(shù)據(jù)分析難度大：平臺7×24小時錄像，存儲數(shù)據(jù)海量，事后數(shù)據(jù)查找及分析難度大。

視頻智能檢測分析是新型數(shù)字化服務(wù)發(fā)展趨勢，智能視頻監(jiān)控技術(shù)的行業(yè)應(yīng)用在國內(nèi)處于剛起步的狀態(tài)。傳統(tǒng)的視頻監(jiān)控行業(yè)需要大量的人力資源來人工觀看各路網(wǎng)絡(luò)攝像頭，并判斷是否有違法行為或者災(zāi)難事件的發(fā)生。這種監(jiān)控模式不僅浪費(fèi)了大量的人力財力，而且容易發(fā)生疏忽遺漏的情況。因此，把計(jì)算機(jī)視覺中的相關(guān)技術(shù)應(yīng)用到視頻監(jiān)控領(lǐng)域，作為一種輔助手段來提高監(jiān)控事件的準(zhǔn)確性，減少人力資源的投入，是一種主流的行業(yè)趨勢，也是新型數(shù)字化服務(wù)產(chǎn)品發(fā)展方向。

環(huán)保和國土部門客戶多次提出視頻自動檢測和告警需求，研發(fā)藍(lán)天衛(wèi)士火焰/煙霧檢測、國土違法占用檢測智能分析功能可以大幅降低客戶的人力物力投入，提升客戶業(yè)務(wù)監(jiān)管工作效率。同時，這種智能檢測識別需求屬于公司大力提倡開拓的新型數(shù)字化服務(wù)，一方面可以推動公司集團(tuán)市場專線業(yè)務(wù)的深入拓展，另一方面隨著手機(jī)APP移動監(jiān)管功能的規(guī)?；瘧?yīng)用，也極大地促進(jìn)了公司流量經(jīng)營戰(zhàn)略落實(shí)。運(yùn)營中心將著力拓展中小企業(yè)藍(lán)海市場，打破隔離，尋求新的增長點(diǎn)，新的突破。

1 視頻智能檢測分析系統(tǒng)架構(gòu)

系統(tǒng)擬基于江蘇移動千里眼視頻監(jiān)控平臺建設(shè)視頻監(jiān)控大數(shù)據(jù)分析系統(tǒng)，該系統(tǒng)作為配套千里眼平臺的獨(dú)立功能模塊存在，從千里眼平臺實(shí)時讀取視頻數(shù)據(jù)流，并按照行業(yè)應(yīng)用需求進(jìn)行實(shí)時智能分析和檢測，對分析檢測出來的視頻內(nèi)容的異常情況進(jìn)行預(yù)警，相關(guān)預(yù)警信息通過千里眼平臺接口輸送到平臺告警模塊，并最終通過千里眼平臺客戶端向用戶發(fā)出告警信號，視頻智能檢測識別系統(tǒng)架構(gòu)如圖1所示。

圖1 視頻智能檢測識別系統(tǒng)架構(gòu)圖

系統(tǒng)通過研發(fā)視頻智能分析算法調(diào)度引擎功能模塊，從千里眼平臺獲取視頻，調(diào)度各種智能分析算法，并將算法分析結(jié)果輸出到千里眼平臺，然后利用千里眼現(xiàn)有客戶端軟件向用戶呈現(xiàn)各種檢測結(jié)果和告警信息。總體上系統(tǒng)包括平臺對接、視頻輪詢、算法調(diào)度、告警通知等四個模塊組成，其中關(guān)鍵點(diǎn)是視頻算法調(diào)度模塊的構(gòu)建，它的功能是控制整個系統(tǒng)的運(yùn)作，包括視服務(wù)資源管理、視頻流讀取、任務(wù)分發(fā)、結(jié)果反饋等。本系統(tǒng)采用開源LTS（light-task-schedule，分布式作業(yè)調(diào)度框架），自動對所有智能分析算法進(jìn)行任務(wù)分配和管理，保證整個系統(tǒng)的高效、穩(wěn)定運(yùn)行，同時具有較高的可擴(kuò)展性。

2 視頻智能檢測分析算法

2.1 自然場景火焰煙霧智能檢測

算法包括白天算法和夜間算法兩部分，兩種算法自動切換。由于攝像頭在白天和夜間的工作模式不同，所以算法必須根據(jù)這兩種模式進(jìn)行區(qū)別設(shè)計(jì)。算法總體框架如圖2所示。

圖2 算法總體框架圖

算法根據(jù)攝像頭工作模式自動判斷白天或夜間，根據(jù)判斷結(jié)果自動調(diào)用白天或者夜間算法。其中白天算法核心流程如圖3所示。

白天算法主要采用圖像分塊、多特征建模、前景檢測、顏色檢測、紋理檢測、小波分析、動態(tài)分析、時域運(yùn)動分析常用來對火焰和煙霧進(jìn)行檢測分析，綜合考慮了視頻抖動、光線變化、背景干擾物對于檢測的影響，可以排除絕大多數(shù)干擾物所導(dǎo)致的誤檢，在幾乎不影響正檢的情況下保證了較小的誤檢率。同時在準(zhǔn)確檢測到視頻中煙霧火焰的基礎(chǔ)上，算法能夠排除靜止背景干擾物（白墻、白云、道路等）的影響，具有一定的抗視頻抖動能力。

圖3 白天算法流程圖

在進(jìn)行多特征建模時，針對的對象是包括時域信息的三維時空分塊，加入時域上的信息，可以去除背景干擾，有效的提高檢測準(zhǔn)確率，減少誤判概率。離散小波變換是算法重要部分，其效果如圖4所示。

圖4 離散小波變換圖

上圖是用離散小波變換對空間圖像進(jìn)行處理的結(jié)果，左邊是原圖像，右邊四幅子圖像是二維單尺度小波變換的結(jié)果。夜間算法檢測主要流程如圖5所示。

圖5 夜間算法檢測流程圖

由于大部分?jǐn)z像頭在夜間處于紅外模式，即圖像只包含亮度信息，不包含色彩信息，所以夜間存在很多的背景干擾物，大多數(shù)時候連人眼也無法判斷是不是火焰。

夜間的干擾物基本都是路燈、房燈和車燈，夜間算法設(shè)計(jì)的目標(biāo)就是排除這三種干擾物對于火焰檢測的影響。路燈和房燈屬于同一種類型，他們的特性是基本每天夜間都會點(diǎn)亮，因此，算法使用了場景建模的方法，預(yù)先學(xué)習(xí)場景中的路燈和房燈區(qū)域，在檢測的時候就可以排除這些干擾物的影響。夜間算法自動進(jìn)行場景建模，隨著時間的推進(jìn)場景模型會變得更加準(zhǔn)確。對于車燈，它的特點(diǎn)是運(yùn)動模式和火焰不同，所以我們采用了運(yùn)動分析的方式來排除車燈對夜間火焰檢測的影響。

2.2 國土違法占用智能檢測

國土違法占用檢測算法對于一定場景下每天獲得的圖片進(jìn)行分析，與建立的背景模型進(jìn)行比較并檢測是否有違章建筑。如果在一定時間內(nèi)持續(xù)檢測到違章建筑，系統(tǒng)報警并返回報警圖片。算法針對多種自然場景進(jìn)行設(shè)計(jì)，結(jié)合建筑物本身的結(jié)構(gòu)特性，對于不同場景下出現(xiàn)的違章建筑具有較好的識別能力，對雨霧天影響造成圖像模糊具有較好的自適應(yīng)能力。國土占用檢測算法流程如圖6所示。

算法針對多種自然場景特性進(jìn)行設(shè)計(jì)，考慮了攝像頭晃動、天氣特點(diǎn)、非建筑物特性對于檢測的影響，可以排除絕大部分的干擾，有效地降低了誤檢率。

算法主要流程設(shè)計(jì)如下：

（1）天氣檢測：引入《Single Image Haze Removal Using Dark Channel Prior》文章中暗通道的概念，通過計(jì)算暗通道成分的多少，來判斷是否為雨霧天氣；

（2）圖像配準(zhǔn)：引入基于全局Sobel索貝爾值的矯正，以降低視頻抖動、光照變化造成的影響；

（3）綠色分量檢測：篩除綠色分量較高的分塊，去掉田野、樹林等非建筑物部分，降低誤檢率；

（4）變化區(qū)域檢測：違法建筑物的產(chǎn)生會使得圖片的局部區(qū)域發(fā)生較大的變化，設(shè)計(jì)使用Hash、Hog、灰度值、CNN卷積特征等檢測算法進(jìn)行分析檢測；

（5）建筑物檢測：利用上述CNN卷積網(wǎng)絡(luò)判斷是否有建筑物痕跡；

（6）邏輯判斷：連續(xù)3天檢測到有違章建筑的痕跡時發(fā)出報警。

圖6 國土占用檢測算法流程圖

3 總結(jié)

基于視頻智能檢測分析技術(shù)，我們推出了藍(lán)天衛(wèi)士、國土衛(wèi)士等視頻智能檢測產(chǎn)品，可以滿足客戶日常秸稈焚燒、國土占用等監(jiān)控管理，目前產(chǎn)品已經(jīng)處于規(guī)模推廣階段。截止目前，視頻智能檢測分析行業(yè)產(chǎn)品已經(jīng)在全省落地應(yīng)用，為提升客戶工作監(jiān)管效率發(fā)揮了極大作用。

視頻智能檢測分析產(chǎn)品，通過客戶業(yè)務(wù)模式的創(chuàng)新改革，幫助客戶提升了工作效率，節(jié)約了人力投入，滿足了客戶業(yè)務(wù)的強(qiáng)需求，增強(qiáng)了用戶感知，為企業(yè)創(chuàng)造了良好的社會效益和經(jīng)濟(jì)效益。