夏平 任強(qiáng) 雷幫軍 師冬霞 胡蓉

摘? 要： 針對智慧小區(qū)視頻監(jiān)控中多目標(biāo)的判別與報(bào)警問題，提出一種基于時(shí)間序列組合邏輯運(yùn)算的智能視頻監(jiān)控報(bào)警算法。為實(shí)現(xiàn)在多攝像機(jī)、多觸發(fā)事件的協(xié)同工作，以完成對目標(biāo)的檢測、跟蹤及分析，構(gòu)建了各觸發(fā)事件之間依據(jù)邏輯與、或、非等組合邏輯運(yùn)算規(guī)則來滿足智能監(jiān)控的要求;其次，引入事件觸發(fā)時(shí)間、順序及優(yōu)先級別等因素，構(gòu)建基于時(shí)間序列的監(jiān)控系統(tǒng)報(bào)警組合邏輯運(yùn)算算法，所有觸發(fā)事件按時(shí)間序列組合邏輯運(yùn)算規(guī)定，觸發(fā)視頻監(jiān)控系統(tǒng)報(bào)警。實(shí)驗(yàn)結(jié)果表明，所提算法可綜合應(yīng)用多視頻信號源實(shí)現(xiàn)多觸發(fā)信號混合使用與報(bào)警，實(shí)現(xiàn)安全可控、精確便捷的智能化監(jiān)控。

關(guān)鍵詞： 智能視頻監(jiān)控; 時(shí)間序列; 報(bào)警算法; 組合邏輯; 觸發(fā)事件; 仿真實(shí)驗(yàn)

中圖分類號： TN948.64?34; TP391? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）06?0101?05

Intelligent video monitoring alarm algorithm based on time series

combinational logical operation

XIA Ping1，2， REN Qiang1，2， LEI Bangjun1，2， SHI Dongxia1，2， HU Rong1，2

（1. Hubei Key Laboratory of Intelligent Vision based Monitoring for Hydroelectric Engineering， Three Gorges University， Yichang 443002， China;

2. College of Computer and Information Technology， Three Gorges University， Yichang 443002， China）

Abstract： An intelligent video monitoring alarm algorithm based on time series combinational logic operation is proposed to improve the identification and alarm of multiple targets in video monitoring of smart community. In order to realize the cooperative work of multi?cameras and multi?triggering events， and complete the detection， tracking and analysis of targets， the operation rules of combination logic， such as logic and， or and non between triggering events are constructed to meet the requirements of intelligent monitoring. The alarm combination logical operation algorithm of monitoring system based on time series is constructed by introducing event triggering time， sequence， priority and other factors， All triggering events could trigger the alarm of video monitoring system according to the regulations of time series combined logic operation. The experimental results show that the proposed algorithm can synthetically apply multi?video signal source to realize the mixed use and alarm of multi triggering signals with multi video signal source synthetically， and realize the safe， controllable， accurate and convenient intelligent monitoring.

Keywords： intelligent video monitoring; time series; alarm algorithm; combinatorial logical; triggering event; simulation experiment

0? 引? 言

隨著信息技術(shù)的發(fā)展與社會的進(jìn)步，人性化管理和現(xiàn)代信息通信技術(shù)（ICT）有機(jī)融合，通過“技術(shù)+社區(qū)+服務(wù)平臺”組合的方式，構(gòu)建了完善的智慧城市、智慧小區(qū)的服務(wù)體系;同時(shí)，也促進(jìn)了智能視頻監(jiān)控技術(shù)的廣泛應(yīng)用，使得視頻監(jiān)控系統(tǒng)可以根據(jù)監(jiān)控場景中相關(guān)規(guī)則要求，完成相應(yīng)規(guī)則下控制任務(wù)事件，呈現(xiàn)出一定智能化的視頻監(jiān)控系統(tǒng)[1]。傳統(tǒng)的監(jiān)控系統(tǒng)中，觸發(fā)報(bào)警信號集中于單一數(shù)據(jù)源和單一事件的分析、判斷上[1?5]，監(jiān)控任務(wù)相對單一[2?3]，可操作性不強(qiáng)[4?7];對于多任務(wù)的監(jiān)控則需要多個(gè)監(jiān)控系統(tǒng)來完成，結(jié)構(gòu)相對復(fù)雜，浪費(fèi)大量的人力物力而未取得理想的整體監(jiān)控效果，無法滿足更高層次系統(tǒng)全監(jiān)控需求[1，8?12]。相對于傳統(tǒng)監(jiān)控系統(tǒng)，用戶對于智能視頻監(jiān)控系統(tǒng)提出了異常目標(biāo)檢測、人臉檢測、人數(shù)統(tǒng)計(jì)、流量分析等多種智能分析功能的需求[4，10?12]。

針對智慧小區(qū)中對多攝像機(jī)、多觸發(fā)事件的協(xié)同工作，按既定時(shí)間、順序及規(guī)則混合使用多觸發(fā)事件的智能分析功能需求，本文提出基于時(shí)間序列組合邏輯運(yùn)算的視頻監(jiān)控報(bào)警算法。通過引入事件觸發(fā)時(shí)間、順序及優(yōu)先級別等因素，構(gòu)建各觸發(fā)事件之間以邏輯與、或、非等組合邏輯運(yùn)算規(guī)則，形成了基于時(shí)間序列的監(jiān)控系統(tǒng)報(bào)警組合邏輯運(yùn)算算法，所有觸發(fā)事件按時(shí)間序列組合邏輯運(yùn)算規(guī)定，觸發(fā)視頻監(jiān)控系統(tǒng)報(bào)警，以滿足智能化的視頻監(jiān)控需求。

1? 基于時(shí)間序列組合邏輯運(yùn)算原理

1.1? 基于時(shí)間序列的最小邏輯運(yùn)算集

基于時(shí)間序列的最小邏輯運(yùn)算集是基于時(shí)間序列組合邏輯運(yùn)算的視頻監(jiān)控報(bào)警系統(tǒng)算法的基礎(chǔ)，是在基本邏輯運(yùn)算基礎(chǔ)上加入時(shí)間序列約束條件，即在傳統(tǒng)的與（∧）、或（∨）、非（┐）等邏輯運(yùn)算中引入時(shí)間信息作為約束，此時(shí)，與、或、非運(yùn)算分別定義為[∧t]，[∨t]，[?t];同時(shí)，引入了邏輯順序運(yùn)算“先于（[?t]”）”和“后于（[?t]）”，從而，構(gòu)建了基于時(shí)間序列的最小邏輯運(yùn)算集：時(shí)間序列邏輯與運(yùn)算、時(shí)間序列邏輯或運(yùn)算、時(shí)間序列邏輯非運(yùn)算以及時(shí)間序列邏輯順序運(yùn)算等，以此描述視頻監(jiān)控報(bào)警系統(tǒng)中各觸發(fā)事件之間的既定運(yùn)算序列規(guī)則。

1.2? 時(shí)間序列邏輯運(yùn)算規(guī)則

1） 時(shí)間序列邏輯“與運(yùn)算”和“或運(yùn)算”真值表如表1所示。

2） 時(shí)間序列邏輯非運(yùn)算：

若“A=0”，則[?t]A=1;若“A=1”，則[?t]A=0。

3） 時(shí)間序列邏輯順序運(yùn)算：

“先于[?t]”“后于[?t]”描述事件的運(yùn)算先后順序。

1.3? 時(shí)間序列邏輯運(yùn)算嵌套的運(yùn)算級

本文算法規(guī)定嵌套使用的運(yùn)算順序：同級事件運(yùn)算時(shí)，按照時(shí)間先后順序依次響應(yīng)，觸發(fā)報(bào)警信號;優(yōu)先級運(yùn)算時(shí)，先響應(yīng)優(yōu)先級高的事件，再響應(yīng)優(yōu)先級低的事件;多層優(yōu)先級事件的響應(yīng)，先響應(yīng)優(yōu)先級最高的，依次遞減，最后響應(yīng)其他事件觸發(fā)報(bào)警信號。

2? 基于時(shí)間序列組合邏輯運(yùn)算的視頻監(jiān)控報(bào)警算法

視頻監(jiān)控報(bào)警中，各觸發(fā)事件之間的時(shí)序會影響報(bào)警結(jié)果，本文算法實(shí)現(xiàn)的智能視頻監(jiān)控系統(tǒng)主要觸發(fā)事件有運(yùn)動檢測、拌線檢測、人數(shù)統(tǒng)計(jì)以及火焰&煙霧檢測，分別用事件A、事件B、事件C和事件D描述。監(jiān)控報(bào)警算法為：

1） 基礎(chǔ)邏輯算法。

采用并行運(yùn)算的方式進(jìn)行，所有事件運(yùn)算級相同，要求所有參與邏輯運(yùn)算的每個(gè)觸發(fā)事件在規(guī)定的時(shí)間間隔內(nèi)完成響應(yīng)，才產(chǎn)生報(bào)警信號?；A(chǔ)邏輯算法包括時(shí)間序列邏輯“與運(yùn)算[∧t]”、“或運(yùn)算[∨t]”和“非運(yùn)算[?t]”。具體算法：A[∧t]B描述了在t時(shí)間內(nèi)，事件A與事件B同時(shí)產(chǎn)生響應(yīng)信號，觸發(fā)器產(chǎn)生報(bào)警;A[∨t]B表示在t時(shí)間內(nèi)，事件A與事件B中任一事件產(chǎn)生響應(yīng)信號，觸發(fā)器均產(chǎn)生報(bào)警信號;若事件A產(chǎn)生響應(yīng)信號，[則?t]A表示在時(shí)間間隔t內(nèi)，事件A的報(bào)警信號沒有被觸發(fā);同理，在t時(shí)間間隔內(nèi)，事件A與事件B同時(shí)產(chǎn)生響應(yīng)信號，或者事件C與事件D同時(shí)產(chǎn)生響應(yīng)信號時(shí)，觸發(fā)器產(chǎn)生報(bào)警信號，組合邏輯運(yùn)算描述為：（A [∧t] B）[∨t]（ C [∧t ]D）?；A(chǔ)邏輯算法如圖1所示。

2） 全部連續(xù)算法。

要求所有參與邏輯運(yùn)算的每個(gè)觸發(fā)器事件按照預(yù)先設(shè)定好的時(shí)間先后順序，在規(guī)定的時(shí)間內(nèi)依次產(chǎn)生響應(yīng)，終端才產(chǎn)生報(bào)警信號。引入時(shí)間序列邏輯運(yùn)算“先于運(yùn)算（[?t]）”和“后于運(yùn)算（[?t]）”。具體算法：A[?t]B描述在t時(shí)間內(nèi)，事件A先于事件B產(chǎn)生響應(yīng)信號，觸發(fā)器產(chǎn)生報(bào)警信號;同理，A[?t]B表示在t時(shí)間內(nèi)，A后于B產(chǎn)生響應(yīng)信號時(shí)，觸發(fā)器才產(chǎn)生報(bào)警信號。將此算法應(yīng)用于A，B，C，D四個(gè)事件順序觸發(fā)產(chǎn)生報(bào)警信號的時(shí)間序列組合邏輯運(yùn)算表示為：A[?t]B[?t]C[?tD];其中，任一事件未在規(guī)定時(shí)間內(nèi)按順序產(chǎn)生響應(yīng)，則觸發(fā)器不報(bào)警。全部連續(xù)算法如圖2所示。

3） 領(lǐng)導(dǎo)合成算法。

領(lǐng)導(dǎo)合成算法是基礎(chǔ)邏輯算法和全部連續(xù)算法的嵌套運(yùn)算算法，指定一個(gè)或一組觸發(fā)事件為領(lǐng)導(dǎo)運(yùn)算成員時(shí)，其優(yōu)先級最高;該信號產(chǎn)生響應(yīng)信號后，在規(guī)定的時(shí)間內(nèi)，所有規(guī)定的響應(yīng)運(yùn)算成員均產(chǎn)生了響應(yīng)信號，而所有規(guī)定的不能產(chǎn)生響應(yīng)的運(yùn)算成員均沒有產(chǎn)生報(bào)警的條件下，觸發(fā)器產(chǎn)生報(bào)警信號。若事件A為領(lǐng)導(dǎo)運(yùn)算成員，其優(yōu)先級最高，必須先產(chǎn)生響應(yīng)信號，同時(shí)，若規(guī)定事件B、事件C產(chǎn)生報(bào)警信號，而事件D不產(chǎn)生報(bào)警信號，最終才能產(chǎn)生報(bào)警，組合邏輯運(yùn)算為：A[?t（]B[∧t]C[∧t（?t]D））。領(lǐng)導(dǎo)合成算法如圖3所示。

3? 實(shí)驗(yàn)仿真及分析

3.1? 實(shí)驗(yàn)仿真

智能視頻監(jiān)控系統(tǒng)中，通過對基本運(yùn)算組合及其嵌套使用，在傳統(tǒng)報(bào)警處理基礎(chǔ)上，實(shí)現(xiàn)或合成、與合成、全部連續(xù)和領(lǐng)導(dǎo)合成4種智能組合邏輯運(yùn)算報(bào)警。通過開發(fā)的“千里眼視頻監(jiān)控系統(tǒng)”進(jìn)行仿真實(shí)驗(yàn)。

3.1.1? 或合成

任一運(yùn)算事件產(chǎn)生響應(yīng)時(shí)，均能馬上產(chǎn)生報(bào)警信號。以“運(yùn)動檢測”和“火焰&煙霧檢測”事件為例。實(shí)驗(yàn)結(jié)果如圖4～圖6所示。

“運(yùn)動檢測”是在指定區(qū)域檢測到有物體運(yùn)動時(shí)會發(fā)生報(bào)警響應(yīng)，如圖4所示。“火焰&煙霧檢測”是在指定的區(qū)域檢測到火焰或者煙霧時(shí)就會發(fā)生報(bào)警，如圖5、圖6所示。將“運(yùn)動檢測”和“火焰&煙霧檢測”兩個(gè)觸發(fā)器以或合成運(yùn)算后描述為系統(tǒng)在指定的區(qū)域內(nèi)檢測到運(yùn)動的人或物體、或火焰、或煙霧，系統(tǒng)產(chǎn)生報(bào)警。

3.1.2? 與合成

所有參與組合運(yùn)算事件均須在規(guī)定的時(shí)間內(nèi)產(chǎn)生報(bào)警響應(yīng)時(shí)，系統(tǒng)才產(chǎn)生報(bào)警信號。以“拌線檢測”和“車牌識別”兩個(gè)觸發(fā)器為例實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖7、圖8所示。

“拌線檢測”是運(yùn)動的物體通過設(shè)計(jì)的門禁會發(fā)生報(bào)警，如圖7所示?！败嚺谱R別”是指在指定的區(qū)域內(nèi)識別機(jī)動車牌號發(fā)生報(bào)警，如圖8所示。將“拌線檢測”和“車牌識別”兩個(gè)觸發(fā)器進(jìn)行與合成運(yùn)算后，描述為非固定車輛經(jīng)過設(shè)計(jì)的門禁時(shí)產(chǎn)生報(bào)警。設(shè)計(jì)的門禁亦可用于禁止機(jī)動車輛，此時(shí)使用“拌線檢測”和“車牌識別”兩個(gè)觸發(fā)器，車輛進(jìn)入到門禁之內(nèi)，通過“車牌識別”觸發(fā)器識別到其車牌并記錄，系統(tǒng)發(fā)出報(bào)警信號。

3.1.3? 全部連續(xù)

所有參與邏輯運(yùn)算事件只有按照規(guī)定順序在時(shí)間t內(nèi)產(chǎn)生響應(yīng)信號時(shí)，才產(chǎn)生報(bào)警信號。以智能視頻監(jiān)控系統(tǒng)中“拌線檢測”、“人臉檢測”和“人數(shù)統(tǒng)計(jì)”三個(gè)觸發(fā)器為例。實(shí)驗(yàn)結(jié)果如圖9、圖10所示。

“人臉檢測”是系統(tǒng)在指定的區(qū)域識別到人臉時(shí)發(fā)生報(bào)警，如圖9所示?！叭藬?shù)統(tǒng)計(jì)”是在指定的區(qū)域內(nèi)，對人數(shù)進(jìn)行數(shù)量統(tǒng)計(jì)，當(dāng)人數(shù)達(dá)到設(shè)定的最高值時(shí)，發(fā)生報(bào)警，如圖10所示。此方案可用在諸多公共場合，對控制人流量十分有效。

3.1.4? 領(lǐng)導(dǎo)合成

指定一個(gè)或者一組觸發(fā)事件為領(lǐng)導(dǎo)運(yùn)算成員，在整個(gè)系統(tǒng)運(yùn)行中優(yōu)先級最高，必須優(yōu)先于其他觸發(fā)事件產(chǎn)生報(bào)警信號，然后在規(guī)定的時(shí)間內(nèi)，所有必須產(chǎn)生報(bào)警信號的觸發(fā)事件產(chǎn)生了報(bào)警信號，而所有不能產(chǎn)生報(bào)警信號的觸發(fā)事件沒有產(chǎn)生報(bào)警信號的條件下，系統(tǒng)產(chǎn)生報(bào)警信號。以智能視頻監(jiān)控系統(tǒng)中“拌線檢測”“人臉檢測”和“火焰&煙霧檢測”三個(gè)觸發(fā)器為例。實(shí)驗(yàn)結(jié)果如圖11所示。

系統(tǒng)規(guī)定“拌線檢測”為領(lǐng)導(dǎo)觸發(fā)器，“人臉檢測”不產(chǎn)生報(bào)警而“火焰&煙霧檢測”產(chǎn)生報(bào)警。因此，“拌線檢測”觸發(fā)器必須先產(chǎn)生報(bào)警信號，然后在規(guī)定時(shí)間內(nèi)，“人臉檢測”不能產(chǎn)生報(bào)警信號，而“火焰&煙霧檢測”觸發(fā)器須產(chǎn)生報(bào)警信號時(shí)，系統(tǒng)才產(chǎn)生報(bào)警信號。如圖11的實(shí)際場景為家庭廚房，若廚房有人，即使檢測到火焰或煙霧也不會發(fā)生報(bào)警信號;若檢測到廚房無人，同時(shí)檢測到火焰或煙霧信號，系統(tǒng)就會報(bào)警。

3.2? 實(shí)驗(yàn)結(jié)果分析

本文采用項(xiàng)目組開發(fā)的“千里眼視頻監(jiān)控系統(tǒng)”，模擬智能組合邏輯運(yùn)算的視頻報(bào)警實(shí)驗(yàn)，預(yù)先根據(jù)實(shí)際應(yīng)用的需求設(shè)定每個(gè)觸發(fā)信號的觸發(fā)時(shí)間、順序及優(yōu)先級別，而后執(zhí)行各種聯(lián)動操作，當(dāng)所有的觸發(fā)信號按照設(shè)定的要求一致時(shí)，系統(tǒng)產(chǎn)生報(bào)警信號。相對于傳統(tǒng)單一信號的報(bào)警，本文設(shè)計(jì)的報(bào)警系統(tǒng)應(yīng)用領(lǐng)域廣、可控性強(qiáng)、智能化程度高，解決了目前智能分析和觸發(fā)數(shù)據(jù)源單一、分析方法單一的現(xiàn)狀，滿足全監(jiān)控系統(tǒng)需求;同時(shí)，多種觸發(fā)信號類型可混合使用，也可綜合應(yīng)用從多種數(shù)據(jù)源和多種分析而來的信號，智能化程度更高。

4? 結(jié)? 論

視頻監(jiān)控報(bào)警系統(tǒng)單純使用單一報(bào)警觸發(fā)模式很難解決日常應(yīng)用中的突發(fā)問題，本文提出的基于時(shí)間序列組合邏輯運(yùn)算的視頻監(jiān)控算法充分考慮了影響報(bào)警結(jié)果的觸發(fā)事件的時(shí)間、順序、優(yōu)先級等因素，通過時(shí)間序列的智能組合邏輯運(yùn)算建模，實(shí)現(xiàn)多源響應(yīng)信號的智能監(jiān)控報(bào)警，在一定程度上解決了視頻監(jiān)控系統(tǒng)多源信號的聯(lián)動報(bào)警，滿足人們對智能視頻監(jiān)控報(bào)警系統(tǒng)更高智能化的需求。本文算法實(shí)現(xiàn)的智能視頻監(jiān)控報(bào)警系統(tǒng)具有較廣泛的應(yīng)用前景。

注：本文通訊作者為雷幫軍。

參考文獻(xiàn)

[1] 黃凱奇，陳曉棠，康運(yùn)鋒，等.智能視頻監(jiān)控技術(shù)綜述[J].計(jì)算機(jī)學(xué)報(bào)，2015，38（6）：1093?1118.

[2] ZHENG X， HU C P， MEI L. Video structured description technology based intelligence analysis of surveillance videos for public security applications [J]. Multimedia tools & applications， 2015， 75（19）： 1?18.

[3] TIAN B， LI Y， LI B， et al. Rear?view vehicle detection and tracking by combining multiple parts for complex urban surveillance [J]. IEEE transactions on intelligent transportation systems， 2014， 15（2）： 597?606.

[4] 邵振峰，蔡家駿，王中元，等.面向智能監(jiān)控?cái)z像頭的監(jiān)控視頻大數(shù)據(jù)分析處理[J].電子與信息學(xué)報(bào)，2017，39（5）：1116?1122.

[5] CHAARAOUI A A， PADILLAL?PEZ J R. A vision?based system for intelligent monitoring： human behavior analysis and privacy by context [J]. Sensors， 2014， 14（5）： 8895?8925.

[6] MEI K L， TANG S， CHAN C S. iSurveillance： intelligent framework for multiple events detection in surveillance videos [J]. Expert systems with applications， 2014， 41（10）： 4704?4715.

[7] 李鵬飛，陳朝武，李曉峰.智能視頻算法評估綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（2）：352?360.

[8] SONG X H， SUN L， LEI J， et al. Event?based large scale surveillance video summarization [J]. Neurocomputing， 2016， 187： 66?74.

[9] FAN C T， WANG Y K， HUANG C R. Heterogeneous information fusion and visualization for a large?scale intelligent video surveillance system [J]. IEEE transactions on systems man & cybernetics systems， 2017， 47（4）： 593?604.

[10] CHEN T S， LIN M F， CHIEUH T C， et al. An intelligent surveillance video analysis service in cloud environment [C]// IEEE International Carnahan Conference on Security Technology. [S.l.]： IEEE， 2016： 1?6.

[11] 施巍松，孫輝，曹杰，等.邊緣計(jì)算：萬物互聯(lián)時(shí)代新型計(jì)算模型[J].計(jì)算機(jī)研究與發(fā)展，2017，54（5）：907?924.

[12] DUTT S， KALRA A. A scalable and robust framework for intelligent real?time video surveillance [C]// IEEE International Conference on Advances in Computing， Communications and Informatics. Kochi： IEEE， 2016： 212?215.

[13] KIM H， LEE S， KIM Y， et al. Weighted joint?based human behavior recognition algorithm using only depth information for low?cost intelligent video?surveillance system [J]. Expert systems with applications， 2016， 45： 131?141.

[14] 畢林，王李管，陳建宏，等.三維網(wǎng)格模型的空間布爾運(yùn)算[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，36（5）：82?85.

[15] 王一丁，魏忠義，董毅.DSP處理器XINTF接口與液晶并口的兼容通信設(shè)計(jì)[J].西安工程大學(xué)學(xué)報(bào)，2016（3）：306?311.

[16] 劉焱，周圣澤，羅軍，等.基于FPGA的并串轉(zhuǎn)換電路硬件實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用，2017（12）：21?24.