王德臣 WANG De-chen；唐宇捷 TANG Yu-jie；趙碩 ZHAO Shuo

（同濟(jì)大學(xué)，上海 200092）

0 引言

目前視頻監(jiān)控的覆蓋范圍已經(jīng)遍布在生活的各個(gè)角落，但傳統(tǒng)的視頻監(jiān)控多作為事后追查、取證等，在海量的視頻錄像面前，依靠人工處理顯得十分無(wú)力[1]。而人工智能技術(shù)的出現(xiàn)很大改善這一現(xiàn)狀，一些企事業(yè)單位和政府通過(guò)將智能視頻分析系統(tǒng)引入到視頻監(jiān)控系統(tǒng)，構(gòu)建了智能視頻監(jiān)控系統(tǒng)，在社會(huì)治安、城市治理、智慧環(huán)保等場(chǎng)景落地，將被動(dòng)通知向主動(dòng)告警轉(zhuǎn)變，大大提高了視頻監(jiān)控的系統(tǒng)價(jià)值[2-3]。在越來(lái)越多企業(yè)想要用人工智能技術(shù)為視頻監(jiān)控系統(tǒng)賦能的背景下，本研究通過(guò)對(duì)智能視頻分析系統(tǒng)的技術(shù)原理和系統(tǒng)架構(gòu)進(jìn)行總結(jié)，并將智能視頻分析系統(tǒng)與傳統(tǒng)視頻監(jiān)控系統(tǒng)結(jié)合來(lái)構(gòu)建了智能監(jiān)控系統(tǒng)，并從實(shí)踐的角度提供了一個(gè)體系流程來(lái)幫助企事業(yè)單位構(gòu)建智能監(jiān)控業(yè)務(wù)和應(yīng)用場(chǎng)景。

1 智能視頻分析系統(tǒng)

1.1 技術(shù)原理

智能視頻分析系統(tǒng)是利用計(jì)算機(jī)圖像視覺(jué)分析技術(shù)對(duì)視頻監(jiān)控畫(huà)面進(jìn)行采集、識(shí)別、分類(lèi)、分析，生成圖像內(nèi)容和行為的描述信息，并根據(jù)預(yù)定的分析規(guī)則，指出可能存在的違反規(guī)則的風(fēng)險(xiǎn)目標(biāo)或行為，同時(shí)發(fā)出預(yù)警信息，協(xié)助相關(guān)人員進(jìn)行日常管理。在算法分析平臺(tái)內(nèi)，根據(jù)配置的設(shè)備信息獲取視頻流。在拉取視頻流后，調(diào)用告警區(qū)域?qū)D像進(jìn)行逐幀解析。圖像處理系統(tǒng)調(diào)用算法中心的服務(wù)，并構(gòu)建數(shù)據(jù)包推送至視頻流合成系統(tǒng)。視頻流合成系統(tǒng)調(diào)用告警規(guī)則信息，依據(jù)原視頻的幀率等信息合成處理后的視頻流，包含必要的識(shí)別信息，如人臉、告警標(biāo)記、預(yù)警等級(jí)等。在視頻流合成完成后產(chǎn)生事件告警通知推送至告警中心，其技術(shù)原理如圖1 所示[4-5]。

圖1 智能視頻分析系統(tǒng)技術(shù)原理

1.2 系統(tǒng)架構(gòu)

智能視頻分析系統(tǒng)可以分為邊緣型和平臺(tái)型兩種架構(gòu)[6]。邊緣型架構(gòu)是面向設(shè)備離散的業(yè)務(wù)環(huán)境，比如零售、餐飲、快遞、城市治理等，將前端監(jiān)控設(shè)備直接接入智能邊緣設(shè)備，將相應(yīng)環(huán)境的算法直接部署在邊緣設(shè)備上對(duì)視頻圖像進(jìn)行分析處理，并分析后的告警信息向管理平臺(tái)統(tǒng)一推送，該架構(gòu)的優(yōu)點(diǎn)是占用網(wǎng)絡(luò)帶寬少，可以實(shí)現(xiàn)輕量化部署，缺點(diǎn)則是需要較多邊緣設(shè)備的資產(chǎn)投入和配置維護(hù)工作。平臺(tái)型架構(gòu)面向設(shè)備集中的業(yè)務(wù)環(huán)境，比如企事業(yè)園區(qū)、工廠等，將所有前端監(jiān)控設(shè)備接入到統(tǒng)一算法分析平臺(tái)，通過(guò)算法分析平臺(tái)對(duì)視頻圖像進(jìn)行統(tǒng)一分析處理，該架構(gòu)的優(yōu)點(diǎn)是可以實(shí)現(xiàn)多種算法統(tǒng)一配置維護(hù)，但對(duì)平臺(tái)網(wǎng)絡(luò)和服務(wù)器性能提出了更高的要求。這兩種架構(gòu)方式各有優(yōu)劣，本文選擇平臺(tái)型的架構(gòu)進(jìn)行研究。

2 智能監(jiān)控系統(tǒng)架構(gòu)

智能視頻監(jiān)控系統(tǒng)基于智能視頻分析系統(tǒng)，對(duì)監(jiān)控視頻信號(hào)進(jìn)行處理、分析和理解?？梢栽诒O(jiān)控場(chǎng)景中自動(dòng)分析視頻圖像，對(duì)變化進(jìn)行定位、識(shí)別和跟蹤，并進(jìn)行異常告警[7]。考慮到大部分業(yè)務(wù)場(chǎng)景下，視頻監(jiān)控管理平臺(tái)都是單獨(dú)建設(shè)或者是已經(jīng)投入運(yùn)營(yíng)，因此本文提供了一個(gè)視頻監(jiān)控管理平臺(tái)和算法分析平臺(tái)共存的智能監(jiān)控系統(tǒng)架構(gòu)，如圖2 所示，下面對(duì)系統(tǒng)架構(gòu)各個(gè)層級(jí)進(jìn)行介紹。

圖2 智能監(jiān)控系統(tǒng)架構(gòu)圖

2.1 基礎(chǔ)層

基礎(chǔ)層包含了網(wǎng)絡(luò)系統(tǒng)、服務(wù)機(jī)房、錄像存儲(chǔ)設(shè)備以及各類(lèi)前端監(jiān)控?cái)z像機(jī)等。其中監(jiān)控設(shè)備主要有槍機(jī)、球機(jī)、半球等多種形式，目前常見(jiàn)的數(shù)字化監(jiān)控設(shè)備主要通過(guò)網(wǎng)絡(luò)協(xié)議TCP/IP 接入視頻監(jiān)控管理平臺(tái)并通過(guò)POE供電，大大簡(jiǎn)化了基礎(chǔ)層所需的建設(shè)內(nèi)容。但圖像識(shí)別技術(shù)對(duì)畫(huà)面的清晰度和識(shí)別像素有一定要求，因此，在設(shè)計(jì)和實(shí)施過(guò)程中要注意配合算法要求的最小像素和識(shí)別距離，對(duì)于夜間環(huán)境則需要設(shè)備具有紅外或者補(bǔ)光燈來(lái)提升夜間監(jiān)控畫(huà)面的質(zhì)量，從而保障算法的準(zhǔn)確率。此外，基礎(chǔ)層涵蓋了系統(tǒng)運(yùn)行所需的服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)機(jī)房等數(shù)據(jù)中心基礎(chǔ)環(huán)境，為智能監(jiān)控平臺(tái)提供算力支持，良好的基礎(chǔ)設(shè)施是業(yè)務(wù)連續(xù)性保障的基礎(chǔ)。

2.2 平臺(tái)層

2.2.1視頻監(jiān)控平臺(tái)

視頻監(jiān)控管理平臺(tái)是一種專(zhuān)門(mén)用于管理和控制視頻監(jiān)控系統(tǒng)的平臺(tái)，通過(guò)管理編碼設(shè)備，制定錄像計(jì)劃、抓圖計(jì)劃等，可以實(shí)現(xiàn)實(shí)時(shí)視頻監(jiān)控、錄像/圖片查看等功能，平臺(tái)主要功能如下：

設(shè)備管理：管理各種監(jiān)控設(shè)備和系統(tǒng)，包括攝像機(jī)、硬盤(pán)錄像機(jī)、監(jiān)控存儲(chǔ)等，實(shí)現(xiàn)設(shè)備到平臺(tái)的接入和網(wǎng)絡(luò)配置。

錄像計(jì)劃：為監(jiān)控點(diǎn)配置存儲(chǔ)和錄像計(jì)劃，使其按照計(jì)劃時(shí)間進(jìn)行錄像?？蔀椴煌脑O(shè)備配置不同的錄像存儲(chǔ)計(jì)劃和存儲(chǔ)資源池。

視頻監(jiān)測(cè)：對(duì)于視頻資源的巡檢結(jié)果的應(yīng)用，如視頻圖像質(zhì)量監(jiān)測(cè)、設(shè)備在線監(jiān)測(cè)、錄像完整性監(jiān)測(cè)等。

存儲(chǔ)管理：負(fù)責(zé)對(duì)所有監(jiān)控點(diǎn)的錄像存儲(chǔ)進(jìn)行管理，包括存儲(chǔ)空間、存儲(chǔ)類(lèi)型、存儲(chǔ)資源池，錄像覆蓋策略等。

2.2.2智能分析平臺(tái)

智能分析平臺(tái)是基于視頻監(jiān)控平臺(tái)獲取視頻流，通過(guò)疊加不同人工智能算法，使得傳統(tǒng)視頻監(jiān)控系統(tǒng)能夠自動(dòng)分析理解視頻畫(huà)面中的內(nèi)容，并發(fā)出實(shí)時(shí)告警，該平臺(tái)提供的主要模塊有：

接入中心：負(fù)責(zé)將各種視頻監(jiān)控設(shè)備接入到平臺(tái)中，實(shí)現(xiàn)設(shè)備的統(tǒng)一管理和控制。接入中心支持多種廠家設(shè)備協(xié)議和接口，能夠接入不同廠家的各種視頻監(jiān)控設(shè)備，并對(duì)其進(jìn)行批量管理和參數(shù)配置。

應(yīng)用中心：向用戶提供多種智能視頻分析系統(tǒng)的智能應(yīng)用，對(duì)告警策略進(jìn)行應(yīng)用配置，比如人臉識(shí)別白名單庫(kù)、行為分析的告警信息內(nèi)容等，同時(shí)提供應(yīng)用服務(wù)的API接口方便客戶定制個(gè)性化場(chǎng)景。

算法中心：提供各種智能視頻分析算法，如人臉識(shí)別、行為分析、目標(biāo)檢測(cè)等。通過(guò)算法中心，用戶可以根據(jù)實(shí)際需求選擇不同的算法，對(duì)監(jiān)控視頻進(jìn)行分析和處理。

告警中心：負(fù)責(zé)告警規(guī)則的配置、接收和處理各種告警信息，包括：告警類(lèi)型、告警位置、告警時(shí)間、告警圖片等，并且可以通過(guò)郵件、短信或其他社交軟件發(fā)送告警通知。

管理中心：管理中心主要方便用戶對(duì)系統(tǒng)進(jìn)行全面管理和控制，從告警配置管理到平臺(tái)運(yùn)維的管理，負(fù)責(zé)對(duì)整個(gè)算法分析系統(tǒng)進(jìn)行管理和維護(hù)，包括：算法配置、服務(wù)器管理、用戶和權(quán)限的管理、日志管理、監(jiān)控管理等。

報(bào)表中心：負(fù)責(zé)對(duì)智能視頻分析系統(tǒng)的運(yùn)行數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析，生成各種報(bào)表和圖表，比如設(shè)備資源報(bào)表、告警統(tǒng)計(jì)報(bào)警、算法運(yùn)行報(bào)表等。用戶可以通過(guò)報(bào)表中心查看系統(tǒng)的運(yùn)行和告警情況等，為決策提供數(shù)據(jù)支持。

2.3 應(yīng)用層

應(yīng)用層是基于平臺(tái)層的功能模塊，通過(guò)各種智能監(jiān)控業(yè)務(wù)邏輯來(lái)處理和展示數(shù)據(jù)，如人臉識(shí)別、行為分析、告警通知等。這些應(yīng)用可以通過(guò)前端設(shè)備、WEB 頁(yè)面、APP 等方式向用戶進(jìn)行展示和交互。

2.4 管理層

管理層負(fù)責(zé)對(duì)整個(gè)智能監(jiān)控業(yè)務(wù)進(jìn)行管理和調(diào)度，包括設(shè)備管理、用戶管理、安全管理和系統(tǒng)監(jiān)控等方面。智能監(jiān)控業(yè)務(wù)規(guī)則和告警策略也在此進(jìn)行管理，以便對(duì)數(shù)據(jù)進(jìn)行篩選和應(yīng)用。

3 智能監(jiān)控體系

智能監(jiān)控體系是基于智能監(jiān)控系統(tǒng)構(gòu)建智能監(jiān)控業(yè)務(wù)的一套管理體系，該體系可以根據(jù)不同業(yè)務(wù)場(chǎng)景來(lái)部署所需算法，從而構(gòu)建各種應(yīng)用場(chǎng)景，下面介紹體系構(gòu)建的流程和幾個(gè)應(yīng)用場(chǎng)景。

3.1 體系構(gòu)建流程

第一步設(shè)備接入：首先明確需求，確定需要借助平臺(tái)算法進(jìn)行智能分析的環(huán)境。根據(jù)這個(gè)環(huán)境選擇合適的監(jiān)控設(shè)備接入到算法分析平臺(tái)。設(shè)備接入可通過(guò)視頻監(jiān)控管理平臺(tái)的接口直接獲取設(shè)備，也可直接將設(shè)備添加到算法分析平臺(tái)。

第二步告警配置：根據(jù)所需的分析算法，配置相應(yīng)的告警邏輯。比如算法分析的區(qū)域、算法分析的時(shí)間段、告警推送的時(shí)間段、告警的閾值、重復(fù)告警推送的頻率、接收告警的對(duì)象、告警的優(yōu)先級(jí)等等，形成一個(gè)完整的告警配置。

第三步告警呈現(xiàn)：平臺(tái)產(chǎn)生的告警可直接在算法分析平臺(tái)內(nèi)直接進(jìn)行呈現(xiàn)并處理。如果客戶有統(tǒng)一的告警管理平臺(tái)，則可將相應(yīng)的告警信息通過(guò)平臺(tái)接口推送到相應(yīng)的告警管理平臺(tái)，比如將告警內(nèi)容推送到企業(yè)微信或者飛書(shū)，讓人員能更及時(shí)的接收告警信息。

第四步告警測(cè)試：根據(jù)部署的告警邏輯和分析算法，主動(dòng)觸發(fā)告警后驗(yàn)證告警配置的正確性。如未按預(yù)期觸發(fā)告警則需要再次進(jìn)行調(diào)試?；谝陨系母婢壿嬋邕\(yùn)行正常，則可進(jìn)入正常的運(yùn)營(yíng)階段。

第五步告警處理：在運(yùn)營(yíng)階段，如果產(chǎn)生了告警則需要安排人員進(jìn)行相應(yīng)的處置動(dòng)作，比如人工復(fù)核告警是否誤報(bào)，如果不是誤報(bào)則需要采取相應(yīng)的處置措施，形成完整一條告警業(yè)務(wù)流。

第六步數(shù)據(jù)分析：在運(yùn)營(yíng)中可通過(guò)報(bào)表中心對(duì)相應(yīng)的數(shù)據(jù)分析，如果多次誤報(bào)則需要對(duì)算法或者告警邏輯進(jìn)行優(yōu)化，如果一類(lèi)告警頻繁出現(xiàn)則加強(qiáng)相關(guān)的管理工作等等。

3.2 應(yīng)用場(chǎng)景

按照上述流程完成業(yè)務(wù)構(gòu)建后，便可結(jié)合人工智能技術(shù)應(yīng)用至多個(gè)領(lǐng)域場(chǎng)景中，從而形成全方位的智能監(jiān)控解決方案，表1 所示為一些常見(jiàn)的場(chǎng)景舉例。

表1 智能監(jiān)控應(yīng)用場(chǎng)景

3.3 提升和發(fā)展方向

算法準(zhǔn)確率的提升。算法準(zhǔn)確率是智能監(jiān)控業(yè)務(wù)的核心價(jià)值所在，如果算法準(zhǔn)確率不及預(yù)期，則會(huì)大大降低該業(yè)務(wù)的價(jià)值。一個(gè)成熟的算法模型需要通過(guò)海量數(shù)據(jù)的采集、標(biāo)注、訓(xùn)練迭代，但某些需要識(shí)別預(yù)警的場(chǎng)景較為復(fù)雜且為小概率事件，能夠提供的數(shù)據(jù)有限，在一定程度上影響了算法的迭代和優(yōu)化。在不同客戶的應(yīng)用場(chǎng)景中可能需要定制不同的算法，在算法訓(xùn)練上可能不能提供足夠的數(shù)據(jù)支撐，從而導(dǎo)致準(zhǔn)確率不足，這就需要用戶和供應(yīng)商雙方約定一個(gè)算法準(zhǔn)確率，共同協(xié)作來(lái)提高算法準(zhǔn)確率。

開(kāi)放性提升。隨著業(yè)務(wù)需求的復(fù)雜性和多樣性，對(duì)開(kāi)放性集成系統(tǒng)的需求也在增大，用戶更需要統(tǒng)一的集成管理平臺(tái)，實(shí)現(xiàn)視頻基礎(chǔ)組件模塊化服務(wù)和開(kāi)放接口，讓所有的視頻相關(guān)業(yè)務(wù)應(yīng)用可以像積木一樣快速開(kāi)發(fā)、安裝和應(yīng)用，而不是維護(hù)多套功能重復(fù)的系統(tǒng)。

云計(jì)算服務(wù)。隨著云計(jì)算技術(shù)的不斷發(fā)展，視頻監(jiān)控領(lǐng)域正逐漸向云端轉(zhuǎn)移。未來(lái)要將算法分析環(huán)節(jié)向云端適配，能提供公有云服務(wù)的廠商會(huì)贏得更多的市場(chǎng)，在提供強(qiáng)大的數(shù)據(jù)存儲(chǔ)和處理能力的同時(shí)，提升算法配置的靈活性和擴(kuò)展性。

4 結(jié)語(yǔ)

隨著AI 技術(shù)在視頻監(jiān)控領(lǐng)域的成熟，給傳統(tǒng)的監(jiān)控業(yè)務(wù)帶來(lái)了巨大變化，未來(lái)更多企業(yè)和政府將會(huì)利用人工智能技術(shù)來(lái)重構(gòu)傳統(tǒng)視頻監(jiān)控業(yè)務(wù)。各個(gè)行業(yè)都可以實(shí)現(xiàn)智能化識(shí)別、預(yù)測(cè)預(yù)警、自主決策及響應(yīng)、云端部署遠(yuǎn)程監(jiān)控等方面的技術(shù)性突破。視頻監(jiān)控將突破傳統(tǒng)安防領(lǐng)域的邊界，智能監(jiān)控將會(huì)在城市治理、零售、能源、交通等多個(gè)領(lǐng)域發(fā)揮更多的價(jià)值。