王 樂(lè)

在互聯(lián)網(wǎng)、大數(shù)據(jù)以及人工智能等新一代信息技術(shù)發(fā)展環(huán)境下，越來(lái)越多的政府和企事業(yè)單位都部署了視頻會(huì)議系統(tǒng)和視頻監(jiān)控聯(lián)網(wǎng)平臺(tái)，實(shí)現(xiàn)視頻會(huì)議和視頻監(jiān)控中的視頻流數(shù)據(jù)和圖像數(shù)據(jù)的交換與共享至關(guān)重要，因此需要建立一種統(tǒng)一的大數(shù)據(jù)交換與共享平臺(tái)，來(lái)支持視頻會(huì)議系統(tǒng)和視頻監(jiān)系統(tǒng)與不同的業(yè)務(wù)管理系統(tǒng)連接，在權(quán)限許可的前提下能夠?qū)崿F(xiàn)各個(gè)業(yè)務(wù)之間不同結(jié)構(gòu)和格式的數(shù)據(jù)的交換。數(shù)據(jù)傳輸與處理的規(guī)則由用戶在使用平臺(tái)過(guò)程中設(shè)置，數(shù)據(jù)交換和共享操作由平臺(tái)根據(jù)規(guī)則統(tǒng)一調(diào)度執(zhí)行。系統(tǒng)在設(shè)計(jì)方面應(yīng)盡可能降低數(shù)據(jù)處理模塊與系統(tǒng)本身的耦合度，提高可擴(kuò)展性，以降低維護(hù)和升級(jí)的成本。

1 視頻數(shù)據(jù)和圖像數(shù)據(jù)簡(jiǎn)介

在視頻會(huì)議和視頻監(jiān)控中，視頻終端通過(guò)將視頻流數(shù)據(jù)及圖像數(shù)據(jù)進(jìn)行編碼打包，在網(wǎng)絡(luò)的應(yīng)用下實(shí)現(xiàn)傳送，遠(yuǎn)端在接受到數(shù)據(jù)后對(duì)其進(jìn)行拆包及解碼，即可以將接受到的視頻以及圖像信號(hào)還原，并實(shí)現(xiàn)到外設(shè)設(shè)備的傳遞。在此過(guò)程中傳送的內(nèi)容包括有視頻流數(shù)據(jù)以及圖像數(shù)據(jù)，傳送中使用的硬件包括有攝像頭、顯示器以及路由器等。通過(guò)視頻圖像數(shù)據(jù)的傳輸與共享，能夠?qū)崿F(xiàn)視頻會(huì)議應(yīng)用中的會(huì)議主持、音視頻共享、電子白板、以及共享電腦桌面等多種功能，以及實(shí)現(xiàn)視頻監(jiān)控應(yīng)用中的治安防控、情報(bào)研判、智慧交通、數(shù)字城管等功能，從而有效滿足當(dāng)前信息傳輸共享及分析需求。

2 基于視頻圖像數(shù)據(jù)交換與共享平臺(tái)的主要功能

數(shù)據(jù)交換與共享平臺(tái)主要包括視頻圖像數(shù)據(jù)資源目錄管理、視頻圖像數(shù)據(jù)采集、視頻圖像數(shù)據(jù)質(zhì)量管理、視頻圖像數(shù)據(jù)交換共享功能。

1）視頻圖像數(shù)據(jù)資源目錄的統(tǒng)一管理：支持統(tǒng)一的元數(shù)據(jù)管理，包括元數(shù)據(jù)的模型設(shè)計(jì)、模型審核、模型實(shí)施、模型驗(yàn)證，以及模型版本管理、關(guān)系管理等；同時(shí)支持資源的檢索與定位，便于服務(wù)的重用與維護(hù)。

2）靈活全面的視頻圖像數(shù)據(jù)采集：平臺(tái)采用調(diào)度中心+管理中心相結(jié)合的分布式數(shù)據(jù)采集處理架構(gòu)，支持多樣化的采集策略和多種抽取、匯總方式，可視化的任務(wù)編排、規(guī)則定義和發(fā)布。針對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化資源，以數(shù)據(jù)映射、數(shù)據(jù)裁剪、數(shù)據(jù)過(guò)濾的工具化手段進(jìn)行數(shù)據(jù)處理。

3）視頻圖像數(shù)據(jù)質(zhì)量集中式管控：支持?jǐn)?shù)據(jù)質(zhì)量核查規(guī)則配置與管理，在數(shù)據(jù)采集清洗過(guò)程中完成數(shù)據(jù)質(zhì)量核查與告警；對(duì)數(shù)據(jù)質(zhì)量告警的監(jiān)控和數(shù)據(jù)質(zhì)量問(wèn)題的可視化呈現(xiàn)；提供知識(shí)庫(kù)管理和查詢，支持大數(shù)據(jù)人車(chē)物特征分析和行為分析等。

4）安全便捷的視頻圖像數(shù)據(jù)交換共享服務(wù)：支持以數(shù)據(jù)服務(wù)的形式封裝數(shù)據(jù)，提供統(tǒng)一的數(shù)據(jù)開(kāi)發(fā)共享能力；數(shù)據(jù)服務(wù)封裝和開(kāi)發(fā)，支持REST協(xié)議、FTP 協(xié)議和數(shù)據(jù)庫(kù)等各類接口；支持服務(wù)發(fā)布、訂閱及審核管理，同時(shí)支持對(duì)服務(wù)調(diào)用情況進(jìn)行監(jiān)控，以確保平臺(tái)采集管理的數(shù)據(jù)正常實(shí)現(xiàn)交換共享。

3 基于視頻圖像數(shù)據(jù)交換與共享平臺(tái)主要研發(fā)內(nèi)容及關(guān)鍵技術(shù)點(diǎn)

3.1 分布式任務(wù)調(diào)度平臺(tái)的研發(fā)

分布式任務(wù)調(diào)度平臺(tái)主要任務(wù)是實(shí)現(xiàn)視頻數(shù)據(jù)和圖像數(shù)據(jù)的收集，采用成熟大數(shù)據(jù)資源調(diào)度系統(tǒng)架構(gòu)，具有易擴(kuò)展、快捷、可靠和安全移植的特性，功能包括動(dòng)態(tài)修改任務(wù)狀態(tài)，啟動(dòng)/停止任務(wù)，注冊(cè)中心，彈性擴(kuò)容縮容，故障轉(zhuǎn)移，任務(wù)超時(shí)控制，任務(wù)失敗告警，分片廣播任務(wù)，數(shù)據(jù)通信加密，用戶管理和權(quán)限控制等。

平臺(tái)設(shè)計(jì)思想中是抽象分析調(diào)度行為，并將其建構(gòu)為“調(diào)度中心”公共平臺(tái)，只能夠完成調(diào)度請(qǐng)求發(fā)送工作，本身不具備業(yè)務(wù)邏輯。針對(duì)任務(wù)可以將其抽象為分散TaskHandler，“執(zhí)行器”可以完成調(diào)度請(qǐng)求以及管理，同時(shí)也可以實(shí)現(xiàn)對(duì)TaskHandler 中業(yè)務(wù)邏輯的執(zhí)行處理。在這一平臺(tái)中可以實(shí)現(xiàn)“調(diào)度”以及“任務(wù)”的解耦，這一處理有助于提升系統(tǒng)運(yùn)行穩(wěn)定性，也可以提高其擴(kuò)展性。

平臺(tái)由調(diào)度管理中心和執(zhí)行器組成。調(diào)度中心負(fù)責(zé)管理調(diào)度信息，依照接收到的調(diào)度請(qǐng)求，實(shí)現(xiàn)調(diào)度管理系統(tǒng)和任務(wù)的解耦，在此過(guò)程中也就能夠顯著提升系統(tǒng)穩(wěn)定性。另外任務(wù)模塊對(duì)于調(diào)度管理系統(tǒng)性能不會(huì)具有太大影響作用，可實(shí)現(xiàn)對(duì)可視化及動(dòng)態(tài)調(diào)度信息的管理，在平臺(tái)上完成系統(tǒng)的新建、刪除等操作，支持監(jiān)控調(diào)度結(jié)果以及執(zhí)行日志，支持執(zhí)行器Failover，所有上述操作都會(huì)實(shí)時(shí)生效。執(zhí)行器的主要工作是完成調(diào)度請(qǐng)求的接收，也可以實(shí)現(xiàn)任務(wù)邏輯的執(zhí)行，任務(wù)模塊的主要工作即為執(zhí)行任務(wù)等，在系統(tǒng)運(yùn)行中便于實(shí)施開(kāi)發(fā)以及維護(hù)。

3.2 快速開(kāi)發(fā)平臺(tái)的研發(fā)

快速開(kāi)發(fā)平臺(tái)的研發(fā)主要是為了規(guī)范開(kāi)發(fā)代碼質(zhì)量，加快開(kāi)發(fā)進(jìn)度，節(jié)約開(kāi)發(fā)成本，從而提升研發(fā)人員的開(kāi)發(fā)效率，為公司后續(xù)更多的項(xiàng)目開(kāi)發(fā)提供基礎(chǔ)平臺(tái)支持?？焖匍_(kāi)發(fā)平臺(tái)基于經(jīng)典技術(shù)（Spring Cloud、Spring MVC、Apache Shiro、MyBatis、Beetl、Bootstrap）組合，方便的在線代碼生成功能，核心模塊有組織機(jī)構(gòu)、角色用戶、菜單及按鈕授權(quán)、數(shù)據(jù)權(quán)限、系統(tǒng)參數(shù)、內(nèi)容管理、工作流等。采用松耦合設(shè)計(jì)，界面無(wú)刷新，一鍵換膚，眾多賬號(hào)安全設(shè)置和密碼策略，在線定時(shí)任務(wù)配置，支持集群，支持SAAS，支持多數(shù)據(jù)源。

平臺(tái)中的模塊分項(xiàng)目，松耦合方便模塊增減和模塊升級(jí)。平臺(tái)有靈活的權(quán)限授權(quán)模塊，支持 CAS單點(diǎn)登錄，優(yōu)化用戶數(shù)據(jù)權(quán)限，不僅僅是角色，顆粒度細(xì)化到每個(gè)人員的身上。使用Spring Cloud微服務(wù)，最小化內(nèi)核，統(tǒng)一配置中心，統(tǒng)一授權(quán)認(rèn)證中心。平臺(tái)中的所有請(qǐng)求參數(shù)獲取，均通過(guò) XSS跨站腳本過(guò)濾方法。實(shí)現(xiàn)樂(lè)觀鎖，必要情況下使用，提高數(shù)據(jù)安全性。支持手機(jī)或平板訪問(wèn)，響應(yīng)式樣式、響應(yīng)式布局，根據(jù)屏幕分辨率自適應(yīng)控件布局。支持國(guó)際化，輕松實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)的中英文信息展示。

3.3 大數(shù)據(jù)平臺(tái)和視頻結(jié)構(gòu)化技術(shù)的研發(fā)

大數(shù)據(jù)平臺(tái)基于成熟的Hadoop 基礎(chǔ)框架研發(fā)，運(yùn)用ElasticSearch 搜索引擎和Flink 流計(jì)算引擎等前沿技術(shù)，來(lái)進(jìn)行視頻會(huì)議和視頻監(jiān)控中產(chǎn)生的PB、EB 乃至ZB 級(jí)別的視頻、圖像和文件等數(shù)據(jù)的存儲(chǔ)、查詢和分析，在應(yīng)用中的特點(diǎn)主要有價(jià)值密度低、數(shù)據(jù)類型繁多以及處理速度秒級(jí)等。使用的關(guān)鍵技術(shù)包括大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)存儲(chǔ)技術(shù)、大數(shù)據(jù)查詢和實(shí)時(shí)計(jì)算技術(shù)。

視頻結(jié)構(gòu)化在視頻處理中屬于是一項(xiàng)提取技術(shù)，依照語(yǔ)義關(guān)系實(shí)現(xiàn)對(duì)視頻內(nèi)容的分析，并將其實(shí)施文本信息轉(zhuǎn)化，以能夠被計(jì)算機(jī)和人理解，主要采用的處理方法為特征提取以及對(duì)象識(shí)別等。在公共安全監(jiān)控過(guò)程中，視頻結(jié)構(gòu)化能將監(jiān)控視頻圖像轉(zhuǎn)化為公安實(shí)戰(zhàn)過(guò)程中的所需情報(bào)，針對(duì)視頻數(shù)據(jù)也就可以實(shí)現(xiàn)情報(bào)以及信息轉(zhuǎn)化。在視頻結(jié)構(gòu)技術(shù)的應(yīng)用下，在視頻會(huì)議過(guò)程中也能夠解析成圖像和結(jié)構(gòu)化的數(shù)據(jù)，實(shí)現(xiàn)參會(huì)人員、各會(huì)場(chǎng)參會(huì)人數(shù)等基礎(chǔ)信息的自動(dòng)識(shí)別，被集成到相關(guān)業(yè)務(wù)系統(tǒng)顯著提升視頻圖像大數(shù)據(jù)的應(yīng)用作用。

3.4 數(shù)據(jù)交換共享服務(wù)接口的研發(fā)

數(shù)據(jù)交換與共享平臺(tái)的接口包括采集接口、數(shù)據(jù)服務(wù)接口、級(jí)聯(lián)接口和分析接口，采集接口的應(yīng)用目的是實(shí)現(xiàn)視頻圖像信息采集系統(tǒng)等數(shù)據(jù)交互，數(shù)據(jù)服務(wù)接口的作用是實(shí)現(xiàn)平臺(tái)和辦公系統(tǒng)等的數(shù)據(jù)交互，級(jí)聯(lián)接口的作用是實(shí)現(xiàn)平臺(tái)中上下級(jí)數(shù)據(jù)交互，分析接口的作用即為平臺(tái)與視頻圖像分析系統(tǒng)之間數(shù)據(jù)的交互。

平臺(tái)接口協(xié)議結(jié)構(gòu)定義是建立在REST 架構(gòu)上，采用HTTP 的方法有效實(shí)現(xiàn)REST 服務(wù)，并可以采用JSON 實(shí)現(xiàn)消息體封裝，同時(shí)平臺(tái)也支持FTP 協(xié)議和數(shù)據(jù)庫(kù)接口，支持服務(wù)接口發(fā)布與訂閱管理，支持對(duì)服務(wù)調(diào)用情況進(jìn)行監(jiān)控，以確保平臺(tái)的數(shù)據(jù)準(zhǔn)確實(shí)現(xiàn)交換共享。

4 結(jié)束語(yǔ)

真視通云視頻工程實(shí)驗(yàn)室研發(fā)的基于視頻圖像數(shù)據(jù)交換與共享平臺(tái)是集開(kāi)發(fā)、配置、部署、管理、監(jiān)控、安全于一體的數(shù)據(jù)交換全生命周期管理的數(shù)據(jù)交換平臺(tái)。平臺(tái)可快速構(gòu)建、運(yùn)行和管理分布式應(yīng)用系統(tǒng)之間、云環(huán)境下應(yīng)用系統(tǒng)之間等數(shù)據(jù)交換共享任務(wù)，尤其適用于跨部門(mén)、跨地域、跨層級(jí)的視頻圖像數(shù)據(jù)交換共享應(yīng)用。