□ 文 /高靖

隨著城市視頻監(jiān)控系統(tǒng)的大規(guī)模部署,視頻監(jiān)控探頭已深入城市各個毛細血管，在公安天網(wǎng)、智能交通、政府監(jiān)管、企業(yè)運營等各行各業(yè)產(chǎn)生大量的監(jiān)控視頻數(shù)據(jù)。以公安天網(wǎng)建設為例，一個中小型城市部署安裝一萬路高清前端探頭，按三個月為一個存儲周期，則需要36PB存儲空間，相當于兩個淘寶帝國的存儲需求。而龐大的視頻數(shù)據(jù)存儲在存儲設備中，屬于低密度，低價值，往往只有在需要調(diào)閱的時候才能艱難的發(fā)揮其作用。

然而隨著邊緣計算、云計算、大數(shù)據(jù)技術的不斷深入，面向大規(guī)模實時視頻監(jiān)控數(shù)據(jù)和歷史視頻圖像數(shù)據(jù)的處理方式也進入了更深層次的演變：

實時視頻在傳輸過程中，通過邊緣計算，提供就近計算和服務，對視頻流數(shù)據(jù)進行實時的時空信息標注，字符提取、特征提取，目標分類，結構化標注等圖像處理工作，并快速傳輸給中心計算處理。

計算中心對海量前端傳輸回來的視頻圖像數(shù)據(jù)，提供云計算能力，快速高效并發(fā)的對這些初步結構化的信息進行二次加工，精細化的分類和細節(jié)化結構化信息，形成時空維度的目標動態(tài)數(shù)據(jù)。

大數(shù)據(jù)技術則依據(jù)業(yè)務邏輯，模型，規(guī)則等方法，對動態(tài)數(shù)據(jù)與自身檔案庫存放的靜態(tài)數(shù)據(jù)進行進一步的碰撞，合并，篩選，快速輸出業(yè)務期望的結果。

因此，邊緣計算，云計算提供的是兩種不同方式的視頻結構化手段，大數(shù)據(jù)技術，則是對視頻結構化后產(chǎn)生結果的進一步歸納總結。

視頻結構化技術介紹

視頻結構化技術在安防行業(yè)，特別是視頻監(jiān)控行業(yè)中得到了廣泛的應用，主要的應用場景有：一，運動目標結構化描述，代表技術視頻濃縮摘要技術；二，車輛結構化描述，代表技術車牌識別，車型車系識別等；三，人臉結構化描述，代表技術人臉檢測和人臉識別。

運動目標結構化描述提取視頻中的運動目標（人、車和物）及它們的屬性（顏色、速度、大小、方向、類型等）；主要應用于平安城市等監(jiān)控范圍較大的場景；

前景檢測技術

首先利用連續(xù)輸入的圖像序列，訓練得到一個背景圖像，如下圖：

然后把需要檢測的視頻數(shù)據(jù)中的一幀圖像和背景圖像進行比對，獲取差異的像素點，然后對這些像素點進行連通性標記，這些標記的區(qū)域就是目標，根據(jù)標記區(qū)域，可以把目標從圖像中摳出來；

最后，使用第一幀圖像標記的區(qū)域（即初始的目標）作為跟蹤的初始值，然后對這些目標進行跟蹤，形成連續(xù)的跟蹤軌跡，即獲取到目標的運動軌跡序列。

視頻摘要和濃縮技術

利用前景檢測技術，可以把視頻中運動目標提取出來，其中包含目標運動軌跡序列和目標圖像序列，同時識別出這些目標的屬性（顏色、速度、大小、方向、類型）；在提取目標的過程中，可獲取到目標出現(xiàn)和消失時圖像數(shù)據(jù)在文件中的偏移位置；

視頻摘要技術，使用某種策略，在目標圖像序列中取一張圖片代表這個目標，以圖片的方式把所有目標展示給用戶；用戶可以根據(jù)條件（顏色、速度、大小、方向、類型）查找目標，查找到的結果是符合條件的目標的圖片，且可以觀看目標出現(xiàn)前后的原始視頻，因為在目標提取過程中，已經(jīng)獲取到目標出現(xiàn)和消失時圖像數(shù)據(jù)在文件中的偏移位置；

視頻濃縮技術是對視頻內(nèi)容的一個簡單概括，以自動或半自動的方式，通過對視頻中的運動目標進行算法分析，提取運動目標，然后對各個目標的運動軌跡進行分析，將不同的目標拼接到一個共同的背景場景中，并將它們以某種方式進行組合，生成新的濃縮后視頻的一種技術；

下圖中，input video表示原始視頻，videosynopsis表示濃縮視頻。在原始視頻中，在t1時候出現(xiàn)一個人，在圖t2時候出現(xiàn)一只鳥，通過視頻濃縮技術，可以把不同時候出現(xiàn)的目標合并到同一時候出現(xiàn)，這樣大大節(jié)省瀏覽視頻的時間；

事件報警，用戶首先設定某些規(guī)則（如，括絆線入侵、區(qū)域入侵、穿越圍欄、快速移動、徘徊檢測、逆行檢測等），如果視頻中的目標觸發(fā)了這些規(guī)則，就抓拍一張圖片并附帶報警信息上報給用戶；而事件報警中的大部分事件，也都是基于前景檢測檢測出來的運動軌跡實現(xiàn)的。事件報警一般用于實時視頻的分析。

車輛結構化描述

車輛結構化描述是提取視頻中車輛的屬性，如車牌、車型、車輛品牌、車系、年檢標、掛件、紙巾盒等，主要應用于交通場景，車輛在畫面中必須滿足一定的尺寸識別效果才比較好。

2010年左右，主流的車輛結構化技術是視頻卡口抓拍技術，與傳統(tǒng)的線圈抓拍技術效果一樣，車輛一經(jīng)過攝像機監(jiān)控范圍的某個位置，就會產(chǎn)生一張包含該車輛的圖片。單單只抓拍的車輛的圖片還不能滿足用戶的需求，用戶對自動識別車牌號碼的需求很大；接下來的幾年，隨著很多公司對車牌識別技術研發(fā)投入的加大，車牌識別技術迅速發(fā)展，準確率大幅提升；卡口攝像機在抓拍車輛的同時自動識別出車牌，并把這些結果發(fā)送給后端保存；于此同時，電子警察攝像機也慢慢的發(fā)展起來了，電子警察攝像機除了識別車牌號碼，還能獲取車牌顏色和車身顏色；利用車輛跟蹤技術，結合信號燈的信號，對車輛的行為進行判斷（如，闖紅燈、逆行、壓線、違章變道和不按車道行駛等），如果車輛違章，就會抓拍多張圖片，作為車輛違章的證據(jù)；

近年來，對車輛的結構化描述越來越精細，能夠獲取車輛的品牌、車系、年檢標、掛件、紙巾盒等信息，其中車型車系的識別涵蓋了絕大多數(shù)的品牌和子品牌。 用戶可根據(jù)目標車型的各項指標（如車型、車牌、車牌顏色、車輛顏色車牌號以及卡口、拍攝時間等）設置搜索條件，查詢車輛信息。 利用這些結構化信息，可以偵測出假牌車、套牌車、故意遮擋、污損車牌、拆卸車牌等違法行為。

目前，對車輛的車型車系等信息識別過程是在后端服務器中執(zhí)行的，前端攝像機產(chǎn)生的卡口圖片傳輸?shù)胶蠖朔罩?，進行二次識別；在不久的將來，車型車系等信息的識別應該會移到前端執(zhí)行，只把識別結果（即結構化信息）傳輸?shù)胶蠖朔掌?，由后端做其它更深層次的應用?/p>

人臉結構化描述

人臉結構化描述是提取視頻中人的屬性，如這個人是誰、性別、年齡、戴眼鏡、胡子、戴帽子、戴口罩等信息，主要應用于人臉卡口場景，人臉在畫面中的像素必須足夠大；現(xiàn)在人的結構化描述的主要技術是人臉檢測和人臉識別。人臉檢測就是利用人臉檢測算法從視頻中檢測出人臉的位置和大小；人臉識別分為三個步驟：一，根據(jù)檢測的結構摳出人臉小圖；二，從人臉小圖獲取特征碼（用特征向量來表示人臉圖像）；三，與人臉庫（如，歷史庫、布控庫等）比對。人臉識別系統(tǒng)如下圖：

在企業(yè)、住宅的安全管理中，對一些敏感人員布控，一旦發(fā)現(xiàn)可疑人物進去，系統(tǒng)自動報警，并提示安保人員；可應用公安、司法和刑偵，針對一些人員密集區(qū)域（如車站、地鐵站、機場等）的關鍵出入口、通道等卡口位置坐人臉識別，實現(xiàn)搜捕嫌疑犯、逃犯等；在重要通關口岸的身份驗證，主要實現(xiàn)對進出口岸人員和電子護照及身份證等信息的核實和確認。

視頻結構化的產(chǎn)品化探討

一方面隨著GPU/FPGA等人工智能AI芯片的演進和技術發(fā)展，及深度學習框架在工程化技術方面的成熟，AI芯片和前端IPC的融合是大勢所趨；另一方面在各地實際項目中建設邊緣節(jié)點（含多維感知接入、存儲和視頻智能解析），對視頻和多維數(shù)據(jù)進行就近的存儲、清洗和結構化分析，有效的降低大量視頻流對網(wǎng)絡和集中式的數(shù)據(jù)中心的要求。視頻結構化的前移是未來的一個重大方向，前端監(jiān)控探頭，計算節(jié)點將不斷的升級，融入大量視頻計算能力，對視頻圖像非結構化信息實現(xiàn)實時，敏捷的結構化處理。支持提供包括車輛二次分析卡口、人臉識別卡口、多目標提取卡口等多樣化智能安防產(chǎn)品。

中心產(chǎn)品將前端小型存儲，中心計算集群能力進一步升級，搭載深度學習技術和人工智能算法技術，提供GPU集群化的云計算產(chǎn)品，實現(xiàn)對海量數(shù)據(jù)強大而高效的并行計算，達到能分析人、車、行為多種價值特征的高品質(zhì)產(chǎn)品。

支持提供：

◆人員：顏色、大小、方向、速度、性別、年齡段等；

◆車輛：品牌、子品牌、年款、車牌，顏色、類別、車檢標、遮陽板、掛件、擺件、整車圖片特征等標簽對象，能識別近百余種品牌上千種車型等；

◆行為：安全帶、打手機、走路、騎電動車/摩托車、騎自行車、騎三輪車等。