文/胡明舒

視頻結(jié)構(gòu)化是廣泛應(yīng)用的視頻智能分析和語義識(shí)別技術(shù)，如對(duì)車牌的識(shí)別分析目前已經(jīng)比較成熟，但這類特定目標(biāo)分析對(duì)于前端場景有嚴(yán)格要求；而對(duì)于普通的視頻場景，也需要有一種通用、普適的“結(jié)構(gòu)化分析”技術(shù)對(duì)其中的人車等圖元信息進(jìn)行簡單摘要和結(jié)構(gòu)化處理、區(qū)分歸類對(duì)象、和進(jìn)行標(biāo)簽特征描述；視頻摘要濃縮就是此類技術(shù)的典型代表。

解決方案的現(xiàn)況

視頻圖像數(shù)據(jù)作為非結(jié)構(gòu)化數(shù)據(jù)，只有實(shí)現(xiàn)結(jié)構(gòu)化處理，才能將其中有價(jià)值的信息直觀、高效地提供給各個(gè)業(yè)務(wù)需求部門。

城市公共場所往往有成千上萬路監(jiān)控?cái)z像頭遍布街頭，晝夜不停地監(jiān)視和錄像，在改善社會(huì)治安的同時(shí)，也產(chǎn)生出海量的視頻需要監(jiān)控管理平臺(tái)處理。要對(duì)這些海量視頻通過人工進(jìn)行重點(diǎn)圖像的抓拍，困難很大。特別是在一線警力有限的情況下，面對(duì)龐大的視頻數(shù)量，即使出動(dòng)大量警力，采用“人海戰(zhàn)術(shù)”，但受制于肉眼識(shí)別勞動(dòng)強(qiáng)度的極限，仍然無法保證視頻人工查找的準(zhǔn)確性和時(shí)效性，尤其出現(xiàn)突發(fā)緊急案件時(shí)，往往會(huì)貽誤最佳破案時(shí)機(jī)，導(dǎo)致相關(guān)情報(bào)研判和案件偵破的響應(yīng)速度越來越慢。

理想情況是一旦有重要事件發(fā)生，系統(tǒng)就可在事后能快速查找到關(guān)鍵的“人”、“車”等視圖線索信息。針對(duì)海量監(jiān)控視頻錄像的事后分析，傳統(tǒng)以人海戰(zhàn)術(shù)為主的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰(zhàn)，急需一種更為高效的、自動(dòng)的、智能的系統(tǒng)實(shí)現(xiàn)上述需求。

圖1 海量視頻結(jié)構(gòu)化處理邏輯

在安防大數(shù)據(jù)背景下，大華推出視頻云摘要解決方案，系統(tǒng)可以快速分析提取海量視頻錄像文件，對(duì)其中的人、車相關(guān)屬性信息進(jìn)行精細(xì)化的標(biāo)簽和歸類。

通過全局“人、車”目標(biāo)檢索和濃縮視頻快速預(yù)覽-快速定位涉案的視圖線索，縮小查看范圍的功能，可極大地減輕專業(yè)圖偵/刑偵隊(duì)伍和一線民警的工作負(fù)荷，大大提高視頻的分析和利用效率。

系統(tǒng)結(jié)構(gòu)

目前對(duì)平安城市的海量監(jiān)控視頻最典型的公安業(yè)務(wù)應(yīng)用就是視頻偵查。視頻偵查業(yè)務(wù)有這幾個(gè)特點(diǎn)：重事后錄像分析；確定時(shí)間地點(diǎn)后確定視頻點(diǎn)位范圍和錄像時(shí)間進(jìn)行分析；需要快速排查分析。

基于云計(jì)算的大華視頻云摘要系統(tǒng)，利用云計(jì)算技術(shù)提供分布式數(shù)據(jù)庫、分布式視頻處理、分布式消息隊(duì)列以及資源管理接口。在此基礎(chǔ)上，對(duì)接云存儲(chǔ)和智能算法提供視頻智能分析和濃縮摘要服務(wù)。結(jié)構(gòu)化數(shù)據(jù)被存放至云存儲(chǔ)和分布式數(shù)據(jù)庫，為大數(shù)據(jù)平臺(tái)的通用搜索服務(wù)和數(shù)據(jù)碰撞查詢提供數(shù)據(jù)來源。系統(tǒng)利用云計(jì)算的高性能解決了傳統(tǒng)視頻濃縮摘要的性能問題；利用云計(jì)算系統(tǒng)的可靠性設(shè)計(jì)解決了視頻處理服務(wù)的業(yè)務(wù)持續(xù)可用性。

圖2 系統(tǒng)邏輯結(jié)構(gòu)圖

視頻云摘要系統(tǒng)對(duì)接大華云存儲(chǔ)系統(tǒng)，在云存儲(chǔ)基礎(chǔ)上實(shí)現(xiàn)視頻數(shù)據(jù)的結(jié)構(gòu)化分析（濃縮、摘要）功能。該系統(tǒng)包括并行計(jì)算框架、智能算法庫、接口層、業(yè)務(wù)功能等部分。

系統(tǒng)功能

功能概述

云摘要系統(tǒng)將視頻文件通過分布式計(jì)算框架進(jìn)行并行計(jì)算，極大縮短計(jì)算任務(wù)的計(jì)算時(shí)間，提高系統(tǒng)的響應(yīng)速度；系統(tǒng)整體計(jì)算性能可以通過增加集群的數(shù)量進(jìn)行線性增加，從而可以滿足隨著非結(jié)構(gòu)化數(shù)據(jù)規(guī)模的增大而不斷提高的視頻結(jié)構(gòu)化分析的性能要求。

系統(tǒng)的摘要功能可對(duì)視頻中的活動(dòng)目標(biāo)如人車等進(jìn)行截取（截圖保存），并會(huì)自動(dòng)產(chǎn)生對(duì)描述的結(jié)構(gòu)化描述信息；濃縮功能可去掉靜止場景的視頻，將視頻中運(yùn)動(dòng)目標(biāo)壓縮播放；摘要體現(xiàn)的是結(jié)構(gòu)化分析和海量的特征檢索瀏覽，濃縮體現(xiàn)的是對(duì)一段長時(shí)間錄像的快速觀看。

云摘要系統(tǒng)可獨(dú)立部署使用，帶有自有的web應(yīng)用界面，也可以直接被第三方應(yīng)用系統(tǒng)集成進(jìn)行使用。

圖3 云摘要系統(tǒng)登錄界面

視頻摘要-海量視頻秒級(jí)處理。云摘要系統(tǒng)的核心價(jià)值在于對(duì)海量視頻的高效率、彈性可擴(kuò)展的分析能力。

圖4 云摘要性能優(yōu)化方式

云摘要通過分布式架構(gòu)和算法優(yōu)化對(duì)整個(gè)摘要方案進(jìn)行了重定義：通過Hadoop計(jì)算框架，切片并發(fā)對(duì)視頻進(jìn)行摘要處理，消除視頻分析計(jì)算上的瓶頸；通過使用云存儲(chǔ)計(jì)算，革新錄像下載、上傳的處理效率，消除存儲(chǔ)IO上的瓶頸；通過優(yōu)化摘要算法和優(yōu)化摘要處理機(jī)制，實(shí)現(xiàn)對(duì)不同目標(biāo)篩選條件的實(shí)時(shí)結(jié)果生成，消除算法上的瓶頸。

最終系統(tǒng)可實(shí)現(xiàn)方案中部署1臺(tái)云計(jì)算一體機(jī)設(shè)備，便可完成2分鐘時(shí)間對(duì)1小時(shí)1080P高清視頻的端到端摘要處理；同時(shí)可以實(shí)現(xiàn)性能的線性擴(kuò)展，如下圖所示-增加云計(jì)算節(jié)點(diǎn)的數(shù)量，就可以實(shí)現(xiàn)對(duì)系統(tǒng)處理性能的線性擴(kuò)增（以24小時(shí)原始視頻的摘要處理時(shí)間為例）。

在實(shí)際使用海量視頻秒級(jí)處理功能時(shí)，系統(tǒng)可支持從云存儲(chǔ)和視頻基礎(chǔ)共享平臺(tái)中同步錄像通道，支持離線文件上傳入口，可以方便地手動(dòng)上需要處理的視頻文件，也可以方便的搜索歷史處理任務(wù)。

圖5 云摘要性能線性擴(kuò)展示例

視頻檢索-人車目標(biāo)全局定位。完成對(duì)海量視頻的摘要處理之后，可以獲取視頻的結(jié)構(gòu)化描述快照，進(jìn)而對(duì)視頻中的人、車進(jìn)行結(jié)構(gòu)化描述，對(duì)快照進(jìn)行二次檢索。

系統(tǒng)支持根據(jù)目標(biāo)類型（人或者車）、車身顏色、人顏色（上半身或下半身顏色）等結(jié)構(gòu)化數(shù)據(jù)進(jìn)行檢索，支持白、黑、紅、黃、綠、青、藍(lán)、紫多種顏色的辨別，檢索之后，會(huì)將匹配度高的目標(biāo)提前顯示。

視頻摘要可以根據(jù)目標(biāo)類型、顏色、大小、速度、時(shí)間、方向等維度搜索目標(biāo)對(duì)象。

圖6 摘要結(jié)果顯示

通過改變運(yùn)動(dòng)方向和目標(biāo)類型，系統(tǒng)實(shí)時(shí)展現(xiàn)搜索結(jié)果，同時(shí)摘要圖片可下載保存。

圖7 設(shè)置運(yùn)動(dòng)方向篩選目標(biāo)

全局搜索分析：云摘要系統(tǒng)可對(duì)所有的視頻摘要結(jié)果進(jìn)行統(tǒng)一的目標(biāo)檢索，在云摘要系統(tǒng)中，可以根據(jù)視頻查看單個(gè)文件的摘要結(jié)果，也可以根據(jù)歷史任務(wù)查看多個(gè)文件的摘要結(jié)果，同時(shí)也提供了全局搜索的入口，方便根據(jù)條件查找所有已分析過的視頻摘要結(jié)果。讓耗時(shí)耗力的視頻偵查變?yōu)檩p松高效的圖片查找，配合關(guān)聯(lián)視頻播放即可快速定位關(guān)鍵線索，進(jìn)行全局的目標(biāo)人、車定位和查找。

圖8 青綠色車輛全局搜索結(jié)果。

視頻濃縮預(yù)覽。視頻濃縮可以根據(jù)目標(biāo)類型、顏色、大小、速度、濃縮密度、運(yùn)動(dòng)方向過濾視頻中的運(yùn)動(dòng)目標(biāo)，并且可以選擇是否顯示時(shí)間戳。

圖9 濃縮視頻任意條件實(shí)時(shí)播放

改變過濾條件，濃縮視頻實(shí)時(shí)呈現(xiàn)，而不需要再次做視頻分析從而真正做到隨想隨用、隨用隨看。

視偵應(yīng)用集成。系統(tǒng)提供標(biāo)準(zhǔn)的restful接口，可被第三方圖偵應(yīng)用平臺(tái)快速集成。

圖10 融合了云摘要的圖偵系統(tǒng)

云摘要系統(tǒng)的特點(diǎn)

傳統(tǒng)的摘要產(chǎn)品基本上都是單機(jī)服務(wù)器模式，對(duì)于一小時(shí)視頻從視頻下載、轉(zhuǎn)碼、摘要通常要20分鐘左右時(shí)間，大大影響了系統(tǒng)的實(shí)用性，而對(duì)于一些需要排查大量視頻的案件，基本沒有效能。

本方案結(jié)合視頻偵查業(yè)務(wù)需求，使用多臺(tái)云計(jì)算一體機(jī)通過云計(jì)算集群軟件對(duì)外提供海量視頻的濃縮和摘要服務(wù)，系統(tǒng)特點(diǎn)總結(jié)如下：

海量視頻接入、資源整合共享

采用hadoop架構(gòu)的云摘要系統(tǒng)可將視頻文件通過分布式計(jì)算框架進(jìn)行并行計(jì)算，極大縮短計(jì)算任務(wù)的計(jì)算時(shí)間，提高系統(tǒng)的響應(yīng)速度；系統(tǒng)整體計(jì)算性能可以通過增加集群的數(shù)量進(jìn)行線性增加，從而可以滿足隨著非結(jié)構(gòu)化數(shù)據(jù)規(guī)模的增大而不斷提高的視頻結(jié)構(gòu)化分析的性能要求，最小規(guī)模系統(tǒng)即可實(shí)現(xiàn)-1080P高清視頻1分鐘端到端處理性能規(guī)格。

海量云存儲(chǔ)-高性能、易擴(kuò)展、高可靠

云摘要整體解決方案通用云存儲(chǔ)技術(shù)和視頻分析云計(jì)算技術(shù)有機(jī)結(jié)合，進(jìn)而消除上傳下載的性能瓶頸，實(shí)現(xiàn)正在端到端高性能的讀寫能力，以及面向未來更大容量的平滑擴(kuò)展能力，并能充分滿足視圖大數(shù)據(jù)處理分析的讀寫性能要求。

海量視頻結(jié)構(gòu)化分析、統(tǒng)一檢索

云摘要具備強(qiáng)大的視頻智能分析功能以及數(shù)據(jù)處理能力，其能利用自主研發(fā)的先進(jìn)的視頻圖像智能分析算法-包括視頻摘要分析、視頻濃縮等，實(shí)現(xiàn)對(duì)海量視圖的結(jié)構(gòu)化描述，形成目標(biāo)影像片段+關(guān)鍵特征描述，并提供全局檢索入口，可通過多個(gè)條件（人車分類、大小、速度、顏色、特征等）來檢索人車等目標(biāo)。

圖偵業(yè)務(wù)集成、業(yè)務(wù)深度融合

系統(tǒng)支持與主流視頻偵查系統(tǒng)融合和集成，基于云摘要視偵系統(tǒng)可快速構(gòu)建豐富技戰(zhàn)法應(yīng)用和智能化平臺(tái)、并將云摘要分析結(jié)果快速導(dǎo)入警務(wù)工作流程、和業(yè)務(wù)緊密融合，實(shí)現(xiàn)有價(jià)值結(jié)果視圖信息的集中保存和應(yīng)用；

靈活部署、能力共享、互聯(lián)網(wǎng)+

圖11 基于HADOOP架構(gòu)的開發(fā)云摘要服務(wù)

對(duì)外提供統(tǒng)一IP和通用RESTful接口。系統(tǒng)可以獨(dú)立部署使用，也可以對(duì)接三方平臺(tái)提供更為靈活的摘要業(yè)務(wù)服務(wù)；云摘要基礎(chǔ)設(shè)施能夠給上層各類視頻應(yīng)用以及其他系統(tǒng)提供各種平臺(tái)接口服務(wù)，推動(dòng)視頻結(jié)構(gòu)化分析能力在各類業(yè)務(wù)系統(tǒng)中的廣泛共享和應(yīng)用，最終改變用戶處理海量視頻的應(yīng)用模式——從“看視頻”到“搜目標(biāo)的轉(zhuǎn)變”。