視頻檢索主要是依賴于視頻算法對視頻進行預處理，通過對視頻內容進行結構化處理，提取出視頻內容中的有效信息，進行標記或者相關處理后，然后可以通過各種屬性描述進行快速檢索。

應用背景

在過去的十幾年間，安防行業(yè)建設由模擬向數字化轉化，數字化以DVR 和DVS為代表。數字化之后，實現了遠程視頻實時監(jiān)控，解決了監(jiān)控系統(tǒng)“看得見”的問題。近幾年，隨著高清視頻監(jiān)控的逐步推廣和普及，視頻監(jiān)控市場已經朝著“看得清，看得明”方向發(fā)展。同時，全國各地的平安城市、平安鄉(xiāng)鎮(zhèn)建設如火如荼，前端的視頻探頭成千上萬，后端的錄像存儲更是無法用數量來衡量?，F有監(jiān)控建設中的錄像數據應用已然陷入困境：

第一，海量視頻數據堆積。

近年來，中國視頻監(jiān)控市場受平安城市建設，北京奧運會，上海世博會，廣州亞運會，深圳大運會等大型活動的安保項目以及各行業(yè)視頻監(jiān)控需求快速增長等因素的刺激和拉動，取得了快速發(fā)展，整個市場規(guī)模迅速擴大。我們預計，隨著各項政策的繼續(xù)開展和深化，以及交通、教育、金融等各個行業(yè)用戶的安防意識的不斷增強，未來視頻監(jiān)控市場仍將保持強勁增長的態(tài)勢。面對數以萬計的前端攝像頭存儲下來的海量視頻數據，如何快速查詢和檢索成了目前最大、最棘手的問題。

第二，人工查看效率低下。

由于人類的生理局限，長時間專注于單一視頻畫面，過程單調、乏味，容易造成視頻偵查人員注意力低下，產生視覺疲勞，嚴重影響審看效率。

因為人眼的視覺疲勞，極易忽略掉重要的目標線索，造成“過眼不過腦”的情況。美國圣地亞國家實驗室的研究表明，人對于單調的事物無法長時間的集中注意力，人眼注意畫面超過22分鐘的時候，則有95%的畫面會被忽略。因此，一段視頻往往需要花費更多的時間進行重復審看，大大增加了工作量，并且還是無法完全避免遺漏和誤差。這是人工無法避免的視覺誤差。

目前的現實情況是，被迫使用人海戰(zhàn)術進行視頻檢索和查看。通常一個案件需要審看周邊幾十個攝像頭、前后數天的視頻，所審看的視頻量時常達到數百上千小時。在目前的人工查看模式下，傳統(tǒng)的方法需要從頭到尾順序播放，往往需要數倍于原始視頻的時間才能審看完成，因此需要大量人員連續(xù)加班數周進行視頻的審看。為了規(guī)避遺漏和誤差，很多刑偵隊采用加大人力投入的方法。但是經過實踐證明，這種方法吃力不討好，仍然解決不了根本的問題。

技術基礎

視頻檢索主要是依賴于視頻算法對視頻進行預處理，通過對視頻內容進行結構化處理，提取出視頻內容中的有效信息，進行標記或者相關處理后，然后可以通過各種屬性描述進行快速檢索。

因此視頻檢索最主要的是利用視頻檢測算法對視頻進行結構化描述，目前已經在相應的產品中得到應用的算法主要有以下幾種：行為分析算法、車牌識別算法、車輛顏色識別算法、車標識別算法、車型識別算法、人臉檢測識別算法、人體特征識別算法等。其中人體特征識別又包括人的年齡、性別、身高、衣服顏色、是否戴眼鏡等特征信息的識別。

目前在視頻檢索中已經得到比較成熟應用的算法技術是行為分析算法、車牌識別算法、車輛顏色識別算法、人臉檢測識別算法等。

應用現狀

目前市場上出現了各種類型的視頻檢索產品，但總體分為兩大類，一類是單機式的視頻檢索終端，另一類是整體系統(tǒng)級的檢索應用。這兩種產品形態(tài)在功能上基本相似，只是在一些細小的功能方面有一些差別。單機式的檢索終端主要滿足客戶的一些現場零時性的視頻檢索需求，而終端服務器類型的主要是滿足整體監(jiān)控系統(tǒng)視頻檢索應用的需求。

單機式視頻檢索終端一般為一臺工業(yè)級筆記本進行處理。設備如下圖所示：

系統(tǒng)級檢索應用則需要各種分析服務器和管理服務器來完成相應的工作，系統(tǒng)主要是軟件應用，對巨大的視頻數據進行智能分析，數據挖掘同意應用管理的一套獨立系統(tǒng)，包含服務器端軟、硬件模塊和管理軟件，服務器提供核心處理和各種應用服務，客戶端軟件提供用戶交互應用界面，各模塊之間通過IP網絡進行通信、協(xié)同工作。一般來說物理架構和模塊架構如下圖：

主要功能

1）目標圖例查看

通過自動化的智能分析預處理，將雜亂無章、毫無邏輯的監(jiān)控視頻內容進行梳理，自動獲取視頻內部的事件及目

產品名稱 功能描述智能視頻錄像分析管理系統(tǒng)（C/S）視音頻智能分析應用界面，事件編輯、智能檢索、圖像增強處理，歷史信息查詢、視頻文件上傳、目標查看、濃縮、預處理等功能錄像視頻存儲服務器 錄像視頻相關數據存儲智能元數據存儲處理器 智能分析結果（元數據）結構化存儲智能分析管理服務器 對智能分析任務進行管理、分發(fā)智能分析執(zhí)行服務器 對智能分析任務的執(zhí)行，支持集群模式，支持快至上百倍的分析能力圖片存儲服務器 用于存儲智能分析出的圖片資源轉碼服務器 將多種格式碼流轉成統(tǒng)一格式的錄像文件圖像增強服務器 圖像增強服務

各服務器具體功能描述：標的關鍵信息，并根據這些信息生成視頻內容及索引。刑偵人員可以通過查看目標圖例，就可在幾分鐘內，查看數個小時視頻中包含的所有目標，并確定其行為，完成對視頻中信息的甄選。視頻查看人員查看這些視頻索引，就如同看一本書的概述及目錄一樣，既可以快速的了解視頻的內容，也可以快速定位到視頻中所需要重點關注的片段。

2）目標視頻段點播下載

在審看視頻中，刑偵人員通過對案情的分析，根據所有關注目標的一些特征，通過設置智能排查規(guī)則的方式，即可快速定位到刑偵人員所關注的目標及視頻片段上，并達到秒級響應，而不用再需要花費大量的時間重新分析整個視頻，可以把時間和精力放到有價值的視頻內容審看上。

3）智能濃縮播放

基于智能分析技術的新型視頻播放方式，它能根據用戶的意愿自動控制播放速度，將涉案視頻中真正有用的證據、線索內容進行慢速的播放，用戶不關注的內容采用快進播放的方式進行瀏覽。這種方式極大節(jié)約了審看人員的瀏覽時間，加快了視頻內容的審看速度。

4）目標特征類型過濾查詢

系統(tǒng)可以對目標圖例或排查結果的類型進行過濾，在目標結果較多的情況下，系統(tǒng)支持將目標中的類型進行分離，進一步縮小關注范圍，比如人、顏色等。

5）視頻中人臉提取

通過智能分析預處理以及人臉檢測算法，將監(jiān)控視頻中的人臉進行整理匯總，獲取視頻內感興趣目標的相關信息，并根據這些人臉信息生成索引。相關人員可以通過查看人臉圖示，就可在幾分鐘內，查看數個小時視頻中包含的所有目標，并確定嫌疑目標，也可觀看該目標在整個視頻中的存在片段與運動軌跡。

6）圖片人臉快速檢索

在外部獲取非常有價值的包含嫌疑人臉的圖片，想在大量的視頻源中查找出這個嫌疑人其他信息，這時候用戶可以將圖片導入系統(tǒng)中，系統(tǒng)會自動檢出這張圖片中所有人的頭像，用戶可以按相似度進行排列，選取相關片段進行再次分析，獲取有效信息。

7）車牌目標快速提取

通過自動化的智能分析預處理以及規(guī)則下的智能排查，將監(jiān)控視頻中的內容進行整理匯總，獲取視頻內感興趣目標的相關信息，并根據這些信息生成索引，主要是以車牌信息呈現。相關人員可以通過查看車牌圖例，就可在幾分鐘內查找到目標車牌，并可觀看該目標在整個視頻中的存在片段。

系統(tǒng)可對目標圖例或排查結果的類型過濾，將車牌信息列出，用戶可以自行選擇關注的車牌圖片，觀看大圖，這樣就可以獲取車牌對應的車輛信息（車身顏色，車牌號碼，車型）。

系統(tǒng)將視頻分析處理之后，顯示出車牌信息，用戶在諸多圖片中找出重點關注的車牌，可以將此車牌相關的視頻片段導出，以作為重點依據。

視頻檢索技術應用的總結與展望

海康威視的視頻檢索系統(tǒng)采用高效智能分析算法技術（周界防范、人臉、車牌），保證分析信息的全面和準確，同時系統(tǒng)采用集群化計算方式，可提供幾十上百倍以上的快速分析能力，并可根據應用需要進行線性擴展，提高計算能力。在視頻資料錄入的同時，自動對視頻中的目標信息進行格式歸一化與智能預處理分析，提取視頻中目標的相關信息作為智能元數據保存至數據庫中。之后的相關操作，如智能審看、智能檢索等等就不用再做復雜的解碼以及智能分析的工作，而是直接從智能元數據中提取，大大提高了工作效率。

根據智能元數據信息，可對目標及目標細化特征等視頻內容級別進行篩選，如顏色、人/車分類等。用戶還可根據實際情況的需要自定義設置不同的周界防范規(guī)則，通過在數據庫中對元數據進行檢索提取觸發(fā)規(guī)則的目標信息，達到快速檢索的目的，極大地提高了效率。

在今后的發(fā)展中，視頻數據深化應用會越來越成熟。主要從以下幾方面得到深入應用：

1、基于特征的檢索功能更加完善反應。

基于特征的檢索功能，在目前的應用系統(tǒng)中已經初步實現了簡單的人車等信息區(qū)分，后續(xù)的應用將對更加多的特征進行分類，用戶可以通過這些特征快速的從視頻中找到相應的事件和所需的信息。這些特征主要分人的特征和車的特征：如人的臉部特征，體毛特征，衣服顏色，高度，發(fā)型等特征。車的特征：主要是車牌、車型、車身顏色、車標等特征。

2、關聯(lián)檢索應用。

當各種特征識別和檢索等都達到一定的應用，同時結合各種地理信息平臺，系統(tǒng)能夠結合公安刑偵的實際應用，通過各種視頻分析，檢索，線索分析，視頻關聯(lián)，行蹤分析等，形成一套以案情發(fā)展為主線的，關聯(lián)各種有效視頻信息的檢索應用。這是視頻數據挖掘和深度應用，在不久的將來必將成為現實。

3、為視頻建立事件和特征索引。

巨大視頻數據的有效管理也將是未來的一個難題。如何將視頻信息有效的建立一套管理系統(tǒng)，能夠快速、方便、準確地找到有效事件和有效信息，將改變目前這種現狀。以后的視頻數據都會通過視頻特征提取技術，為每一個有效的視頻數據打上數字標簽，建立以有效事件及有效特征為索引的視頻管理系統(tǒng)。這樣的管理系統(tǒng)能夠將同一類型的視頻數據進行分類管理，也能夠方便的找出各種類型的事件和各種特征的人物和車輛等。

隨著技術的發(fā)展和人類不斷的探索，在不久的將來，這些技術必將成為現實。