馮少奇，鞏思亮，陳春明

(公安部第三研究所 物聯(lián)網(wǎng)技術(shù)研發(fā)中心,上海 201204)

一種基于XML的海量視頻監(jiān)控信息檢索技術(shù)

馮少奇，鞏思亮，陳春明

(公安部第三研究所 物聯(lián)網(wǎng)技術(shù)研發(fā)中心,上海 201204)

針對智能視頻監(jiān)控中視頻解析產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)不能集合存儲到視頻錄像而由此帶來的信息檢索不便問題，文中提出了一種基于XML的異構(gòu)數(shù)據(jù)集成解決方案。它主要通過將監(jiān)控數(shù)據(jù)庫中的檢索數(shù)據(jù)導(dǎo)入XML文件后和關(guān)聯(lián)視頻文件進行一體化的異構(gòu)數(shù)據(jù)存儲，使用戶可以通過統(tǒng)一的接口來實現(xiàn)對監(jiān)控數(shù)據(jù)和視頻文件的訪問。首先在對相關(guān)技術(shù)進行研究和分析的基礎(chǔ)上，設(shè)計了一個統(tǒng)一的數(shù)據(jù)集成和用戶查詢平臺；然后在高清卡口場景下，針對車輛信息檢索進行了實驗。結(jié)果表明，該方法不僅實現(xiàn)了基于關(guān)鍵詞的視頻文件檢索，也實現(xiàn)了基于單一視頻文件的信息檢索。該技術(shù)提高了數(shù)據(jù)的自由遷移能力，可以實現(xiàn)基于視頻文件的離線信息檢索，因此具有極高的實用性。

海量視頻；視頻檢索；AVI；RIFF；可擴展標記語言；高清卡口

0 引 言

近年來，作為建設(shè)平安城市和智慧城市重要組成部分的視頻監(jiān)控業(yè)務(wù)，由于其在治安巡邏、警情處置、治安管控、案件偵破等方面發(fā)揮著不可或缺的技術(shù)支撐作用，受到全國各地公安機關(guān)的高度重視和政府的大力支持。隨著視頻監(jiān)控基礎(chǔ)設(shè)施建設(shè)的日趨成熟以及大聯(lián)網(wǎng)和高清化等因素的推動，海量視頻背景下的信息檢索能力顯得尤為重要。

視頻數(shù)據(jù)的爆炸式增長，意味著需要投入更多的資源以及付出更多的人力，才能在這些體量龐大的數(shù)據(jù)中尋找到有價值的信息。原始的信息檢索往往是人工基于時序的瀏覽和排查，這種方式不僅效率低，而且極易遺漏轉(zhuǎn)瞬即逝的重要信息。同時傳統(tǒng)基于文件名的視頻文件搜索由于受字數(shù)限制，只能存儲少量的文本標識信息，無法滿足基于攝像頭名稱、編號、地理位置信息和錄像時間等更加靈活的關(guān)鍵詞搜索。

如圖1所示，監(jiān)控攝像頭所獲得視頻經(jīng)過轉(zhuǎn)碼壓縮后存儲于基礎(chǔ)視頻庫，同時視頻解析服務(wù)器把原始視頻按照定義的結(jié)構(gòu)類型進行數(shù)據(jù)挖據(jù)后輸出到監(jiān)控數(shù)據(jù)庫中以提供決策型數(shù)據(jù)訪問的基礎(chǔ)。通過該數(shù)據(jù)庫可以精確映射到基礎(chǔ)視頻庫中的目標文件和實現(xiàn)基于內(nèi)容的海量視頻快速檢索。但是在以文件系統(tǒng)為核心的數(shù)據(jù)存儲方式下，作為非結(jié)構(gòu)化數(shù)據(jù)的視頻錄像與視頻挖據(jù)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)存在著不能集合存儲到統(tǒng)一文件的問題，這給視頻的存儲管理和信息檢索帶來諸多不便。

圖1 海量監(jiān)控視頻信息的存儲和管理

1 數(shù)據(jù)遷移相關(guān)技術(shù)

1.1 XML技術(shù)

XML(可擴展標記語言)作為一種結(jié)構(gòu)性標記語言，由于其簡單、可擴展、跨平臺的特性而被廣泛應(yīng)用于數(shù)據(jù)信息的交換和傳輸。從文件格式來講，由XML語言生成的文檔為純文本文件，因此在編輯和創(chuàng)建上不僅支持文本編輯器，同時也支持大型可視化開發(fā)環(huán)境；從數(shù)據(jù)存儲能力上來講，XML文檔具有極強的可擴展性，支持小到配置文件大到企業(yè)級數(shù)據(jù)庫的存儲應(yīng)用[1]。因此使用XML文件完全可以滿足圖1中監(jiān)控數(shù)據(jù)庫的檢索數(shù)據(jù)向基礎(chǔ)視頻庫中關(guān)聯(lián)視頻文件的數(shù)據(jù)遷移需求[2]。

實現(xiàn)基于XML的數(shù)據(jù)遷移包括模式映射和數(shù)據(jù)轉(zhuǎn)移兩個步驟。前者將數(shù)據(jù)的關(guān)系模式映射為XML模式,后者依據(jù)XML模式將數(shù)據(jù)映射到XML文檔。DTD和XML Schema語言均可以用于實現(xiàn)模式映射。由于XML Schema不僅提供了豐富的數(shù)據(jù)類型，而且具有良好的繼承性和可擴展性，因此可以使用XML Schema實現(xiàn)模式映射和數(shù)據(jù)遷移[3]。

數(shù)據(jù)遷移生成的XML文件通過SAX(Simple API for XML)和DOM(Document Object Model)編程接口可以實現(xiàn)對XML文件的解析[4]。鑒于DOM的文檔驅(qū)動機制，即可以把XML文件一次性讀入的特性，文中使用DOM作為數(shù)據(jù)解析的編程接口。

1.2 AVI文件解析

AVI作為視頻監(jiān)控中一種常見的視頻存儲格式，遵循RIFF規(guī)范將音視頻數(shù)據(jù)以交錯存儲進行存儲。其基本單元為LIST和CHUNK。其中LIST相當于文件系統(tǒng)的目錄，可以包含多個LIST或者多個CHUNK。CHUNK是保存數(shù)據(jù)的基本單元，可以保存音視頻數(shù)據(jù)以及參數(shù)信息[5]。

圖2為使用RIFFspot軟件對一個AVI文件的結(jié)構(gòu)解析。

圖2 AVI文件結(jié)構(gòu)解析

如圖2所示，整個文件呈樹狀結(jié)構(gòu)，其中根節(jié)點RIFF_AVI表征了AVI文件類型，其子節(jié)點為三個LIST：LIST_hdrl、LIST_INFO、LIST_movi。LIST_hdrl用于描述AVI文件中各個流的格式信息；LIST_INFO用于描述使用的編碼器工具信息；LIST_movi用于保存真正的媒體流數(shù)據(jù)，包含視頻圖像幀數(shù)據(jù)和音頻采樣數(shù)據(jù)；Idx1是一個可選的索引CHUNK，用于為AVI文件中每一個媒體數(shù)據(jù)塊進行索引[6]。

使用AVIMaster軟件可以進一步詳細查看CHUNK結(jié)構(gòu)的數(shù)據(jù)內(nèi)容，經(jīng)過解析可知其中LIST_INFO下ISFT CHUNK的存儲內(nèi)容為“Mencoder SVN-r33883<20110779-gcc4.5.2”，它表征了當前AVI文件中媒體數(shù)據(jù)使用的編碼器及其版本信息。

因此，可以通過在RIFF_AVI LIST下創(chuàng)建一個LIST_USER LIST,然后在該LIST下創(chuàng)建用戶自定義CHUNK,在該CHUNK中存儲包含遷移數(shù)據(jù)的XML文件，實現(xiàn)XML文件與CHUNK數(shù)據(jù)的映射關(guān)系。

2 基于XML實現(xiàn)視頻檢索

2.1 研究現(xiàn)狀

通過XML實現(xiàn)數(shù)據(jù)遷移和信息檢索，國內(nèi)外目前已有較多深入研究和可借鑒的應(yīng)用成果。文獻[7]提出了一種面向數(shù)據(jù)庫升級應(yīng)用的XML數(shù)據(jù)遷移技術(shù)。文中提出利用SAX解析器實現(xiàn)源數(shù)據(jù)庫向XML文件的導(dǎo)出，然后把XML文件中的數(shù)據(jù)轉(zhuǎn)換為目標表字段格式后導(dǎo)入到目標數(shù)據(jù)庫中實現(xiàn)數(shù)據(jù)遷移。文獻[8]為了解決電子政務(wù)中的異構(gòu)信息交換問題,設(shè)計了一個基于XML的星型結(jié)構(gòu)的數(shù)據(jù)交換模型，實現(xiàn)了任意數(shù)據(jù)庫與XML的數(shù)據(jù)交換，并提出了具體的實現(xiàn)原理，具有極強的借鑒意義。文獻[9]針對高校存在學(xué)生信息管理、教務(wù)管理、財務(wù)管理和科研管理等多個信息系統(tǒng)的現(xiàn)狀，設(shè)計了一個基于XML的統(tǒng)一數(shù)據(jù)交換平臺，提出在異構(gòu)數(shù)據(jù)源和用戶應(yīng)用程序之間設(shè)計一個中間件以提供虛擬視圖來集成異構(gòu)數(shù)據(jù)源，可作為文中設(shè)計的重要參考。

2.2 系統(tǒng)方案

針對目前視頻監(jiān)控中存在的信息檢索不便的問題，文中在對上述相關(guān)技術(shù)充分研究的基礎(chǔ)上，提出了一個基于XML的異構(gòu)數(shù)據(jù)集成方案。該方案主要通過將監(jiān)控數(shù)據(jù)庫中的檢索數(shù)據(jù)導(dǎo)入XML文件后和關(guān)聯(lián)視頻文件進行一體化的異構(gòu)數(shù)據(jù)存儲，使用戶可以通過統(tǒng)一的接口來實現(xiàn)對監(jiān)控數(shù)據(jù)和視頻文件的訪問。這不僅提高了海量視頻監(jiān)控背景下數(shù)據(jù)的自由遷移能力，而且大大提高了用戶在有效檢索信息的同時快速訪問關(guān)聯(lián)視頻的能力[10]。

基于該方案，設(shè)計了一個統(tǒng)一的監(jiān)控數(shù)據(jù)集成和信息查詢平臺，服務(wù)于一線公安視頻監(jiān)控業(yè)務(wù)實戰(zhàn)應(yīng)用。如圖3所示，該平臺業(yè)務(wù)流程包括監(jiān)控數(shù)據(jù)庫中的數(shù)據(jù)遷移到基礎(chǔ)視頻庫和基于視頻庫實現(xiàn)用戶信息檢索兩個部分。

圖3 監(jiān)控數(shù)據(jù)集成和信息查詢平臺

2.2.1 數(shù)據(jù)遷移

如圖3所示，為實現(xiàn)數(shù)據(jù)集成，首先需要將監(jiān)控數(shù)據(jù)轉(zhuǎn)換為XML文件，然后將XML文件按照視頻結(jié)構(gòu)封裝后寫入關(guān)聯(lián)視頻文件。第一步需要將數(shù)據(jù)在數(shù)據(jù)庫中的關(guān)系模式使用XML Schema映射生成后綴為.xsd的文件，然后基于該文件從數(shù)據(jù)庫中取出對應(yīng)元素，將其映射到XML文檔。該映射需要遵循兩個原則：

(1)XML Schema應(yīng)保留關(guān)系模式中的所有約束；

(2)在不丟失語義的前提下避免XML文檔中的數(shù)據(jù)冗余。

第二步需要依據(jù)視頻文件的數(shù)據(jù)結(jié)構(gòu)對XML文件進行結(jié)構(gòu)封裝后寫入關(guān)聯(lián)視頻文件。由于篇幅有限，文中針對上述技術(shù)研究中的AVI文件展開論述。如1.2所述，可以通過創(chuàng)建一個LIST_USER LIST，在該LIST下封裝XML文件形成自定義CHUNK后寫入AVI文件，完成數(shù)據(jù)遷移。需要注意的是，一個視頻文件往往關(guān)聯(lián)到多個XML文件，對此可以通過在一個LIST下創(chuàng)建多個CHUNK分別進行數(shù)據(jù)封裝。

2.2.2 信息檢索

由于遵循RIFF規(guī)范實現(xiàn)了檢索數(shù)據(jù)與監(jiān)控視頻的異構(gòu)一體化存儲，因此通過上述平臺既可以實現(xiàn)監(jiān)控視頻的隨機播放，也可以實現(xiàn)基于視頻庫的信息檢索。為實現(xiàn)該過程，首先需要從AVI中解析出XML文件，然后基于XML文件實現(xiàn)信息檢索和視頻的關(guān)聯(lián)播放。如1.1所述，通過使用DOM作為數(shù)據(jù)解析的編程接口來實現(xiàn)用戶信息檢索。具體的信息檢索工作流程如圖4所示[11]。

圖4 基于視頻庫的用戶信息檢索

3 高清卡口實驗

高清卡口在智能交通檢測領(lǐng)域發(fā)揮著重要作用，其檢索數(shù)據(jù)包含車輛信息數(shù)據(jù)和車輛抓拍圖片。文中采用2.2節(jié)所述系統(tǒng)方案將車輛信息數(shù)據(jù)與關(guān)聯(lián)高清視頻錄像數(shù)據(jù)導(dǎo)入數(shù)據(jù)集成和信息查詢平臺，實現(xiàn)了基于AVI文件的車輛信息檢索和關(guān)聯(lián)視頻的定位播放[12]。該系統(tǒng)數(shù)據(jù)源為SQL Server 2008數(shù)據(jù)庫，開發(fā)工具為VS2008，開發(fā)語言為C++[13]。

3.1 數(shù)據(jù)集成

(1)車輛信息數(shù)據(jù)導(dǎo)入XML文件。

以東方大道編號為0001的高清卡口于2015年1月11日下午15：53分所攝錄的時長為3 min的一段高清視頻所關(guān)聯(lián)的卡口信息數(shù)據(jù)為例進行分析。其中表1為卡口信息數(shù)據(jù)，表2為錄像文件數(shù)據(jù)，表3為車輛信息數(shù)據(jù)。

如圖5所示，其中表1和表2、表3以表1主鍵“編號”為關(guān)聯(lián)形成“一對二”的數(shù)據(jù)映射關(guān)系。

表1 卡口信息數(shù)據(jù)表

表2 錄像文件數(shù)據(jù)表

表3 車輛信息數(shù)據(jù)表

圖5 卡口數(shù)據(jù)表映射關(guān)系圖

在建立XML關(guān)系數(shù)據(jù)模型后，把源數(shù)據(jù)庫中的上述數(shù)據(jù)導(dǎo)出到XML數(shù)據(jù)文件中[13]，依據(jù)數(shù)據(jù)映射關(guān)系進行數(shù)據(jù)遷移后生成的XML文件如下：

<卡口信息 卡口編號=“0001”

卡口名稱=“東方大道”

地理位置信息=“120.874825,31.272796”

錄像開始時間=“2015-01-11 15:53:00”

錄像停止時間=“2015-01-11 15:56:00”>

<車輛信息 經(jīng)過時間=“2015-01-11 15:53:24”>

<車頭牌號 存儲值=“蘇E9R623”/>

<車輛顏色 存儲值=“藍色”/>

<車輛類型 存儲值=“小型轎車”/>

<車輛信息 經(jīng)過時間=“2015-01-11 15:55:51”>

<車頭牌號 存儲值=“蘇HT0211”/>

<車輛顏色 存儲值=“銀色”/>

<車輛類型 存儲值=“小型面包車”/>

<卡口版本 version=“1.0”/>

(2)車輛信息數(shù)據(jù)導(dǎo)入XML文件。

在生成XML文件后，需要將其導(dǎo)入關(guān)聯(lián)的視頻文件20150111155324.avi。首先創(chuàng)建了一個LIST_USER LIST，在該LIST下封裝XML文件形成名稱為“0001”的CHUNK后寫入AVI文件，完成了卡口數(shù)據(jù)和視頻文件的集成。

3.2 信息查詢

圖6為基于2.2節(jié)所述的XML解析和AVI文件解析所設(shè)計完成的信息查詢平臺，可以快速地進行海量卡口視頻背景下的信息檢索。在文件檢索方面，支持基于卡口名稱、編號、地理位置信息和錄像時間等更加靈活的關(guān)鍵詞檢索；在車輛信息檢索方面支持基于牌號、車型、車輛顏色檢索的關(guān)鍵詞查詢，同時也支持基于AVI視頻文件的車輛信息預(yù)覽和快速定位播放[14]。

(1)AVI視頻文件檢索。

在圖6中，首先設(shè)置導(dǎo)出的檢索視頻文件夾路徑，然后搜索卡口編號為0001位于東方大道時間在2015年1月11日的所有視頻文件。在軟件左下角列表框中列出了滿足條件的所有AVI視頻文件。然后隨機將光標選中文件名為20150111155300.avi的文件，即可在右側(cè)查詢和觀看該文件所包含的所有車輛信息。

(2)基于牌號、車型、車輛顏色檢索。

當選中目標文件后，在右側(cè)卡口信息檢索欄可以確認當前的文件名，同時在列表框中顯示的是該視頻文件中所有車輛的經(jīng)過時間，隨機選中“20150111155324”，即可實現(xiàn)在播放器循環(huán)播放關(guān)聯(lián)視頻片段的同時查看車輛信息。如果在右上方“車型”下拉框選擇“小型轎車”或者在“車輛顏色”下拉框選擇“藍色”，然后點擊“車輛搜索”，同樣可以獲取目標車輛信息。

3.3 結(jié)果分析

由實驗可知，基于文中所提出的系統(tǒng)方案可以將卡口數(shù)據(jù)庫中車輛信息關(guān)系數(shù)據(jù)實現(xiàn)基于XML的數(shù)據(jù)遷移和基于時間關(guān)聯(lián)的AVI視頻錄像文件的一體化存儲，然后基于XML解析技術(shù)和RIFF規(guī)范設(shè)計了基于AVI視頻庫的信息檢索平臺，實現(xiàn)了基于關(guān)鍵詞的視頻文件和車輛信息的靈活檢索。

4 結(jié)束語

目前的智能視頻監(jiān)控建設(shè)由于沒有統(tǒng)一規(guī)劃，存在著信息共享困難、數(shù)據(jù)分散存儲的問題，由此形成的信息孤島給數(shù)據(jù)挖據(jù)等大數(shù)據(jù)技術(shù)的應(yīng)用帶來了困難。文中所提出的基于XML的海量視頻監(jiān)控信息檢索技術(shù)，巧妙地將攜帶檢索信息的XML文件寫入AVI視頻，實現(xiàn)了基于AVI文件的條件檢索和視頻播放。最后在卡口應(yīng)用場景下，將卡口車輛信息和高清視頻相融合，使得用戶可以在快速獲取車輛細節(jié)信息的同時通過高清視頻了解整個卡口的宏觀動態(tài)，為事件提供了更加豐富、更加準確的信息。

圖6 基于AVI文件的卡口信息檢索

[1] 白 濤,王 斌,張?zhí)t,等.基于XML的高校網(wǎng)招錄取數(shù)據(jù)交換技術(shù)的研究[J].計算機技術(shù)與發(fā)展,2014,24(8):202-205.

[2] 張先花．基于XML的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)存儲和集成研究[D]．天津:南開大學(xué)，2007.

[3] 曹溫華,鄧美玲.XML與關(guān)系數(shù)據(jù)庫之間轉(zhuǎn)換技術(shù)的研究[J].科技風(fēng),2008(16):68-69.

[4] 鑒保瑞，宋余慶，陳健美，等.一種基于關(guān)系的XML文檔模型映射方法[J].計算機應(yīng)用研究,2011,28(12):4621-4624.

[5] 張南豫，張連堂．AVI在多媒體技術(shù)中的應(yīng)用研究[J]．電腦知識與技術(shù)，2010,6(21)：5813-5814.

[6] 徐殿武.AVI文件格式及其應(yīng)用研究[J].現(xiàn)代電子技術(shù),2008,31(2):119-122.

[7] 趙艷妮，郭華磊．基于XML的數(shù)據(jù)遷移技術(shù)在信息系統(tǒng)升級中的研究與實現(xiàn)[J]．計算機應(yīng)用與軟件，2014，31(12)：52-54.

[8] 孫 騰，孫安健．基于XML數(shù)據(jù)交換的電子政務(wù)系統(tǒng)集成[J]．計算機應(yīng)用與軟件，2012，29(5)：188-190．

[9] 趙芳云．基于XML的異構(gòu)數(shù)據(jù)源查詢系統(tǒng)設(shè)計[J]．計算機應(yīng)用與軟件，2009，26(8)：185-188．

[10] 傅珊珊．基于聚類的XML文檔集成管理方法研究[D]．泉州:華僑大學(xué)，2007.

[11] 華珊珊,謝鉉洋.XML查詢語言XQuery的研究與實現(xiàn)[J].計算機技術(shù)與發(fā)展,2009,19(4):48-50.

[12] 張建偉．高清智能卡口管理平臺設(shè)計與實現(xiàn)[D]．成都:電子科技大學(xué)，2014.

[13] 顧 兵.SQL Server2005中的XQuery應(yīng)用研究[J].計算機技術(shù)與發(fā)展,2011,21(3):98-101.

[14] 鄭 宏,李 年,丁 凱.XML檢索方法研究[J].計算機技術(shù)與發(fā)展,2013,23(10):15-18.

A Technique of Surveillance Information Retrieval for Massive Video Based on XML

FENG Shao-qi,GONG Si-liang,CHEN Chun-ming

(Center of Internet of Things,the Third Research Institute of Ministry of Public Security, Shanghai 201204,China)

A heterogeneous data integration solution based on XML scheme is proposed to solve the information retrieval inconvenient problem which comes from that structured data generated by the video parsing cannot be merged into video recording file in intelligent video surveillance system.By integrating the XML files exported from the surveillance database with the associated video files in heterogeneous way,this solution enable users to access the monitoring data and video files through a unified interface.Firstly,an unified platform for data integration and user queries is designed after the research and analysis of related technology.Secondly,an experiment for vehicle information retrieval in HD bayonet scene is carried out.The result shows that this method not only achieves the retrieval of video files based on keywords,but also realizes the video file-based information retrieval.This technology makes the free migration of data possible and offers the ability of off-line information retrieval based on the video file.Hence,it is very practical.

massive video;video retrieval;AVI;RIFF;XML;HD bayonet

2015-06-11

2015-09-16

時間：2016-03-22

公安部技術(shù)研究計劃(2014QZX005)

馮少奇(1982-),男,研究實習(xí)員，碩士,研究方向為數(shù)據(jù)庫技術(shù)、視頻編碼與視頻處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1518.038.html

TP311.13

A

1673-629X(2016)04-0182-05

10.3969/j.issn.1673-629X.2016.04.040