李麗，方秀花

（裝備學(xué)院，北京01416）

視頻和圖像檢索分析工具（VIRAT）綜述

李麗，方秀花

（裝備學(xué)院，北京01416）

美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）正在為視頻和圖像檢索分析工具（VIRAT）項(xiàng)目尋求解決方案。該項(xiàng)目的總體目標(biāo)是開發(fā)一個(gè)系統(tǒng)，用來視頻數(shù)據(jù)開發(fā)，使分析人員能夠從數(shù)據(jù)庫中迅速找到感興趣的視頻內(nèi)容，并在對(duì)視頻內(nèi)容現(xiàn)場(chǎng)操作分析中，為分析人員提供警報(bào)信息。本文主要從該項(xiàng)目的背景情況、關(guān)鍵技術(shù)、主要任務(wù)以及項(xiàng)目階段做了詳細(xì)的闡述。

視頻和圖像檢索分析工具（VIRAT）；圖像視頻；檢索和分析

目前，文字搜索技術(shù)已經(jīng)十分成熟，而且隨著文字識(shí)別算法的改進(jìn)，在圖像上進(jìn)行文字搜索也變得更加容易。但是當(dāng)前搜索視頻在技術(shù)上實(shí)現(xiàn)起來難度極大，主要是由于視頻事先未經(jīng)預(yù)覽，而且也沒有附帶可進(jìn)行搜索的文字標(biāo)簽。然而，目前美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）已經(jīng)解決了這一技術(shù)難題中的部分問題。DARPA正在為視頻和圖像檢索分析工具（VIRAT）項(xiàng)目尋求解決方案。該項(xiàng)目的總體目標(biāo)是開發(fā)一個(gè)系統(tǒng)，用來視頻數(shù)據(jù)開發(fā)，使分析人員能夠從數(shù)據(jù)庫中迅速找到感興趣的視頻內(nèi)容，并在對(duì)視頻內(nèi)容現(xiàn)場(chǎng)操作分析后，為分析人員提供警報(bào)信息。

1 VIRAT項(xiàng)目概述

從大量現(xiàn)有視頻數(shù)據(jù)和實(shí)時(shí)監(jiān)控視頻數(shù)據(jù)中快速搜索具體活動(dòng)或事件的能力對(duì)于美國(guó)軍方和情報(bào)機(jī)構(gòu)來說是十分重要的。目前，捕食者無人機(jī)和其它空中監(jiān)控平臺(tái)的視頻分析非常耗費(fèi)人力，并只限制于元數(shù)據(jù)的查詢以及“手動(dòng)注釋”和“快進(jìn)”的剪輯檢查。VIRAT項(xiàng)目開發(fā)的軟件工具將從根本上提高對(duì)海量視頻數(shù)據(jù)的分析效率。其主要有兩種途徑：一是，當(dāng)特定的事件或活動(dòng)發(fā)生在特定地點(diǎn)或超出特定地點(diǎn)范圍時(shí)將對(duì)操作者發(fā)出警報(bào)；二是，實(shí)現(xiàn)對(duì)現(xiàn)有視頻數(shù)據(jù)庫快速、基于內(nèi)容的搜索。DARPA正在尋求一種創(chuàng)新的算法用來顯示、匹配和識(shí)別活動(dòng)，以支持索引和檢索，VIRAT項(xiàng)目的重點(diǎn)是基于活動(dòng)和動(dòng)態(tài)信息[1]。

美國(guó)軍方和情報(bào)部門對(duì)實(shí)時(shí)監(jiān)控視頻和從大容量視頻數(shù)據(jù)庫中搜索有價(jià)值內(nèi)容的需求不斷增長(zhǎng)。與此同時(shí)，相同視頻視角范圍內(nèi)的動(dòng)態(tài)活動(dòng)數(shù)目大量增加。當(dāng)前的解決方案是分配更多的分析員同時(shí)觀看相同的實(shí)時(shí)動(dòng)態(tài)視頻。每個(gè)分析員被分配視頻的一個(gè)部分，如果發(fā)現(xiàn)任何可疑對(duì)象或活動(dòng)，立即向有關(guān)當(dāng)局發(fā)出警報(bào)。然而在軍隊(duì)和情報(bào)部門，視頻或圖像分析員的數(shù)量是有限的。而且，未來動(dòng)態(tài)視頻的范圍將大于25平方公里，有限的分析員通過觀看視頻流更加難以有效地監(jiān)測(cè)和發(fā)現(xiàn)所有可疑活動(dòng)。顯然，運(yùn)用自動(dòng)化的活動(dòng)搜索和檢測(cè)能力，能夠提高有效性并提高實(shí)時(shí)報(bào)警效率。VIRAT系統(tǒng)的目標(biāo)是能夠在幾分鐘內(nèi)對(duì)包含數(shù)千小時(shí)視頻數(shù)據(jù)的視頻庫完成搜索。檢測(cè)概率要高，以確保所有可能感興趣的活動(dòng)被發(fā)現(xiàn)。

2關(guān)鍵技術(shù)

VIRAT項(xiàng)目在以下領(lǐng)域?qū)で蠹夹g(shù)創(chuàng)新，包括：魯棒的事件和活動(dòng)的顯示、高效率的全動(dòng)態(tài)視頻檔案庫索引以及交互式精細(xì)化的檔案檢索查詢。

2.1 魯棒的事件和活動(dòng)的顯示

該VIRAT項(xiàng)目的關(guān)鍵技術(shù)是魯棒的發(fā)展，對(duì)事件和活動(dòng)的數(shù)字顯示可以在變化的條件下被用在多部視頻中。這些顯示將會(huì)形成VIRAT系統(tǒng)的技術(shù)核心，可以為實(shí)時(shí)警報(bào)和事件發(fā)生的檔案檢索提供技術(shù)支撐。技術(shù)解決方案必須能夠處理以下內(nèi)容：

（1）傳感器設(shè)置的變化，如空間和時(shí)間分辨率；

（2）背景條件的改變，如光照的變化、天氣和大氣發(fā)生的變化；

（3）算法可以處理低分辨率視頻；

（4）平臺(tái)和視角的變化；

（5）動(dòng)態(tài)事件和活動(dòng)自身的變化；

（6）其它場(chǎng)景實(shí)體的事件或活動(dòng)元素。

此外，視頻數(shù)據(jù)周圍的整體環(huán)境也是豐富的附加信息來源，對(duì)檢索的準(zhǔn)確性有幫助。這些信息可以包括空間地理信息和平臺(tái)及傳感器元數(shù)據(jù)。VIRAT正在尋求技術(shù)去建立魯棒的事件和活動(dòng)的顯示。

2.2 交互式精細(xì)化的檔案檢索查詢

VIRAT系統(tǒng)將允許用戶對(duì)檢索到的數(shù)據(jù)提供反饋。用戶將可以在優(yōu)化迭代查詢的過程中提供正面和負(fù)面的信息反饋。該VIRAT項(xiàng)目尋找新的技術(shù)來實(shí)現(xiàn)這種反饋，以迅速達(dá)到高性能水平。特別令人感興趣的是利用優(yōu)化技術(shù)開發(fā)視頻數(shù)據(jù)[2]。

3項(xiàng)目階段

該VIRAT項(xiàng)目將分成三個(gè)階段進(jìn)行。每個(gè)階段將陸續(xù)成熟VIRAT的組件算法，系統(tǒng)性能將會(huì)在一個(gè)集成的、終端到終端的系統(tǒng)中達(dá)到頂峰，對(duì)于軍事終端用戶將具有明確和顯著的價(jià)值。

（1）第一階段——原型算法開發(fā)和系統(tǒng)設(shè)計(jì)

第一階段的目標(biāo)是進(jìn)行系統(tǒng)設(shè)計(jì)、原型算法開發(fā)，評(píng)估初步的VIRAT系統(tǒng)。為了支持算法開發(fā)，政府將從已經(jīng)應(yīng)用在捕食者無人機(jī)傳感器上的系統(tǒng)，提供電視和紅外數(shù)據(jù)。第一階段的系統(tǒng)設(shè)計(jì)必須將原型軟件組件整合成一個(gè)統(tǒng)一的系統(tǒng)體系結(jié)構(gòu)，并與其他軍事系統(tǒng)兼容和可互操作。PET將對(duì)第一階段系統(tǒng)進(jìn)行中期和最終的性能評(píng)估。第一階段的性能目標(biāo)側(cè)重于動(dòng)態(tài)警報(bào)的準(zhǔn)確性和檔案檢索。從軍事用戶和PET的反饋將納入第二階段的目標(biāo)。

（2）第二階段——算法的細(xì)化和優(yōu)化以及系統(tǒng)集成

第二階段的目標(biāo)是提高第一階段的準(zhǔn)確率和效率，同時(shí)適應(yīng)一個(gè)更大的事件和活動(dòng)設(shè)置，提高的視頻速率，以及一個(gè)規(guī)模擴(kuò)大的存檔。第一階段的成果將被納入一個(gè)更加穩(wěn)定和成熟的從終端到終端的VIRAT系統(tǒng)集成實(shí)施。第二階段的性能目標(biāo)是強(qiáng)調(diào)動(dòng)態(tài)警報(bào)和檔案檢索的準(zhǔn)確度和速度。這一階段將包括來自控制收集項(xiàng)目工作的晝間電視和紅外數(shù)據(jù)，以及來自多個(gè)無人機(jī)平臺(tái)收集的實(shí)時(shí)數(shù)據(jù)。PET將會(huì)對(duì)第二階段系統(tǒng)進(jìn)行中期和最終的性能評(píng)估。從軍事用戶和PET的反饋將納入第三階段的發(fā)展目標(biāo)[3]。

（3）第三階段——整合、示范與過渡

第三階段的目標(biāo)將是改進(jìn)第二階段系統(tǒng)的性能和準(zhǔn)確率，查詢結(jié)果快速細(xì)化顯示以及適應(yīng)復(fù)雜的搜索，包括在單個(gè)查詢中包括多樣和動(dòng)態(tài)的事件。第三階段系統(tǒng)還必須證明具有較大的數(shù)據(jù)集性能和精度，其中包括：更大數(shù)量的事件和活動(dòng)，更快的視頻流速度，以及更大的錄像檔案。PET將會(huì)對(duì)第三階段系統(tǒng)進(jìn)行中期和最終的性能評(píng)估。第三階段的性能目標(biāo)的重點(diǎn)是精度和速度，以及最終用戶需求的滿意度。這個(gè)階段將會(huì)使用真實(shí)的來自無人機(jī)平臺(tái)的晝間電視和紅外數(shù)據(jù)。該項(xiàng)目的這個(gè)階段還將包括對(duì)實(shí)際使用效果的比較，人們使用VIRAT系統(tǒng)和人們利用現(xiàn)有的技術(shù)的效率的比較[4]。

4結(jié)束語

VIRAT項(xiàng)目屬于美國(guó)大數(shù)據(jù)研究發(fā)展計(jì)劃一部分，通過該項(xiàng)目的實(shí)施能夠有效促進(jìn)數(shù)據(jù)訪問、組織、處理、分析工具的開發(fā)和技術(shù)的提升，從而提高政府部門或軍事用戶從大量視頻數(shù)據(jù)中提取所需信息的能力和水平。未來應(yīng)用于情報(bào)領(lǐng)域，將大大提高情報(bào)獲取的時(shí)效性和準(zhǔn)確性，使對(duì)手面臨的形勢(shì)更加嚴(yán)峻。

[1]DARPA INFORMATION PROCESSING TECHNIQUESOFFI CE（IPTO）Video and Image Retrieval and Analysis Tool（VIRAT）BAA 08-20.

[2]王麗紅，張桂蕓，賈花萍.一種基于顏色特征的視頻鏡頭邊界檢測(cè)方法[J].計(jì)算機(jī)工程與科學(xué)，2008（10）：21-23.

[3]馮馳，甘泉福.圖像視頻檢索的研究和應(yīng)用[J].應(yīng)用科技，2006，3（6）：17-19.

[4]張揚(yáng)奇，肖學(xué)福，陳祥軍，等.大數(shù)據(jù)時(shí)代基于中文標(biāo)記的圖像視頻綜合檢索方法研究[J].物聯(lián)網(wǎng)技術(shù)，2013（10）：29-30.

Study about the Video and Image Retrievaland Analysis Tool

LILi，F(xiàn)ANG Xiu-hua
（Equipment Academy，Beijing 101416，China）

The Defense Advanced Research Projects Agency（DARPA）is seeking innovative solutions for the Video and Image Retrieval and Analysis Tool（VIRAT）program.The overall program goal is to develop and demonstrate a system for video data exploitation that enables an analyst to rapidly find video content of interest from archives and to provide alerts to the analyst of events of interest during live operations.The program motivation，key technology and technology areas are introduced in this text.

VIRAT；video and image；retrieval and analysis

TP391

B

1672-545X（2016）12-0127-02

2016-09-15

李麗（1985-），女，江蘇人，研究生，館員，研究方向：情報(bào)學(xué)；方秀花（1965-），女，江西人，研究生，研究館員，研究方向：情報(bào)學(xué)。