張大禹,吳詩帆

(中國人民解放軍91550部隊(duì),遼寧 大連 116000)

0 引言

視頻信息作為網(wǎng)絡(luò)資源的重要載體，如何對(duì)其進(jìn)行有效的處理和管理，是目前國內(nèi)外在視頻處理方面研究的熱點(diǎn)[1]。目前，針對(duì)傳統(tǒng)的視頻數(shù)據(jù)處理技術(shù)，已經(jīng)無法滿足現(xiàn)有的需求，于是，基于內(nèi)容的視頻數(shù)據(jù)分析與檢索技術(shù)應(yīng)運(yùn)而生。在基于內(nèi)容的視頻檢索中，鏡頭邊緣的檢測(cè)與關(guān)鍵幀的提取是其重要的技術(shù)[2]。但是，隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，只依靠人工獲取關(guān)鍵幀的方法已不能滿足實(shí)際應(yīng)用的需要，因此，利用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)視頻關(guān)鍵幀數(shù)據(jù)的實(shí)時(shí)提取具有重要的理論意義和現(xiàn)實(shí)意義[3]。

梁建勝等[4]為了解決傳統(tǒng)的視頻處理技術(shù)存在的問題，本文采用了基于深度學(xué)習(xí)的方法，對(duì)視頻中的關(guān)鍵幀進(jìn)行了提取，提出了一種基于小波測(cè)距技術(shù)的圖像檢索方案，并對(duì)各個(gè)場(chǎng)景進(jìn)行了分類，選擇了特征最突出的圖像作為主要圖像。然后在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，采用無監(jiān)督、半監(jiān)督和監(jiān)督3種方法，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，并將其用于關(guān)鍵幀的提取中。利用公開的數(shù)據(jù)集進(jìn)行驗(yàn)證，結(jié)果顯示，該方法在關(guān)鍵幀提取中的準(zhǔn)確率更高，根據(jù)關(guān)鍵幀提取結(jié)果可以檢索出相關(guān)視頻。周舟等[5]利用手語識(shí)別的方式，提出一種關(guān)鍵幀提取算法，利用卷積自編碼算法對(duì)圖像進(jìn)行K-means聚類，通過圖像的清晰度過濾，得到最清晰的圖像，并將其作為初始抽取的關(guān)鍵幀，通過對(duì)初始關(guān)鍵幀的二次優(yōu)化，獲得了用于手勢(shì)識(shí)別的關(guān)鍵幀，結(jié)果表明，該方法在很大程度上消除了視頻中的冗余幀，提高了手語識(shí)別的準(zhǔn)確性和有效性。

基于以上研究背景，本文利用互信息熵設(shè)計(jì)了全景視頻關(guān)鍵幀數(shù)據(jù)的實(shí)時(shí)提取系統(tǒng)，從而保證全景視頻的質(zhì)量。

1 全景視頻關(guān)鍵幀硬件結(jié)構(gòu)及原理

在全景視頻中，關(guān)鍵幀數(shù)據(jù)的實(shí)時(shí)提取能夠準(zhǔn)確描述視頻的詳細(xì)內(nèi)容，系統(tǒng)的硬件由視頻播放器、鏡頭邊界檢測(cè)器等主要設(shè)備組成，具體結(jié)構(gòu)如圖1所示。

圖1 全景視頻關(guān)鍵幀數(shù)據(jù)提取系統(tǒng)硬件結(jié)構(gòu)

如圖1所示，首先，獲取全景視頻與相關(guān)屬性信息，步驟如下：

1)數(shù)據(jù)支撐層。該層由數(shù)據(jù)采集模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)處理模塊組成。其中數(shù)據(jù)采集模塊包含攝像設(shè)備，例如，可以利用無人機(jī)采集全景視頻，將其傳輸至存儲(chǔ)模塊中。數(shù)據(jù)處理模塊包含圖像拼接單元，主要職責(zé)是對(duì)全景視頻進(jìn)行融合處理，獲取全景大圖，并保存于全景數(shù)據(jù)庫中。數(shù)據(jù)存儲(chǔ)模塊中包含4種類型數(shù)據(jù)庫，系統(tǒng)管理數(shù)據(jù)庫用于存儲(chǔ)系統(tǒng)管理文件、運(yùn)行參數(shù)等信息；業(yè)務(wù)數(shù)據(jù)庫的職責(zé)是保存與全景視頻關(guān)鍵幀相關(guān)的業(yè)務(wù)數(shù)據(jù)、功能數(shù)據(jù)等。全景數(shù)據(jù)庫用于存儲(chǔ)采集的視頻信息及全景大圖信息。熱點(diǎn)數(shù)據(jù)庫用于保存各熱點(diǎn)數(shù)據(jù)及其位置坐標(biāo)，能夠?qū)υO(shè)備信息進(jìn)行管理。通過熱點(diǎn)可顯示影像的具體屬性，并可呈現(xiàn)所有相關(guān)信息，為用戶全面掌握虛擬攝像機(jī)鏡頭拍攝的影像全景信息提供數(shù)據(jù)支持。在全景重建單元的Flash Player內(nèi)可實(shí)現(xiàn)熱點(diǎn)增加、修改以及熱點(diǎn)位置坐標(biāo)獲取等，并采用XML格式存儲(chǔ)，方便用戶查閱。

2)Web服務(wù)層。該層可提供編程接口，并為數(shù)據(jù)傳輸選擇合適路由，具備請(qǐng)求接聽等服務(wù)功能。

3)應(yīng)用邏輯層。該層由業(yè)務(wù)處理單元、全景重建單元、全景瀏覽與交互單元構(gòu)成。全景重建單元調(diào)用獲取的全景大圖，使之貼合于球面模型的表面，將虛擬攝像機(jī)嵌入在球面模型中心，并通過鼠標(biāo)對(duì)其進(jìn)行控制來進(jìn)行角度調(diào)整，以此實(shí)現(xiàn)全景視頻關(guān)鍵幀場(chǎng)景的三維展示[6-8]。同時(shí)，該單元可從熱點(diǎn)數(shù)據(jù)庫中獲取熱點(diǎn)、位置數(shù)據(jù)，并提供屬性編輯功能。業(yè)務(wù)處理單元提供影像全景圖像預(yù)處理、影像監(jiān)測(cè)預(yù)警、運(yùn)營維護(hù)、故障分析等功能。其中影像全景圖像預(yù)處理可通過檢測(cè)攝影鏡頭拍攝的影像的邊緣，獲取影像邊緣特征圖像，為利用改進(jìn)YOLOv3網(wǎng)絡(luò)完成影像監(jiān)測(cè)預(yù)警提供數(shù)據(jù)支撐。

4)用戶層。通過該層實(shí)現(xiàn)虛擬攝像機(jī)鏡頭拍攝的影像全景監(jiān)控的可視化呈現(xiàn)，向用戶展示影像全景視圖以及業(yè)務(wù)處理結(jié)果。

然后，視頻播放器通過打開全景視頻，利用控制選項(xiàng)對(duì)視頻進(jìn)行播放、暫停、播放速度設(shè)置以及循環(huán)播放和全屏播放等功能，將全景視頻暫?？梢苑治鲈搸曨l的數(shù)據(jù)，通過判斷關(guān)鍵幀數(shù)據(jù)的質(zhì)量，保留全景視頻中高質(zhì)量關(guān)鍵幀數(shù)據(jù)；放慢視頻播放速度、循環(huán)播放和全屏播放可以讓用戶清楚觀察出任意一幀視頻的質(zhì)量，為鏡頭邊緣檢測(cè)器對(duì)全景視頻關(guān)鍵幀數(shù)據(jù)的檢測(cè)和分割提供數(shù)據(jù)流支持。

最后，鏡頭邊緣檢測(cè)器的主要任務(wù)是對(duì)全景視頻的播放鏡頭進(jìn)行檢測(cè)和分割，工作原理是先獲取視頻播放器中的全景視頻總幀數(shù)，提取出每一幀圖像的顏色特征和紋理特征，利用RGB與HIS的空間轉(zhuǎn)換[9]，對(duì)每一幀圖像的顏色特征進(jìn)行轉(zhuǎn)換，獲取全景視頻的幀差和閾值，通過提取出鏡頭內(nèi)視頻的邊界幀，檢測(cè)出鏡頭邊界。

2 全景視頻關(guān)鍵幀數(shù)據(jù)實(shí)時(shí)提取系統(tǒng)軟件設(shè)計(jì)

全景視頻關(guān)鍵幀數(shù)據(jù)提取是視頻檢索中的另一重要環(huán)節(jié)，其關(guān)鍵幀是鏡頭的代表性幀，利用關(guān)鍵幀技術(shù)實(shí)現(xiàn)對(duì)圖像的快速檢索，從而極大地降低了檢索所需的信息量，提高了視頻檢索的準(zhǔn)確性。

2.1 檢測(cè)全景視頻圖像的突變幀

在提取全景視頻關(guān)鍵幀數(shù)據(jù)的過程中，需要先對(duì)全景視頻進(jìn)行預(yù)處理，全景視頻經(jīng)過預(yù)處理之后，在全景視頻關(guān)鍵幀處理時(shí)，由于鄰近關(guān)鍵幀的不相關(guān)(非交迭區(qū))大約占整個(gè)圖像的40%(此處對(duì)鄰近關(guān)鍵幀的交迭需要60%)，會(huì)存在含有鏡頭邊界的片段[10-12]，因此，若將兩個(gè)相鄰的幀圖像進(jìn)行關(guān)聯(lián)運(yùn)算，必然會(huì)提高誤判率，從而降低處理結(jié)果的精確性。檢測(cè)全景視頻圖像的突變幀時(shí)，只需要對(duì)鏡頭的突變邊界進(jìn)行檢測(cè)即可。

如果直接在全景視頻中計(jì)算相鄰兩幀圖像的互信息熵，就會(huì)存在一定偏差，因此本文將待檢測(cè)的兩幀圖像隨機(jī)劃分為子圖像塊，通過計(jì)算子圖像塊之間的互信息熵，獲取全景視頻圖像的突變幀。

通過對(duì)全景視頻進(jìn)行預(yù)處理[13]，篩選出包含鏡頭邊界的候選視頻片段，將其表示為：

F={F1,F2,…,Fk,…}(k≤n)

(1)

其中:n代表全景視頻的片段數(shù)量。

將F中第一幀到最后一幀圖像的所有圖像進(jìn)行相鄰兩幀組合，劃分成a×a個(gè)塊，計(jì)算出子圖像塊之間的互信息熵Ik,k+1。

對(duì)子圖像塊之間的互信息熵Ik,k+1進(jìn)行反運(yùn)算，得到：

(2)

將各個(gè)子圖像塊的熵值相加，計(jì)算全景視頻中，相鄰兩幀圖像的差值，公式為：

(3)

其中:N表示子圖像塊的數(shù)量。

利用相鄰兩幀圖像的差值[14-15]，計(jì)算與Ck,k+1相鄰幀圖像的局部極大值，那么Ck,k+1對(duì)應(yīng)的視頻幀就是鏡頭的突變邊界。

求解Ck,k+1的方差，分析其顯著性，如果|Ck,k+1|≥ζIk,k+1，說明全景視頻中相鄰兩幀圖像的相似性超過了用戶設(shè)定的閾值，將其作為鏡頭突變幀，如果|Ck,k+1|<ζIk,k+1，說明全景視頻中相鄰兩幀圖像的互信息熵沒有明顯變化，即不存在突變幀。

根據(jù)以上步驟，即可檢測(cè)全景視頻中的圖像是否存在的突變幀，為關(guān)鍵幀數(shù)據(jù)的特征匹配提供了質(zhì)量保證。

2.2 匹配全景視頻中關(guān)鍵幀數(shù)據(jù)的特征

利用計(jì)算機(jī)直接讀出圖象的灰度矩陣，避免了點(diǎn)特征的提取和匹配，降低了計(jì)算量，提高了處理速度。匹配全景視頻中關(guān)鍵幀數(shù)據(jù)的特征是關(guān)鍵幀提取的關(guān)鍵，根據(jù)全景視頻的圖像特征，獲取每一幀圖像的子區(qū)域灰度均值，給出具有m幀圖像的序列Xc，表示為：

(4)

其中:Gci代表全景視頻c中第i幀關(guān)鍵圖像。

利用全景視頻圖像序列Xc將[Gc1,Gc2,Gci]轉(zhuǎn)化為對(duì)應(yīng)的灰度值[16]，提取出全景視頻中關(guān)鍵圖像的時(shí)序特征，即：

Xf=n×{Af(1,k),…,Af(i,k)}

(5)

其中:Af(i,k)代表全景視頻f中，第i幀圖像在k范圍內(nèi)的灰度均值。

在進(jìn)行相關(guān)系數(shù)的計(jì)算時(shí)，如果將當(dāng)前關(guān)鍵幀內(nèi)的交疊區(qū)域看作是運(yùn)動(dòng)物體，而圖像被看作是靜態(tài)物體，則會(huì)發(fā)現(xiàn)，重疊區(qū)域會(huì)隨著拍攝時(shí)間的推移，逐漸地向圖像的后面移動(dòng)，直到圖像完全消失。如果將a幀全景視頻U與b幀目標(biāo)視頻V進(jìn)行匹配[17]，先計(jì)算出U和V在關(guān)鍵幀時(shí)序特征曲線的相鄰點(diǎn)差值，公式為：

(6)

將式(10)中關(guān)鍵圖像幀的特征差值曲線作為全景視頻關(guān)鍵幀的時(shí)序特征，對(duì)全景視頻中關(guān)鍵幀數(shù)據(jù)的特征進(jìn)行匹配，為了消除突變因素對(duì)匹配效果的影響，引入異常因子ξ判斷關(guān)鍵幀數(shù)據(jù)的特征能否成功匹配[18]，即：

(7)

其中:ΔSFV代表全景視頻中關(guān)鍵圖像幀的時(shí)域特征差值曲線，M代表全景視頻中包含的合格圖像幀數(shù)，K代表關(guān)鍵圖像幀的像素差值。

當(dāng)異常因子在容忍范圍內(nèi)，并且關(guān)鍵圖像幀的像素差值比用戶設(shè)置的閾值小，說明全景視頻中關(guān)鍵幀數(shù)據(jù)的特征成功匹配，通過對(duì)大量特征進(jìn)行多項(xiàng)式擬合，可以近似擬合圖像中的相關(guān)系數(shù)的變化趨勢(shì)，特別是在數(shù)據(jù)量大、有一定規(guī)則的情況下，通過選取最好的多項(xiàng)式和抽樣時(shí)間，可以精確地反映出結(jié)果的微小差異(即，曲線擬合函數(shù)所得到的最大值和實(shí)際位置之間的差異很小)，從而快速地確定數(shù)據(jù)的極值位置，在對(duì)圖像序列進(jìn)行顏色、紋理、形狀、運(yùn)動(dòng)等方面進(jìn)行分析的基礎(chǔ)上，選擇出能夠反映鏡頭整體內(nèi)容的圖像序列。能夠快速、真實(shí)地反映出圖像的動(dòng)態(tài)變化，計(jì)算效率高，擬合精度高，定位精度高。

2.3 基于互信息熵設(shè)計(jì)全景視頻關(guān)鍵幀數(shù)據(jù)提取算法

關(guān)鍵幀數(shù)據(jù)提取過程可以降低視頻索引所需的信息量，并為視頻的查詢與檢索提供了一個(gè)有效的框架。其中，鏡頭邊緣檢測(cè)和透鏡邊緣探測(cè)是圖像處理中的兩大主要環(huán)節(jié)。

一支鏡頭的關(guān)鍵幀長(zhǎng)度隨鏡頭長(zhǎng)度及鏡頭內(nèi)容的強(qiáng)弱而不同，隨著鏡頭長(zhǎng)度的增加，鏡頭內(nèi)容的改變速度會(huì)加快，該鏡頭的關(guān)鍵幀序列也會(huì)隨之延長(zhǎng)，反之則會(huì)縮短。由于視頻本身就是一個(gè)龐大的數(shù)據(jù)流，如果算法太過復(fù)雜，就很難實(shí)現(xiàn)實(shí)時(shí)的處理。在全景視頻中提取關(guān)鍵幀數(shù)據(jù)時(shí)，需要選擇一個(gè)能夠體現(xiàn)全景視頻圖像屬性的特征，對(duì)視頻中的主要信息進(jìn)行描述。利用數(shù)值化分析的方式[19]，將全景視頻幀的特征轉(zhuǎn)換成數(shù)組形式的特征向量，該特征向量可以利用計(jì)算機(jī)識(shí)別得到，實(shí)現(xiàn)鏡頭的邊緣檢測(cè)和幀間相似度計(jì)算。

提取全景視頻圖像特征是全景視頻關(guān)鍵幀數(shù)據(jù)提取的重要環(huán)節(jié)，而透鏡邊緣探測(cè)的目標(biāo)是把視頻分割成一系列的透鏡，透鏡是檢索、檢索和瀏覽的最小單元，利用互信息熵的屬性提取全景視頻的圖像特征，具體步驟如下：

Step1：將全景視頻的片段分割成n段，記作p1,p2,…,pn，由于每一個(gè)圖像幀在計(jì)算像素點(diǎn)的過程是獨(dú)立完成的，因此將GPU線程塊設(shè)置為32*32，每一個(gè)線程可以計(jì)算唯一一個(gè)視頻圖像區(qū)域的像素[20]，還可以在1個(gè)宏模塊中計(jì)算4個(gè)16*16塊的互信息，最后得到3種類型分別為32*32、32*16和16*32的互信息值，表示為：

In={I1,2,I2,3,I3,4,…,Il,l+1}

(8)

(9)

(10)

(11)

其中:h代表全景視頻幀的灰度等級(jí)，pi(x)代表視頻i的圖像灰度概率，pj(y)代表視頻j的圖像灰度概率，pi,j(x,y)代表兩幀圖像的聯(lián)合灰度概率。

獲取R、G、B三個(gè)通道的互信息熵值之后，利用下式計(jì)算總的互信息熵值，即：

(12)

Step3：利用R、G、B三個(gè)通道總的互信息熵值，計(jì)算每段全景視頻中相鄰兩幀圖像的互信息標(biāo)準(zhǔn)差：

(13)

Step4：將Step3中的標(biāo)準(zhǔn)差σ與閾值λ作對(duì)比，如果σ<λ，說明全景視頻片段中的圖像內(nèi)容不顯著，幀間相似度較大，反之執(zhí)行Step5；

Step5：獲取最大信息熵值對(duì)應(yīng)的圖像幀作為參考[21]，并與其他信息熵比較，即：

E=2Ix-Imax

(14)

當(dāng)E>0時(shí)，說明全景視頻中兩幀圖像的相似度較高，將其刪除，當(dāng)E≤0時(shí)，說明全景視頻中兩幀圖像的相似度較低，將全景視頻中該幀圖像的位置進(jìn)行標(biāo)記，提取出被標(biāo)記的視頻幀，將其作為全景視頻的關(guān)鍵幀，為后續(xù)的檢索、查詢、檢索和瀏覽提供了精確的依據(jù)。

3 測(cè)試分析

3.1 測(cè)試環(huán)境

為了驗(yàn)證文中系統(tǒng)在提取全景視頻關(guān)鍵幀數(shù)據(jù)時(shí)的性能，搭建了如下實(shí)驗(yàn)環(huán)境：

操作系統(tǒng)：Windows 7

CPU型號(hào)：Intel Core i9-4890

CPU頻率：4.8 GHz

RAM容量：8 GB

運(yùn)行環(huán)境：Matlab 2018b

軟件開發(fā)包：OpenCV3.2

3.2 實(shí)驗(yàn)數(shù)據(jù)

在3.1測(cè)試環(huán)境的基礎(chǔ)上，通過全景監(jiān)控視頻、全景動(dòng)畫視頻、全景體育視頻、全景電影視頻和全景新聞視頻進(jìn)行實(shí)驗(yàn)測(cè)試，各視頻數(shù)據(jù)如表1所示。

實(shí)驗(yàn)過程中使用的所用視頻都采用AVI格式，每一段視頻中圖像幀的總長(zhǎng)度為2 000幀～5 000幀。

表1 實(shí)驗(yàn)測(cè)試視頻數(shù)據(jù)

3.3 設(shè)置性能指標(biāo)

為了檢驗(yàn)文中系統(tǒng)的優(yōu)越性，在相同的實(shí)驗(yàn)條件下，采用基于深度學(xué)習(xí)的提取系統(tǒng)、面向手語識(shí)別的提取系統(tǒng)和文中提取系統(tǒng)對(duì)表1中視頻數(shù)據(jù)的關(guān)鍵幀進(jìn)行提取，測(cè)試了全景視頻關(guān)鍵幀數(shù)據(jù)提取的查全率和查準(zhǔn)率，計(jì)算公式為：

(15)

(16)

式中，Q代表全景視頻關(guān)鍵幀數(shù)據(jù)提取的查全率，Z代表查準(zhǔn)率，Uc代表正確提取的關(guān)鍵幀數(shù)據(jù)量，Um代表漏選的關(guān)鍵幀數(shù)據(jù)量，Uf代表錯(cuò)誤選擇的關(guān)鍵幀數(shù)據(jù)量。

3.4 提取全景視頻的關(guān)鍵幀數(shù)據(jù)

將表1中的視頻數(shù)據(jù)導(dǎo)入到基于互信息熵的全景視頻關(guān)鍵幀數(shù)據(jù)提取系統(tǒng)中，以全景監(jiān)控視頻為例，提取出全景監(jiān)控視頻中的關(guān)鍵幀數(shù)據(jù)，結(jié)果如圖2所示。

圖2 關(guān)鍵幀數(shù)據(jù)提取結(jié)果

由圖2可知，文中系統(tǒng)能夠準(zhǔn)確提取出全景監(jiān)控視頻的關(guān)鍵幀數(shù)據(jù)，而且關(guān)鍵幀數(shù)據(jù)提取的響應(yīng)頻率也比較穩(wěn)定。

3.5 性能分析

在性能測(cè)試中，采用基于深度學(xué)習(xí)的提取系統(tǒng)、面向手語識(shí)別的提取系統(tǒng)和文中提取系統(tǒng)，分別提取表1中5個(gè)類型視頻的關(guān)鍵幀數(shù)據(jù)，全景視頻關(guān)鍵幀數(shù)據(jù)提取的查全率和查準(zhǔn)率測(cè)試結(jié)果如圖3、圖4所示。

圖3 全景視頻關(guān)鍵幀數(shù)據(jù)提取的查全率

由圖3可知，采用基于深度學(xué)習(xí)的提取系統(tǒng)和面向手語識(shí)別的提取系統(tǒng)時(shí)，提取全景視頻關(guān)鍵幀數(shù)據(jù)時(shí)的查全率在60%～80%之間，而文中系統(tǒng)提取全景視頻關(guān)鍵幀數(shù)據(jù)時(shí)的查全率在95%以上，說明采用文中系統(tǒng)時(shí)，全景視頻關(guān)鍵幀數(shù)據(jù)提取錯(cuò)誤的概率較低，能夠保證關(guān)鍵幀數(shù)據(jù)提取的準(zhǔn)確性。

圖4 全景視頻關(guān)鍵幀數(shù)據(jù)提取的查準(zhǔn)率

由圖4可知，在查準(zhǔn)率測(cè)試中，3個(gè)系統(tǒng)的性能較查全率都有所提高，基于深度學(xué)習(xí)的提取系統(tǒng)和面向手語識(shí)別的提取系統(tǒng)將全景視頻關(guān)鍵幀數(shù)據(jù)提取的差準(zhǔn)率提升到80%以上，文中系統(tǒng)對(duì)5種類型視頻關(guān)鍵幀提取的查準(zhǔn)率可以達(dá)到98%以上，能夠減少關(guān)鍵幀數(shù)據(jù)漏選的數(shù)量。

4 結(jié)束語

將互信息熵應(yīng)用到全景視頻關(guān)鍵幀數(shù)據(jù)實(shí)時(shí)提取系統(tǒng)設(shè)計(jì)中。將待檢測(cè)的兩幀圖像隨機(jī)劃分為子圖像塊，通過計(jì)算子圖像塊之間的互信息熵，獲取全景視頻圖像的突變幀，將關(guān)鍵圖像幀的特征差值曲線作為全景視頻關(guān)鍵幀的時(shí)序特征，完成全景視頻中關(guān)鍵幀數(shù)據(jù)的特征匹配，選擇一個(gè)能夠體現(xiàn)全景視頻圖像屬性的特征，描述視頻中的主要信息，將全景視頻幀的特征轉(zhuǎn)換成數(shù)組形式的特征向量，通過計(jì)算互信息熵值，提取全景視頻關(guān)鍵幀數(shù)。經(jīng)過實(shí)驗(yàn)測(cè)試發(fā)現(xiàn)，該系統(tǒng)能夠準(zhǔn)確提取出全景監(jiān)控視頻的關(guān)鍵幀數(shù)據(jù)，并提高關(guān)鍵幀數(shù)據(jù)提取的查全率和查準(zhǔn)率。

目前大多數(shù)視頻都是經(jīng)過壓縮后的視頻，如果不經(jīng)過解壓直接提取關(guān)鍵幀數(shù)據(jù)，就會(huì)加大關(guān)鍵幀數(shù)據(jù)提取的時(shí)間開銷，在今后的研究中，希望可以先對(duì)視頻進(jìn)行解壓處理，保證關(guān)鍵幀提取的質(zhì)量。