黃蘭英，張凱兵，葉從歡

(湖北工程學院 計算機與信息科學學院, 湖北 孝感 432000)

基于關鍵幀的教學視頻檢索系統(tǒng)設計

黃蘭英，張凱兵，葉從歡

(湖北工程學院 計算機與信息科學學院, 湖北 孝感 432000)

針對目前教學視頻檢索系統(tǒng)的不足, 設計并實現(xiàn)了一種基于關鍵幀的教學視頻檢索系統(tǒng)。同時，介紹了該系統(tǒng)采用的關鍵技術(shù), 并對系統(tǒng)進行了測試和驗證。實驗結(jié)果表明，本系統(tǒng)能滿足應用要求。

關鍵幀檢索；顏色特征；相似度；教學視頻

隨著多媒體技術(shù)和網(wǎng)絡技術(shù)的迅猛發(fā)展，高等院校大量教學視頻不斷涌現(xiàn)，教學視頻的有效管理與再利用的效率不高，常用的教學視頻資源的檢索采用基于關鍵詞或文本的檢索方式(如通過制作節(jié)目標題或制作時間以及拍攝地點等字段進行檢索)。由于教學視頻是非結(jié)構(gòu)化的，教學視頻內(nèi)容豐富，基于關鍵詞或文本的檢索方法已不能滿足用戶對視頻資源的檢索要求。對海量教學視頻資源進行建庫、組織，從而快速、有效地檢索需要的視頻資源,成為教學視頻資源利用中迫切需要解決的問題[1-2]。

本文在文獻[3-5]的基礎上，設計了一個基于關鍵幀的教學視頻檢索系統(tǒng)，該系統(tǒng)采用基于互信息量的關鍵幀抽取方法，采用顏色信息作為關鍵幀特征，并通過簡化的直方圖距離進行相似性計算。在查詢檢索時，提供了結(jié)合關鍵字和關鍵幀的視頻檢索手段。

1 教學視頻檢索系統(tǒng)的總體架構(gòu)

本文設計的基于關鍵幀的教學視頻檢索系統(tǒng)主要由視頻關鍵幀處理子模塊、數(shù)據(jù)庫和視頻檢索子模塊組成，系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 教學視頻檢索系統(tǒng)

在視頻關鍵幀處理子模塊中，運用鏡頭檢測、關鍵幀抽取、特征提取等技術(shù)對視頻數(shù)據(jù)進行預處理,并建立視頻特征索引；視頻檢索子模塊采用基于關鍵字和基于關鍵幀相結(jié)合的方法來描述用戶的檢索，該模塊主要完成視頻特征索引、特征相似度計算與匹配，并根據(jù)相似度進行結(jié)果排序后提交給用戶；數(shù)據(jù)庫中的視頻特征庫主要包括內(nèi)容特征(底層特征)和視頻外部信息特征(高層特征)，其中視頻外部信息的描述采用了手工標注和自動標注。系統(tǒng)的整個查詢過程是：用戶提出查詢條件(如關鍵字、關鍵幀的圖例或特征)→系統(tǒng)根據(jù)用戶輸入的條件，通過索引，與特征庫中的特征進行相似度匹配→定位到具有相似特征的原始視頻數(shù)據(jù)庫(或關鍵幀庫) →返回查詢結(jié)果→完成查詢或進行下一輪查詢。

2 系統(tǒng)主要組成部分的設計與實現(xiàn)

2.1視頻關鍵幀抽取

關鍵幀是用于描述一個鏡頭的關鍵圖像幀，它反映了一個鏡頭的主要內(nèi)容, 是建立視頻索引的基礎，關鍵幀的使用可以大大減少教學視頻索引的數(shù)據(jù)量，提高檢索速度和傳輸速度，節(jié)省存儲空間[4,6-7]。關鍵幀提取首先通過鏡頭邊界檢測技術(shù)將視頻流分成不同的鏡頭后，然后通過相應的算法從每個鏡頭中提取一幅或多幅關鍵幀，對于描述鏡頭的內(nèi)容起到?jīng)Q定性的作用。因此,對于基于內(nèi)容特征的教學視頻檢索，其核心是關鍵幀的提取，直接影響到檢索系統(tǒng)性能的優(yōu)劣[4,6-7]。典型關鍵幀的提取法有:(1)基于鏡頭邊界的方法。該方法實現(xiàn)起來比較簡單，關鍵幀的數(shù)量都是確定的(1幀或2幀)，但是效果不穩(wěn)定[4,6]。(2)基于視覺內(nèi)容的方法。該方法可以根據(jù)鏡頭內(nèi)容的變化程度選擇相應數(shù)目的關鍵幀，但所選取的幀不一定具有代表意義，容易選取過多的關鍵幀[4,6]。(3)基于運動分析的方法。這種方法根據(jù)鏡頭的內(nèi)容選擇相應數(shù)目的關鍵幀，實現(xiàn)起來難度和工作量都比較大[4,6，8]。(4)基于聚類的方法。該方法中關鍵幀數(shù)由類別數(shù)決定，而類別數(shù)又取決于指定的閾值，閾值的選取對關鍵幀的提取結(jié)果影響較大，且計算復雜度比較大[4,6,9]。

針對上述關鍵幀抽取的特點，本文在基于文獻[7-8]和[10]方法的基礎上，采用了一種基于互信息量的關鍵幀提取方法，該方法的主要思想是: 以連續(xù)兩幀中的互信息量來衡量兩幀圖像之間的相似程度，并結(jié)合聚類方法，根據(jù)視頻鏡頭序列的具體特點，為每個視頻鏡頭提取出一個或多個關鍵幀。

給定圖像A和B，互信息量定義為：

I(A，B)=H(A)+H(B)-H(A,B)

(1)

由式(1)可知互信息量I(A，B)表示兩幀相互包含對方的信息量，其中,H(A)和H(B)分別為視頻幀A和B的熵,H(A,B)為二者的聯(lián)合熵。當I(A，B)=0時，意味著A，B相互獨立，I(A，B)值越大，表明兩圖像的相似性程度越高。對于相鄰的連續(xù)兩幀, 分別獨立的計算其RGB三個分量的互信息量。由公式(1)可知, 相鄰圖像幀t,t+1在R分量上的互信息量可以表示為:

圖2 教學視頻片段的關鍵幀抽取

(2)

則圖像t,t+1 之間總的互信息量可表示為:

(3)

其中pA(a)和pB(b)分別表示視頻幀A和B中概率密度分布,則pAB(a,b)表示視頻幀A,B的聯(lián)合概率密度分布。

關鍵幀提取算法思想如下：

1)獲取的視頻相鄰幀間的互信息量I(t,t+1)；

2)初始化閾值threshold1劃分類,即相鄰幀互信息量I(t,t+1)I(t，t+1)I(t,t+1)< threshold1，則開始新的類；

3)計算每個類的平均互信息量；

4)根據(jù)閾值threshold2歸并類；

5)選擇各類中互信息量最接近該類的平均互信息量的幀作為候選關鍵幀。

如圖2所示是教學視頻片段采用互信息量抽取關鍵幀的結(jié)果情況(視頻素材是從教學視頻庫隨機選取)。

本文針對互信息量關鍵幀抽取法的性能進行了測試(見表1)，表1中實驗數(shù)據(jù)有故事片斷、新聞片斷、科教片斷、動畫片斷等，視頻格式為MPEG和AVI。

表1 實驗測試結(jié)果

表1的測試結(jié)果表明，利用該關鍵幀提取法提取的關鍵幀能較好地表示教學視頻內(nèi)容，數(shù)據(jù)處理計算量小,但方法的不足之處在于閾值threshold2的選取需要經(jīng)過人工調(diào)試。本文設計的閾值threshold2=0.4。

2.2特征提取

一般視頻中的幀圖像特征包括基于文本的特征(如關鍵字、注釋等)和視覺特征(如色彩、紋理、形狀、對象表面等)兩類，本文的特征提取主要是對關鍵幀的顏色視覺特征提取，并將提取的特征存入特征數(shù)據(jù)庫，供用戶查詢檢索；檢索時依據(jù)示例視頻幀的特征和數(shù)據(jù)庫中的視頻特征相比較，在設定的相似度內(nèi)搜索出所有符合條件的視頻。本系統(tǒng)采用的是顏色特征和RGB模型， 其中顏色直方圖統(tǒng)計如公式(4)：

H(k) =nk/N，k= 0,1,……,L-1

(4)

其中k代表幀圖像的特征取值，L是顏色取值范圍，nk是幀圖像中具有特征值為k的像素的個數(shù)，N是幀圖像像素的總數(shù)。這樣計算得到的顏色直方圖就是一個K維的特征向量,對幀圖像中所有像素的顏色取值所作的統(tǒng)計[3-4,6]。

2.3基于關鍵幀的檢索

視頻被抽象為關鍵幀后，教學視頻的查詢就變成按照某種特征的相似度來檢索視頻數(shù)據(jù)庫中與查詢描述相似的關鍵幀或視頻；在視頻檢索子模塊中,本文采用了基于關鍵字和基于關鍵幀相結(jié)合的方法來描述用戶的檢索要求。該子系統(tǒng)包括用戶查詢模塊和相似性匹配模塊?；陉P鍵字或文本的檢索方法采用關鍵字或文本的精確匹配，而基于關鍵幀的檢索則通過計算查詢關鍵幀圖像(視頻摘要)和候選圖像(視頻庫)之間在視覺特征上的相似度進行匹配[3-4]。相似性匹配采用公式(5)中的歐氏距離來衡量幀特征之間的相似度[3-4,6]。

d2(x,y)=(x1-y1)2+(x2-y2)2+…+(xn-yn)2=(x-y)T(x-y)

(5)

其中x和y為圖像特征向量，n是特征向量的維數(shù)。

用戶查詢模塊根據(jù)用戶的查詢條件，由系統(tǒng)完成視頻特征與用戶提交的特征的相似度進行特征匹配，并根據(jù)相似度進行結(jié)果排序后提交給用戶，如檢索到關鍵幀，用戶就可以利用播放器來觀看它所代表的視頻片斷。

圖3顯示的是檢索出相似視頻的部分搜索結(jié)果(截圖了前4個相似視頻，顯示的結(jié)果按照相似度由大到小排列，檢索結(jié)果包括視頻的相似度、視頻大小、視頻格式等)。

3 小結(jié)

本文設計了一個基于關鍵幀的教學視頻檢索測試系統(tǒng),該系統(tǒng)由前、后臺程序構(gòu)成；前臺分別采用ACCESS和ASP(Active Server Pages)編寫，后臺用Visual C++來完成,負責對視頻進行結(jié)構(gòu)化、提取關鍵幀和特征，并存入數(shù)據(jù)庫；在提取視頻的內(nèi)容特征時,系統(tǒng)把每段視頻的若干關鍵幀生成一個視頻摘要存放在數(shù)據(jù)庫中；在檢索結(jié)果顯示界面,把相應的摘要視頻提供給用戶瀏覽。實驗結(jié)果表明，教學視頻系統(tǒng)的采用關鍵幀的檢索較為準確，能夠滿足應用要求；不足之處是實驗數(shù)據(jù)畢竟有限，所設定的關鍵幀抽取閾值沒有經(jīng)過海量數(shù)據(jù)的驗證，因此不能對視頻動態(tài)細節(jié)進行精確表述，系統(tǒng)的可靠性有待進一步提高。

圖3 基于關鍵幀的部分視頻檢索結(jié)果

[1] 馮運生.基于內(nèi)容的視頻檢索技術(shù)及教學應用研究[D].新鄉(xiāng):河南師范大學,2008.

[2] 劉俊曉,孟祥增.視頻的內(nèi)容分析與檢索技術(shù)及其教學應用[J].現(xiàn)代遠距離教育，2006(5):24-26.

[3] 郭威.基于內(nèi)容的視頻檢索中關鍵幀提取方法的研究及實驗系統(tǒng)的開發(fā)[D].吉林:吉林大學, 2003.

[4] 季春.視頻檢索中關鍵幀抽取方法的研究[D].南京:南京理工大學,2005.

[5] 柯和平. 基于內(nèi)容檢索的視頻數(shù)據(jù)庫系統(tǒng)研究[J].計算機與數(shù)字工程, 2007(5):69-72.

[6] 楊華芬,鄭歡鳴. 基于內(nèi)容的視頻關鍵幀提取技術(shù)研究[J].福建電腦,2010(5):49-52.

[7] Huang L Y, Ye C H. Application of mutual information key frame extraction method in the teaching video retrieval[C]//Proceedings of International Conference on Multimedia Technology, 2011.

[8] 黃蘭英.一種基于互信息量的關鍵幀提取方法[J].孝感學院學報,2008(3):54-56.

[9] 潘曉英,王昊. 一種基于核聚類的關鍵幀提取方法[J].微機發(fā)展,2005(3):29-31.

[10] 陳贊,楊衛(wèi)英，張正軍.基于互信息量的關鍵幀全局優(yōu)化提取方法[J].電視技術(shù),2011(7): 6-28.

(責任編輯：張凱兵)

ResearchandImplementationofTeachingVideoRetrievalSystemBasedonKeyFrame

Huang Lanying, Zhang Kaibing, Ye Conghuan

(SchoolofComputerandInformationScience,HubeiEngineeringUniversity,Xiaogan,Hubei432000,China)

Considering the limitation of the existing teaching video retrieval systems, this paper develops and implements a teaching video retrieval systems which is based upon the detection of key frames. In addition, it introduces the key technologies of the system, tests and validates the performance of the system. Experimental results showed that the developed system could meet the requirements of applications.

key frame retrieval；color feature；similarity；teaching video

TP391.41

A

2095-4824(2013)06-0052-04

2013-10-09

湖北省教育廳項目(B20122604,Q20132705)

黃蘭英(1973- ),女,湖北孝感人,湖北工程學院計算機與信息科學學院副教授，碩士。

張凱兵(1975- )，男，湖北孝感人，湖北工程學院計算機與信息科學學院教師，博士。