梁俊杰+熊亞軍+余敦輝

摘 要：提出一種基于本體的視頻檢索方法，利用本體的基本概念獲取樣本圖像組，并建立樣本圖像組和未標(biāo)注視頻的共同特征空間來(lái)實(shí)現(xiàn)視頻的標(biāo)注;在視頻標(biāo)注的基礎(chǔ)上，對(duì)視頻領(lǐng)域本體的基本概念集進(jìn)行擴(kuò)展來(lái)提高查詢的命中率，以對(duì)擴(kuò)展概念集記錄進(jìn)行檢索的方式完成視頻的檢索。

關(guān)鍵詞：領(lǐng)域本體;視頻檢索;共同特征空間;視頻標(biāo)注

中圖分類號(hào)：TP391 ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? 文章編號(hào)：2095-1302（2015）01-00-03

0 ?引 ?言

近年來(lái)，隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，不斷會(huì)有海量的、非結(jié)構(gòu)化的視頻數(shù)據(jù)產(chǎn)生。視頻數(shù)據(jù)因其強(qiáng)大的內(nèi)容承載能力正在越來(lái)越廣泛地作為信息載體應(yīng)用于信息傳播領(lǐng)域。而傳統(tǒng)的信息檢索方式又難以有效應(yīng)用于視頻檢索領(lǐng)域[1]。

通過(guò)構(gòu)建計(jì)算機(jī)科普視頻領(lǐng)域本體，條理化計(jì)算機(jī)科普視頻中涉及到的概念，然后借助這些概念在線獲取樣本圖像組，并建立它們與未標(biāo)注視頻的共同特征空間完成視頻的標(biāo)注。在此基礎(chǔ)上，對(duì)該領(lǐng)域本體的基本概念定義存儲(chǔ)結(jié)構(gòu)以建立相應(yīng)的記錄，并對(duì)基本概念集進(jìn)行擴(kuò)展，提高匹配檢索的命中率，最終完成對(duì)海量視頻信息的檢索。

1 ?視頻領(lǐng)域本體的構(gòu)建

本體是共享概念模型的明確形式化規(guī)范說(shuō)明，廣泛應(yīng)用于信息檢索、語(yǔ)義Web等領(lǐng)域[2]。本文以計(jì)算機(jī)科普視頻為例，基于WordNet知識(shí)庫(kù)提取計(jì)算機(jī)科普的相關(guān)概念，然后運(yùn)用Protégé[3]本體編輯工具建立計(jì)算機(jī)科普視頻的領(lǐng)域本體。該本體比較全面的涵蓋了計(jì)算機(jī)科普領(lǐng)域的基本內(nèi)容，為視頻檢索的圖像集初始化和自動(dòng)視頻標(biāo)注提供了載體，具體的計(jì)算機(jī)科普視頻領(lǐng)域本體如圖1所示。

圖1 ?視頻領(lǐng)域本體的構(gòu)建

2 ?視頻標(biāo)注算法

2.1 ?傳統(tǒng)的視頻標(biāo)注方法及其弊端

目前，大部分搜索引擎在檢索視頻文件時(shí)，是通過(guò)視頻文件的標(biāo)簽等文本信息進(jìn)行檢索的。隨著視頻數(shù)量的快速增長(zhǎng)，傳統(tǒng)的視頻標(biāo)注方法存在很多弊端[4]，主要如下：

（1）標(biāo)注量大：對(duì)海量的視頻信息逐個(gè)進(jìn)行標(biāo)注要耗費(fèi)大量時(shí)間;

（2）客觀性差：人工標(biāo)注難免受人為主觀性的影響。

傳統(tǒng)的視頻標(biāo)注方法存在的這些弊端將導(dǎo)致標(biāo)注偏差甚至錯(cuò)誤等問(wèn)題，進(jìn)而直接影響到視頻檢索準(zhǔn)確性。

2.2 ?視頻標(biāo)注

互聯(lián)網(wǎng)是一個(gè)包含海量圖像的巨大容器，而且蘊(yùn)含了大量的圖像知識(shí)。由此，可以根據(jù)關(guān)鍵字在線檢索得到大量的圖像，用以檢索的關(guān)鍵字即為對(duì)應(yīng)圖像組的標(biāo)注。然后通過(guò)CCA方法得到共同特征空間，這樣將標(biāo)注域的中圖像樣本的特征與被標(biāo)注域中的視頻的特征進(jìn)行比較[5]，并將比較得到相似度結(jié)果分別表示為r、rm、ra，其中r表示比較的最終結(jié)果，rm表示被標(biāo)注域視頻特征與圖像組中每一幅圖像的圖像特征通過(guò)共同特征空間進(jìn)行比較的得到最大值，ra表示與圖像組中幅圖像比較的均值，即r=rm+ra，即：

（1）

其中ri，i∈（1，2，…，n），n為該圖像組圖像樣本的數(shù)量，最終運(yùn)用式（1）將求得r值最大的圖像組的標(biāo)注作為該視頻的標(biāo)注。

2.2.1 ?圖像庫(kù)的初始化

根據(jù)領(lǐng)域本體的特點(diǎn)，可將領(lǐng)域本體的概念作為結(jié)點(diǎn)，而概念間的關(guān)系作為結(jié)點(diǎn)之間的層次關(guān)系，則領(lǐng)域本體可用樹來(lái)描述，從概念作為樹的結(jié)點(diǎn)的位置分，可大致將概念分為兩種，一種為葉子結(jié)點(diǎn)概念，另一種為非葉子結(jié)點(diǎn)概念。

定義1.元概念集：用樹描述的領(lǐng)域本體中處于葉子結(jié)點(diǎn)位置概念的集合，用Cm表示;

定義2.基本概念集：領(lǐng)域本體中所有概念的構(gòu)成的集合，用Cb表示。

圖像庫(kù)的初始化就是將逐個(gè)元概念集中的概念作為關(guān)鍵字在線獲取n幅具有代表性的圖像作為該概念的樣本圖像，該概念的樣本圖像組成的集合稱為對(duì)應(yīng)概念的圖像組，而該概念即為對(duì)應(yīng)圖像組的標(biāo)注。

2.2.2 ?視頻標(biāo)注算法

為方便描述，特作以下定義：

定義3.源域（Source Domain）：以元概念集中的概念為關(guān)鍵字通過(guò)互聯(lián)網(wǎng)圖像搜索引擎檢索得到的圖像組、該概念共同組成的數(shù)據(jù)集合，可用一個(gè)二元組SD來(lái)表示：SD={Ci，IGi}，IGi={ Imagei1、Imagei2、…、Imagein }，其中i為葉子結(jié)點(diǎn)概念的序號(hào)，imax為葉子結(jié)點(diǎn)位置概念的個(gè)數(shù)，n為每個(gè)葉子結(jié)點(diǎn)概念對(duì)應(yīng)的圖像組的圖像樣本數(shù)目;

定義4.目標(biāo)域（Target Domain）：把未標(biāo)注并且將要借助標(biāo)注域進(jìn)行標(biāo)注的互聯(lián)網(wǎng)視頻組成的集合，可用一個(gè)集合TD表示TD={V1、V2、…、Vm}，其中m為未標(biāo)注視頻的數(shù)目;

由于圖像特征和視頻特征是異構(gòu)的，不能通過(guò)分析圖像與視頻的相關(guān)性來(lái)決定是否將圖像的標(biāo)注信息作為視頻的標(biāo)注。為解決空間特征異構(gòu)問(wèn)題，引入共同特征空間的概念[6]。在標(biāo)注域和被標(biāo)注域的特征空間之間建立共同特征空間，這樣任意標(biāo)注域中的圖像樣本和被標(biāo)注域中的視頻樣本均可以借助映射矩陣投影到該共同特征空間中。

利用視頻關(guān)鍵幀提取工具[7]，提取視頻的關(guān)鍵幀建立視頻的圖像特征空間，給z個(gè)樣本對(duì){（K1，V1），…，（Kz，Vz）}，其中K1、K2…、Kz∈Rdi視頻關(guān)鍵幀的圖像特征空間的樣本，V1、V2…、Vz∈Rdv表示視頻特征空間的樣本，然后使用CCA（Canonical Correlation Analysis）方法來(lái)學(xué)習(xí)得到映射矩陣wi和wv。視頻標(biāo)注算法如下：

Begin輸入：SD、TD中的某個(gè)Vm

（1）建立每個(gè)IGi中每幅Imagein的圖像特征空間Sin、Vm的視頻特征空間Sa;

（2）提取Vm的關(guān)鍵幀kf，建立kf的圖像特征空間Sb;

（3）運(yùn)用CCA學(xué)習(xí)方法得到映射矩陣wi和wv;

（4）利用wi和wv建立共同特征空間Sc;

（5）For每一個(gè)Sin

①將Sin和Sa→Sb同時(shí)映射到Sc比較得到rin并計(jì)算

②計(jì)算圖像庫(kù)內(nèi)各個(gè)圖像組間的Rm

（6）將Rm對(duì)應(yīng)的圖像組相應(yīng)的概念作為視頻Vm的標(biāo)注;

End輸出：帶標(biāo)注的視頻Vm。

3 ?視頻檢索方法

3.1 ?視頻檢索框架

依據(jù)前文所述，基于計(jì)算機(jī)科普視頻領(lǐng)域本體和自動(dòng)視頻標(biāo)注進(jìn)行視頻檢索的基本框架如下：

圖2 ?計(jì)算機(jī)科普視頻檢索框架

3.2 ?檢索預(yù)處理

3.2.1 ?基本概念集的擴(kuò)展

視頻檢索采用用戶搜索關(guān)鍵字與領(lǐng)域本體中的概念集項(xiàng)進(jìn)行匹配的方式，但是包括漢語(yǔ)在內(nèi)任何語(yǔ)言都會(huì)存在同義詞的特性。而用戶在查詢時(shí)關(guān)鍵字的選取是隨機(jī)的，所以如果單一的采用基本概念集作為用戶查詢關(guān)鍵字匹配庫(kù)，會(huì)造成視頻數(shù)據(jù)的漏查，影響查全率。

為解決上述問(wèn)題，本文采用對(duì)基本概念集擴(kuò)展的方法來(lái)緩解同義詞給查詢帶來(lái)的影響。

例如，有元概念集Cm ={E， F， G}，基本概念集Cb={A，B，C，D，E，F(xiàn)，G}，假設(shè)Cb中，僅有概念B有典型同義詞B1、B2、B3，則將B1、B2、B3加入Cb，有擴(kuò)展概念集Ce={ A，B，B1、B2、B3，C，D，E，F(xiàn)，G}。

3.2.2 ?擴(kuò)展概念集記錄存儲(chǔ)結(jié)構(gòu)

為方便對(duì)視頻數(shù)據(jù)記錄進(jìn)行查詢，特對(duì)擴(kuò)展概念集數(shù)據(jù)記錄的存儲(chǔ)結(jié)構(gòu)用如下六元組R[8]定義：

Record={ID，Cei，F(xiàn)lag，Ch_ID，Vi，Vi_path}，且把形如Record記錄構(gòu)成的視頻數(shù)據(jù)庫(kù)記為DBR，其中各部分含義如表1所示，其中各部分含義如表1所示：

表1 ?擴(kuò)展概念集數(shù)據(jù)記錄結(jié)構(gòu)序號(hào) 項(xiàng)名稱 項(xiàng)含義

1 ID 記錄編號(hào)

2 Cei Ce中概念或同義詞項(xiàng)

3 Flag 標(biāo)識(shí)位

當(dāng)Flag=0時(shí)，表示Cei非葉子結(jié)點(diǎn);當(dāng)Flag=1時(shí)，表示Cei為葉子結(jié)點(diǎn)概念或同義詞;

4 Ch_ID Ce中Flag=0項(xiàng)孩子結(jié)點(diǎn)ID

5 Vi 各視頻的編號(hào)和名稱

6 Vi_path 視頻Vi的存儲(chǔ)路徑

3.3 ?檢索原理

本文中的視頻檢索是擴(kuò)展概念集記錄存儲(chǔ)結(jié)構(gòu)的基礎(chǔ)上，采用用戶輸入的查詢關(guān)鍵字KeyWord與擴(kuò)展概念集記錄中Cei進(jìn)行匹配的方法完成用戶的查詢請(qǐng)求并將查詢結(jié)果返回給用戶。根據(jù)Cei在領(lǐng)域本體樹中所處的位置，又分為以下兩種情況：

（1）如果查詢關(guān)鍵字與葉子結(jié)點(diǎn)概念或其同義詞匹配成功，即Flag=1，則將葉子結(jié)點(diǎn)概念所在記錄的視頻數(shù)據(jù)返回給用戶;

（2）如果查詢關(guān)鍵字與非葉子結(jié)點(diǎn)概念或者其同義詞匹配成功，即Flag=0，則需要通過(guò)Ch_ID逐層往下尋找其孩子結(jié)點(diǎn)，直至最終找到的結(jié)點(diǎn)沒(méi)有孩子為止，則將最后找的一個(gè)或者多個(gè)葉子結(jié)點(diǎn)概念所在記錄的視頻數(shù)據(jù)返回給用戶。

查詢樣例.查詢關(guān)于B1的視頻

Step1：通過(guò)用戶輸入的關(guān)鍵字KeyWord-B1與擴(kuò)展概念集記錄進(jìn)行匹配;

Step2：匹配成功后得其Flag=0，為非葉子結(jié)點(diǎn)概念的同義詞，則通過(guò)B1所在記錄的Ch_ID信息找到得到B1的孩子結(jié)點(diǎn)概念為E、F，且E、F均是葉子結(jié)點(diǎn)概念;

Step3：返回E、F中的視頻數(shù)據(jù)并通過(guò)VE_path和VF_path讀取視頻至檢索結(jié)果列表，檢索完成。

4 ?實(shí)驗(yàn)結(jié)果與分析

從互聯(lián)網(wǎng)上收集與計(jì)算機(jī)相關(guān)的視頻作為實(shí)驗(yàn)的基礎(chǔ)數(shù)據(jù)，借助計(jì)算機(jī)科普視頻領(lǐng)域本體完成圖像庫(kù)的初始化，并利用本文的視頻標(biāo)注算法完成視頻的標(biāo)注。

利用M-OntoMat-Annotizer[9]工具對(duì)視頻基礎(chǔ)數(shù)據(jù)進(jìn)行語(yǔ)義標(biāo)注，并編碼實(shí)現(xiàn)本文的視頻檢索算法。為比較本文提出的視頻檢索算法與傳統(tǒng)的視頻檢索算法優(yōu)劣，同時(shí)借助已有方法完成傳統(tǒng)的基于關(guān)鍵詞的視頻檢索和完成基于內(nèi)容的視頻檢索。

為保證實(shí)驗(yàn)的客觀性，邀請(qǐng)多位區(qū)分度較大的用戶提出5個(gè)查詢要求：查詢有關(guān)計(jì)算機(jī)軟、硬件的視頻、計(jì)算機(jī)應(yīng)用的視頻、互聯(lián)網(wǎng)的視頻、計(jì)算機(jī)發(fā)展歷程的視頻分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中，采用查準(zhǔn)率和查全率[10]作為衡量檢索性能的標(biāo)準(zhǔn)，并定義如下：

查準(zhǔn)率= ? 查詢過(guò)程中需要的視頻個(gè)數(shù)

查詢過(guò)程中的視頻總數(shù)

查全率= ? ? ? 查詢過(guò)程中需要的視頻個(gè)數(shù)

視頻基礎(chǔ)數(shù)據(jù)中需要的視頻總數(shù)

根據(jù)以上的實(shí)驗(yàn)設(shè)置，當(dāng)圖像組的圖像樣本數(shù)n=1 000時(shí)，實(shí)驗(yàn)結(jié)果如圖3和圖4所示。

圖3 ?查準(zhǔn)率 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖4 ?查全率

從圖3和圖4的實(shí)驗(yàn)結(jié)果表明：本文提出的視頻檢索方法相對(duì)于基于關(guān)鍵字和內(nèi)容的視頻檢索方法，大部分的查詢請(qǐng)求的查準(zhǔn)率有不同程度的提高，驗(yàn)證了本文方法的有效性。

5 ?結(jié) ?語(yǔ)

本文提出了一種基于領(lǐng)域本體和自動(dòng)標(biāo)注的視頻檢索技術(shù)，通過(guò)領(lǐng)域本體的基本概念集收集樣本圖像組，并建立圖像組和未標(biāo)注視頻的共同特征空間完成視頻的標(biāo)注;通過(guò)將領(lǐng)域本體用樹來(lái)描述，在樹結(jié)構(gòu)的基礎(chǔ)上完成視頻的檢索。實(shí)驗(yàn)結(jié)果表明，基于領(lǐng)域本體和自動(dòng)標(biāo)注的視頻檢索技術(shù)大大提高了視頻檢索的效率。

參考文獻(xiàn)

[1]Rasiwasia N，Costa Pereira J，Coviello E，et al.A new approach to cross-modal multimedia retrieval[A].Proceedings of the International Conference on ACM Multimedia[C].Firence， Italy，2010：253-258.

[2]徐正寧.基于本體的Web數(shù)據(jù)語(yǔ)義信息的表示與處理方法研究[D].長(zhǎng)沙：國(guó)防科技大學(xué)，2002.

[3]張小峰，唐新亭，趙永升，等.基于本體技術(shù)的Internet智能搜索研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006，27（7）：1915-1916.

[4]張靜，馬桔.利用本體的視頻語(yǔ)義概念檢測(cè)[J].小型微型計(jì)算機(jī)系統(tǒng)，2008，29（12）：2354-2356.

[5]Yang Na，Luo Hangzai，Xue Xiangyang.A method to detect anchorperson shots for digital TV news[J].Journal of Software，2002，13（8）：1559-1565.

[6]王晗，吳心筱，賈云得.使用異構(gòu)互聯(lián)網(wǎng)圖像的視頻標(biāo)注[J].計(jì)算機(jī)學(xué)報(bào)，2013，36（10）：2063-2065.

[7]隗華，陳曉鷗.一種格式無(wú)關(guān)的視頻序列關(guān)鍵幀提取策略[J].計(jì)算機(jī)應(yīng)用，2003（23）：190-191.

[8]尹文杰，韓軍偉，郭雷.圖像與視頻自動(dòng)標(biāo)注技術(shù)最新進(jìn)展[J].計(jì)算機(jī)科學(xué)，2011，38（12）：12-15.

[9]陸琳睿，周竹榮，鄧維.一種基于本體的視頻檢索方法[J].西南大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，30（11）：122-123.

[10]老松楊，白亮，胡艷麗，等.基于領(lǐng)域本體的新聞視頻檢索[J].小型微型計(jì)算機(jī)系統(tǒng)，2007，28（8）：1473-1476.