【摘 要】本文對視頻信息檢索的索引方法作一初步探討，該方法包括：對視頻內(nèi)容進(jìn)行分割；分割后具代表性的對象賦予數(shù)據(jù)特征；對視頻內(nèi)容按檢索要求進(jìn)行分類（層）；分割對象與檢索類型建立對應(yīng)關(guān)系，從而建立索引和檢索體系。

【關(guān)鍵詞】視頻 索引 分割 分類 對應(yīng)關(guān)系

一、研究背景與研究思路

所謂視頻，通俗的說，就是隨時(shí)間變化的圖像。由于數(shù)字影像技術(shù)的飛速發(fā)展及網(wǎng)絡(luò)的普及，視頻信息面廣量大，種類龐雜，使人目不暇接。面對浩瀚如海的視頻信息，人們要查找時(shí)往往不知從何入手，迫切希望能像檢索文本信息數(shù)據(jù)那樣，通過類似關(guān)鍵詞的信息索引，快速查找到所需要的視頻信息。要實(shí)現(xiàn)這樣的要求，首要條件是構(gòu)建快速而有效的索引方法，為快速檢索奠定基礎(chǔ)?，F(xiàn)階段，動態(tài)的視頻信息的檢索大多還處于研究狀態(tài)，有些處于實(shí)驗(yàn)性模型，有些只適用于某些特殊范圍視頻信息的檢索①。總之，就目前而論，似還沒有能較普遍使用的視頻信息檢索和索引方法。本文作為這一研究領(lǐng)域的一個(gè)嘗試，試就視頻信息檢索的索引方法作一初步研究。

本文研究的基本思路是：對視頻內(nèi)容的隱含結(jié)構(gòu)進(jìn)行分割；分割后具代表性的對象賦予數(shù)據(jù)特征；對視頻內(nèi)容按檢索要求進(jìn)行分類；分割對象與檢索類型建立對應(yīng)關(guān)系，從而建立索引和檢索體系。

二、分割視頻信息結(jié)構(gòu)，選取索引對象

視頻一般表現(xiàn)形式為節(jié)目，通過節(jié)目反映某個(gè)故事或主題。視頻存儲的數(shù)據(jù)并沒有明顯的索引信息，人們通常采用直線遞進(jìn)的方式欣賞和瀏覽。由于消費(fèi)者的職業(yè)、志趣等方面的差異，人們對視頻信息的消費(fèi)可分成不同的類型。例如，以娛樂、觀賞為目的的“消費(fèi)型”，以教學(xué)、比賽等為目的的“研究型”，以視頻本身的構(gòu)造、修改、完善為目的的“創(chuàng)作型”，以視頻信息為工具或載體的“應(yīng)用型”等等。不同的用戶檢索視頻信息的目的要求可能不同，有的需要檢索的對象可能是鏡頭，也有的需要檢索的對象可能是場景或者是故事單元。例如，跨欄運(yùn)動員可能需要查找劉翔起跑的視頻鏡頭，教師備課可能需要參考某段教學(xué)錄像等等。所以，要建立高效的、操作性強(qiáng)的視頻信息檢索索引體系，必須對視頻信息的內(nèi)在結(jié)構(gòu)進(jìn)行分解細(xì)化，進(jìn)而從中有針對性地選取索引對象。

1、視頻信息的內(nèi)在結(jié)構(gòu)分析

一部視頻類似于一本書，一本書的結(jié)構(gòu)有書名（標(biāo)題）、章、節(jié)、段落、句子、字詞等層次構(gòu)成。視頻也是如此，對一部視頻節(jié)目進(jìn)行細(xì)化分析，可以發(fā)現(xiàn)，按由高到低的順序，視頻可以分解成節(jié)目（名稱）、故事單元、場景、鏡頭、幀等層次②。其中，幀是最小的組成元素，是一個(gè)個(gè)靜止的圖像，類似于書中的字詞；針對某個(gè)對象用攝像機(jī)拍攝得到的幀的集合是一個(gè)鏡頭，鏡頭類似于書中的句子；描述某一地點(diǎn)的或某一對象的、具有相對獨(dú)立的敘事情節(jié)的若干連續(xù)鏡頭組成一個(gè)場景，場景類似于書中的段落；描述某一事件的具有相對完整的故事情節(jié)的若干個(gè)連續(xù)場景的集合構(gòu)成一個(gè)故事單元，故事單元類似于書中的章或節(jié)；一個(gè)或多個(gè)故事單元構(gòu)成一個(gè)節(jié)目，那就相當(dāng)于若干章節(jié)構(gòu)成一本書了。所以，視頻信息的結(jié)構(gòu)分析，與文本信息的結(jié)構(gòu)分析，思想方法是一樣的，可以按由高到低的順序，也可以按由低到高的順序。

2、視頻索引對象的選取

如上所述，一部視頻由節(jié)目、故事單元、場景、鏡頭、幀等這些層次所組成。由于消費(fèi)者檢索的目的要求不同，因此，索引對象也可能不同，節(jié)目、故事單元、場景、鏡頭、幀等都可能作為索引對象。這些對象面廣量大，作為索引對象，自然應(yīng)該具有代表性和關(guān)鍵性，因此，各層次索引對象的選取是建立索引體系的關(guān)鍵環(huán)節(jié)。

（1）幀的選取。幀是視頻信息中的原始對象，是一個(gè)個(gè)固定的圖像，其數(shù)量眾多，拍攝時(shí)每秒幾個(gè)或幾十個(gè)。這些幀不可能都作為索引對象。這就需要利用適當(dāng)?shù)姆椒?，從中選取一定數(shù)量的能夠適應(yīng)有關(guān)檢索要求的具有代表性的關(guān)鍵幀作為索引對象。關(guān)鍵幀的選取方法有基于視頻的分段和非基于視頻的分段兩種，具體方法有無監(jiān)督聚類選取算法、基于公差帶的方法等。

（2）鏡頭分割。鏡頭是視頻信息構(gòu)成的基本元素。根據(jù)鏡頭在視頻節(jié)目中作用劃分，鏡頭可分為交代鏡頭、動作鏡頭和空鏡頭等三種類型。交代鏡頭通常是用遠(yuǎn)景、全景等大景別的畫面，交代場景中景物的空間位置或相互關(guān)系，表現(xiàn)人物的運(yùn)動方式和運(yùn)動軌跡等；動作鏡頭是視頻節(jié)目的主要鏡頭，主要用以表現(xiàn)人物的形體語言、面部表情和運(yùn)動狀態(tài)；空鏡頭一般是指沒有人物活動的鏡頭，通常用遠(yuǎn)景或特寫兩極景別表達(dá)，其作用是調(diào)整敘事結(jié)構(gòu)、情緒基調(diào)和視覺感受。視頻鏡頭分割是一項(xiàng)比較復(fù)雜的技術(shù)，需綜合運(yùn)用統(tǒng)計(jì)學(xué)、電子學(xué)、計(jì)算機(jī)等方面的知識。近幾年，隨著電子技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，鏡頭分割技術(shù)有了長足進(jìn)步，開發(fā)出許多鏡頭分割的方法?？偟恼f來，鏡頭分割技術(shù)有基于非壓縮的和基于壓縮的兩大類。基于非壓縮的鏡頭分割方法有象素比較法、塊匹配似然比法、直方圖比較法等；基于壓縮的鏡頭分割方法有邊緣分割法、MPEG分割法、統(tǒng)計(jì)判決分割法、聚類分割法等。

（3）場景分割。場景是指在某一時(shí)間或空間內(nèi)發(fā)生的一定的任務(wù)行動或因人物關(guān)系所構(gòu)成的具體生活畫面，相對而言，是人物的行動和生活事件表現(xiàn)劇情內(nèi)容的具體發(fā)展過程中階段性的橫向展示。更具體地說，場景就是指在一個(gè)單獨(dú)的地點(diǎn)拍攝的一組連續(xù)的鏡頭。在視頻節(jié)目中，場景有敘述性場景、抒情性場景、氛圍性場景、主觀性場景、意象性場景等幾種類型。由于鏡頭是場景的組成部分，因此，場景分割一般是在鏡頭分割的基礎(chǔ)上進(jìn)行，場景分割的常用方法是根據(jù)相關(guān)鏡頭的相似度以及場景結(jié)構(gòu)的主要特征，結(jié)合鏡頭顏色和運(yùn)動信息特征進(jìn)行鏡頭聚類，從而得到場景。

（4）故事單元分割。故事單元是指在內(nèi)容上密切聯(lián)系的描述一個(gè)完整事件的視頻片段，一個(gè)故事單元常由一個(gè)或多個(gè)連續(xù)的場景或鏡頭組成，特別的，一個(gè)鏡頭也可能含有幾個(gè)故事單元。和場景分割的思想方法一樣，故事單元的分割在場景分割和鏡頭分割的基礎(chǔ)上進(jìn)行。例如，電視新聞節(jié)目的故事單元分割，常采用多模態(tài)融合的單元分割算法，即在對鏡頭選取關(guān)鍵幀的基礎(chǔ)上，利用人臉檢測和近鄰傳播聚類的檢測算法，結(jié)合有關(guān)計(jì)算機(jī)軟件，構(gòu)建出電視新聞節(jié)目的故事單元自動分割系統(tǒng)。③

三、對視頻內(nèi)容進(jìn)行分類（層），構(gòu)建相應(yīng)的索引模型

1、視頻內(nèi)容分類

同一段視頻，不同的人觀看可能會有不同的感受。即使是同一個(gè)人，如果多次觀看同一段視頻，可能也會得到不同的感受。例如，教師觀看某一段教學(xué)錄像，作為自己的教學(xué)參考，或作為教學(xué)評價(jià)的對象，或作為某一課題研究的模型，得到的感受、認(rèn)識可能會有很大的不同。在這些不同的感受、認(rèn)識之下把這段視頻劃歸何種類型，可能會得到不同的結(jié)論。因此，對視頻內(nèi)容的分類可能會因人、因事而有所不同，很難有固定統(tǒng)一的標(biāo)準(zhǔn)。筆者以為，對視頻內(nèi)容分類，應(yīng)采取宜粗不宜細(xì)的思想。不妨參照對一本書的內(nèi)容分類的思想方法。我們拿到一本新書，怎樣對其分類呢？首先看外觀，例如是精裝還是平裝，初版還是再版等等；其次看基本信息，例如編者、出版社、出版時(shí)間等等；最后看內(nèi)容，屬于科學(xué)技術(shù)，還是文學(xué)藝術(shù)，或是教材教參等哪種類型。這樣，這本書就可從這三種角度（或者說是三個(gè)層次）分別劃歸為某種類型。參照這一從不同角度分類（層）的方法，對視頻內(nèi)容也可從三個(gè)角度對其分類（層）④。第一層（低層），直覺感知，如顏色、紋理、形狀、運(yùn)動等；第二層（中間層），邏輯推理，如人物、地點(diǎn)、時(shí)間等；第三層（高層），智能推理，根據(jù)觀者基于知識而得到的對視頻的感受，的感知信息，如該視頻屬于教學(xué)、體育、娛樂等等。這種視頻內(nèi)容分類（層）可為建立視頻信息索引模型奠定基礎(chǔ)。

2、根據(jù)用戶需要，對視頻信息多方位介紹

以上關(guān)于視頻內(nèi)容的分類（層），僅是宏觀的、粗略的，僅此是不夠的。用戶檢索時(shí)需要的是更具體的索引信息，因此，在建立設(shè)定索引標(biāo)識、建立索引體系時(shí)，還需要對視頻信息的各個(gè)層次、各個(gè)側(cè)面進(jìn)行全面介紹。例如，有關(guān)創(chuàng)作過程的介紹（編者、導(dǎo)演、名稱等）；有關(guān)視頻使用的介紹（范圍、級別等）；有關(guān)信息存儲方法的介紹（格式、代碼等）；有關(guān)外觀情況的介紹（顏色、字體等）；有關(guān)主要內(nèi)容的介紹（事件、人物等）；有關(guān)瀏覽注意事項(xiàng)的介紹（占用空間、使用頻率等）；有關(guān)導(dǎo)引性介紹（類似視頻，存在問題等）。

3、構(gòu)建視頻索引分類模型

以上對視頻信息的需求描述及視頻內(nèi)容分類模型，可以構(gòu)建如下的視頻索引分類模型（見圖1）：

4、視頻對象（分割后）與索引類型（層次）的對應(yīng)關(guān)系

不同類型（層次）的視頻索引通過分割后的相應(yīng)的視頻對象來實(shí)現(xiàn)，其對應(yīng)關(guān)系如表1所示⑤：

結(jié)語

按如上研究思路，所設(shè)計(jì)的視頻檢索與索引系統(tǒng)，用示意圖表達(dá)如圖2所示。

隨著電子技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，視頻信息檢索的研究日新月異，新成果層出不窮。本文僅從分割分類（層）這一角度進(jìn)行了初步研究。期待同行們的進(jìn)一步研究，以期得到更好的成果?！?/p>

參考文獻(xiàn)

①楊曉宏等：《電視節(jié)目制作系統(tǒng)》[M].高等教育出版社，2005

②印曉莉，《基于內(nèi)容的視頻結(jié)構(gòu)分析》[J].《南京理工大學(xué)學(xué)報(bào)》，2005（3）：32-35

③柳群英，《基于運(yùn)動的視頻檢索系統(tǒng)》[J].《現(xiàn)代情報(bào)》，2003（6）：25-28

④高贊：《基于內(nèi)容的視頻分析關(guān)鍵技術(shù)》[M].北京郵電大學(xué)出版社，2011

⑤黎曉茹，《視頻流分鏡頭技術(shù)的研究》[J].《南京郵電學(xué)院學(xué)報(bào)（自科版）》1999（2）：12-15

（作者單位：江蘇省邳州市廣播電視臺）

責(zé)編：姚少寶