楊春蓉

（新余學(xué)院數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院 江西 新余 338004）

基于內(nèi)容的視頻檢索從視頻中進(jìn)行是比較困難的，因此，通過(guò)對(duì)視頻的顏色、物體形狀、紋理、物體運(yùn)動(dòng)和輪廓等特征進(jìn)行分析，再借助其他的先進(jìn)成熟技術(shù)來(lái)進(jìn)行。

1 視頻鏡頭的檢測(cè)

鏡頭檢測(cè)是基于內(nèi)容視頻檢索的第一步，視頻檢索的有效性在一定程度上由鏡頭分割的準(zhǔn)確度決定。因此，在基于內(nèi)容的視頻檢索中，鏡頭邊界檢測(cè)是關(guān)鍵的技術(shù)。確定從鏡頭到鏡頭的轉(zhuǎn)換位置是鏡頭檢測(cè)的關(guān)鍵。鏡頭間的轉(zhuǎn)變主要包括兩種類(lèi)型：突變和漸變。突變是指沒(méi)有借助視頻編輯工具的情況下從一個(gè)鏡頭直接轉(zhuǎn)換為下一個(gè)鏡頭，沒(méi)有時(shí)間的延遲。漸變是指由前一個(gè)鏡頭慢慢轉(zhuǎn)換為下一個(gè)鏡頭時(shí)加入了一些空間或時(shí)間上的編輯效果，包括淡出淡入、溶解、擦變等，在鏡頭轉(zhuǎn)換的過(guò)程中有一個(gè)持續(xù)多幀的變化過(guò)程。其實(shí)漸變也可稱(chēng)為軟切換，其實(shí)現(xiàn)是要借助視頻編輯工具中的功能。轉(zhuǎn)換方式不同，一般情況下，檢測(cè)算法也不同。其中最為成熟的就是突變檢測(cè)的算法，而漸變檢測(cè)算法都需要先驗(yàn)假設(shè)的，還需進(jìn)一步完善相關(guān)技術(shù)?，F(xiàn)在，常用鏡頭檢測(cè)方法主要有基于壓縮特征的檢測(cè)法、數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)法。

1.1 基于壓縮域特征的檢測(cè)方法

近年來(lái)出現(xiàn)了一種新的鏡頭檢測(cè)算法，這種算法被廣泛應(yīng)用，即基于壓縮域特征的檢測(cè)。目前對(duì)壓縮域的研究基本上在MPEG壓縮域上。大多都是利用DCT系數(shù)、運(yùn)動(dòng)補(bǔ)償宏塊等信息來(lái)對(duì)壓縮內(nèi)對(duì)鏡頭突變進(jìn)行檢測(cè)。日本的Yasuyuki進(jìn)行切換檢測(cè)主要是利用Ⅰ幀的DC序列，在切換鏡頭時(shí)，一般都具有很大的色度變化，此時(shí)通過(guò)對(duì)兩個(gè)Ⅰ幀DC圖的色度相似度來(lái)進(jìn)行，由此才能對(duì)切換點(diǎn)進(jìn)行確定；另一種方法是切變的檢測(cè)，主要是利用進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)暮陦K的數(shù)量來(lái)進(jìn)行。其實(shí)在壓縮域內(nèi)對(duì)鏡頭漸變檢測(cè)的方法也是比較多的，Yeo等檢測(cè)閃光、淡入和淡出可借助從MPEG壓縮碼流中提取出的DC系數(shù)來(lái)進(jìn)行，同時(shí)此方法也可以對(duì)疊化和切變進(jìn)行區(qū)分。B幀的預(yù)測(cè)方法的獲得可以利用MPEG壓縮碼流中宏塊種類(lèi)的信息來(lái)進(jìn)行，檢測(cè)到各幀場(chǎng)景發(fā)生變化的區(qū)域。通過(guò)分析這些變化區(qū)域，可以將比較復(fù)雜的擦除轉(zhuǎn)換檢測(cè)出來(lái)，還可以將其擦除的種類(lèi)確定下來(lái)。

1.2 數(shù)據(jù)驅(qū)動(dòng)法

數(shù)據(jù)驅(qū)動(dòng)法分割鏡頭主要是根據(jù)鏡頭在發(fā)生轉(zhuǎn)換時(shí)其視頻數(shù)據(jù)所發(fā)生的變化來(lái)進(jìn)行。由于同一鏡頭的相鄰兩幀間的特征差值總會(huì)在某一閾值內(nèi)活動(dòng)，因此可以根據(jù)這點(diǎn)來(lái)判斷是否為同一個(gè)鏡頭。如果相鄰兩幀間的特征差值超過(guò)了這個(gè)閾值，那么說(shuō)明這兩個(gè)鏡頭不是同一種。尋找鏡頭邊界采用這種方法來(lái)進(jìn)行，雖然對(duì)突變的鏡頭效果較好，但對(duì)漸變的鏡頭效果不是很好。

1.3 模型驅(qū)動(dòng)法

模型驅(qū)動(dòng)法首先研究視頻鏡頭間切換的生成過(guò)程，從中尋找一些可用于分割處理的約束關(guān)系，再根據(jù)這些對(duì)各種鏡頭切換建立對(duì)應(yīng)的數(shù)學(xué)模型，然后檢測(cè)鏡頭切換，并且要自頂向下來(lái)進(jìn)行。只要能夠建立準(zhǔn)確的模型，那么檢測(cè)鏡頭往往能夠得到較好的效果。但是這種方式的建模過(guò)程是非常復(fù)雜，它需要對(duì)每種切換類(lèi)型建立模型。

2 提取關(guān)鍵幀

在鏡頭分割后，一般都需要進(jìn)行鏡頭關(guān)鍵幀的提取工作，這樣才能提供給用戶(hù)讓其進(jìn)行瀏覽。關(guān)鍵幀反映的是鏡頭的主要內(nèi)容，是從原始視頻中提取的用于描述一個(gè)鏡頭的一幅或若干幅關(guān)鍵圖像。一方面，關(guān)鍵幀集合對(duì)整個(gè)視頻內(nèi)容的快速瀏覽進(jìn)行著支持，另一方面，關(guān)鍵幀可以實(shí)現(xiàn)對(duì)視頻內(nèi)容的檢索，其主要是通過(guò)提取每個(gè)關(guān)鍵幀的視覺(jué)特征并建立索引。代表幀的選取能夠?qū)㈢R頭中的主要事件反映出來(lái)，因此在描述時(shí)應(yīng)盡可能完全準(zhǔn)確，而且其數(shù)據(jù)量應(yīng)盡量小，管理起來(lái)比較方便，不宜太復(fù)雜的計(jì)算。提取鏡頭固定位置上的幀可作為最簡(jiǎn)單的關(guān)鍵幀。這種提取關(guān)鍵幀的方法的運(yùn)算量較小，比較適合用于內(nèi)容活動(dòng)性小的鏡頭，其缺點(diǎn)就是不能靈活使用，它對(duì)鏡頭內(nèi)容不能有效地反映出來(lái)。平均法是比較經(jīng)典的關(guān)鍵幀提取方法。平均法是通過(guò)計(jì)算整個(gè)鏡頭，將具有一定平均意義的視頻幀作為鏡頭關(guān)鍵幀。一般情況，平均法分為兩種，一種是幀平均法，另一種是直方圖平均法。（1）幀平均法。該方法就是將一個(gè)鏡頭中所有幀的某個(gè)目標(biāo)位置上的像素值取出，并計(jì)算其平均值，與平均值的幀最相近的像素值作為關(guān)鍵幀。這種方法的難點(diǎn)在于選定目標(biāo)位置。由于鏡頭中任意兩相鄰幀的差異所體現(xiàn)的位置并不是固定的，所以，幀平均法所選取的關(guān)鍵幀就不是非常準(zhǔn)確了。（2）直方圖平均法。該方法是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均，其所選取的關(guān)鍵幀就是與該平均直方圖最接近的幀。視頻中的圖像可以選擇圖像處理中常用的低級(jí)視覺(jué)特征，這是由于視頻中的幀已經(jīng)由三維的視頻流轉(zhuǎn)換為二維的圖像。選擇顏色特征是諸多可視特征中較直接且有效的方法。在各顏色特征中，顏色直方圖是最常用的，因?yàn)樗軌驅(qū)D像幀顏色的統(tǒng)計(jì)分布和基本色調(diào)反映出來(lái)。這兩種方法不能將運(yùn)動(dòng)變化的鏡頭的全部?jī)?nèi)容反映出來(lái)。

選取關(guān)鍵幀最有效的方法就是隨著時(shí)間的變化通過(guò)對(duì)視頻視覺(jué)內(nèi)容進(jìn)行分析來(lái)確定所需關(guān)鍵幀的數(shù)目，抽取關(guān)鍵幀并按一定的規(guī)則來(lái)進(jìn)行。在檢測(cè)到一個(gè)鏡頭后，首先要先確定其狀態(tài)，如果是平穩(wěn)鏡頭，取值較穩(wěn)定；如果鏡頭是大運(yùn)動(dòng)變化的，取值差別是非常大的。在選取關(guān)鍵幀時(shí)可以根據(jù)鏡頭的這些特征來(lái)進(jìn)行：（1）針對(duì)平穩(wěn)鏡頭而言，可以選取其中的一個(gè)幀作為關(guān)鍵幀；（2）針對(duì)大運(yùn)動(dòng)的鏡頭，其關(guān)鍵幀就是變化前和變化后的兩幀；（3）鏡頭內(nèi)變化較多，需要選取多個(gè)代表幀，然后根據(jù)幀之間的顯著變化來(lái)進(jìn)行選擇。

3 基于內(nèi)容的相似性檢索

相似性檢索是當(dāng)前視頻檢索的主要方式。相似性檢索要求用戶(hù)提供比較感興趣的視頻片段，將樣本片段和視頻庫(kù)中的其他片段進(jìn)行相似性對(duì)比，然后返回檢索結(jié)果，這就是相似性檢索的過(guò)程。視頻相似性檢索主要圍繞如何提取反映視頻內(nèi)容的特征和如何量度特征間的相似性這兩個(gè)問(wèn)題進(jìn)行解決。（1）特征提取。在特征提取方面，目前主要從傳統(tǒng)的圖像檢索技術(shù)直接或者間接地繼承過(guò)來(lái)視頻檢索技術(shù)。在圖像檢索中，顏色、紋理和物體形狀是普遍使用的底層特征，也是視頻檢索中非常重要的特征。（2）相似性度量。通過(guò)計(jì)算查詢(xún)和候選圖像間在視覺(jué)特征上的相似度來(lái)進(jìn)行基于內(nèi)容的圖像檢索。因此對(duì)于檢索效果而言，定義一個(gè)合適的視覺(jué)特征相似度量方法對(duì)其的影響是非常大的。一般來(lái)說(shuō)，視覺(jué)特征都可以用向量的形式來(lái)表示，所以，采用向量空間模型 (vectorspacemodel)是視頻檢索時(shí)常用的一種相似性度量方法，也就是將視覺(jué)特征看作是向量空間中的點(diǎn)，對(duì)圖像特征間的相似度的衡量主要通過(guò)計(jì)算兩個(gè)點(diǎn)之間的接近程度來(lái)進(jìn)行。

4 視頻的語(yǔ)義分析

一般情況下，用戶(hù)希望檢索和瀏覽視頻在高層語(yǔ)義中進(jìn)行，而實(shí)際上大多數(shù)的檢索系統(tǒng)都是在低級(jí)特征上來(lái)提取。一直以來(lái)，視頻語(yǔ)義提取是視頻分析中的難點(diǎn)和重點(diǎn)，這是因?yàn)橐曨l的結(jié)構(gòu)復(fù)雜、語(yǔ)義信息豐富并且多歧義導(dǎo)致。隨著計(jì)算機(jī)技術(shù)的不斷更新，視頻語(yǔ)義信息的提取逐漸成為現(xiàn)代視頻檢索的關(guān)鍵。傳統(tǒng)的視頻檢索方式是需要人主動(dòng)地尋找自己所需的視頻內(nèi)容，是一種被動(dòng)式的信息獲取方式。此時(shí)低層視頻特征和高層內(nèi)容描述間存在較大的差異就是一個(gè)重要問(wèn)題，視頻語(yǔ)義分析的核心問(wèn)題就是如何在兩者間架設(shè)聯(lián)系的橋梁。

視頻語(yǔ)義分析可分為通用語(yǔ)義分析和特定語(yǔ)義分析兩種。通用語(yǔ)義分析面向不受限的視頻目標(biāo)，通常在特定視頻語(yǔ)義定義條件下進(jìn)行研究。提取的事件表達(dá)語(yǔ)義結(jié)構(gòu)但不能提供真正的語(yǔ)義概念是這種方法的最根本的局限性。由于語(yǔ)義信息非常龐大，通用的視頻語(yǔ)義分析無(wú)法將先驗(yàn)知識(shí)導(dǎo)入其中，因此識(shí)別的語(yǔ)義往往是比較簡(jiǎn)單的。但實(shí)際上，大多數(shù)的工作都是哎特定視頻類(lèi)型中開(kāi)展，也就是特定語(yǔ)義分析。由于視頻內(nèi)容被預(yù)先確定了，視頻信息才能夠被預(yù)先地分析和特定地建模。在這種情況下，識(shí)別系統(tǒng)中就能夠?qū)胂嚓P(guān)領(lǐng)域的先驗(yàn)知識(shí)，并能以模型的方式來(lái)進(jìn)行，所以，特定語(yǔ)義分析所獲得的語(yǔ)義信息一般都是比較準(zhǔn)確和充分的。目前的特定語(yǔ)義分析主要局限在新聞視頻、電影視頻、體育視頻和監(jiān)視視頻中，這主要是由于視頻語(yǔ)義的多義性和復(fù)雜性決定。

以上對(duì)基于內(nèi)容的流媒體視頻檢索的關(guān)鍵技術(shù)進(jìn)行了分析，這些技術(shù)是基于內(nèi)容的流媒體視頻檢索系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)不可或缺的技術(shù)?；趦?nèi)容的流媒體視頻檢索系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)所涉及的范圍較廣，其是一個(gè)較為復(fù)雜的系統(tǒng)工程，本文所提出的這些關(guān)鍵技術(shù)雖然是不可或缺的，但是也不是全部，因此，對(duì)基于內(nèi)容的流媒視頻檢索系統(tǒng)還必須進(jìn)行更深入的研究和探索。

［1］吳杰.P2P流媒體內(nèi)容分發(fā)與服務(wù)關(guān)鍵技術(shù)研究[D].復(fù)旦大學(xué),2008.

［2］尹浩,林闖,文浩,陳治佳,吳大鵬.大規(guī)模流媒體應(yīng)用中關(guān)鍵技術(shù)的研究[J].計(jì)算機(jī)學(xué)報(bào),2008(05).

［3］陳榮華.實(shí)時(shí)流媒體內(nèi)容分發(fā)系統(tǒng)優(yōu)化研究[D].復(fù)旦大學(xué),2010(12).

［4］智英建.基于新型分布式視頻點(diǎn)播架構(gòu)的流媒體調(diào)度技術(shù)研究[D].解放軍信息工程大學(xué),2008.