收稿日期：2014－04－18

基金項(xiàng)目：國家重點(diǎn)基礎(chǔ)研究發(fā)展計劃(973)(2012CB316400)；國家自然科學(xué)基金(61025011， 61332016， 61202322)。

作者簡介：張維剛(1980- )，男，湖北咸寧人，博士研究生，講師，主要研究方向：多媒體計算、視頻分析與檢索；

王禎駿(1990- )，男，安徽黃山人，碩士研究生，主要研究方向：多媒體計算；

黃慶明(1965- )，男，黑龍江哈爾濱人，博士，教授，博士生導(dǎo)師，主要研究方向：多媒體計算、模式識別等；

高文(1956- )，男，遼寧大連人，博士，教授，博士生導(dǎo)師，中國工程院院士，主要研究方向：數(shù)字視頻編碼、多媒體計算、模式識別與多模態(tài)人機(jī)交互等。

摘要：視頻在網(wǎng)站上呈現(xiàn)時，最先映入眼簾的都是一幅靜態(tài)的封面圖像——視頻縮略圖。主題明確且圖像易見的視頻縮略圖，能讓用戶在預(yù)覽時更容易、更快捷地抓住視頻主題信息，提高該視頻的吸引力，獲得更多的點(diǎn)擊量和提升用戶的瀏覽體驗(yàn)及觀看興趣。本文針對網(wǎng)絡(luò)視頻縮略圖的推薦，在視覺內(nèi)容分析基礎(chǔ)上，通過融合圖像易獲取性評價和視頻內(nèi)容代表性評價來獲得縮略圖推薦結(jié)果。在網(wǎng)絡(luò)視頻數(shù)據(jù)集上實(shí)施的主客觀評價實(shí)驗(yàn)表明，本文方法所推薦的視頻縮略圖與原有人工標(biāo)注的縮略圖相比，有著較好的一致性，能夠滿足實(shí)際應(yīng)用的需求。

關(guān)鍵詞：視頻縮略圖； 圖像易獲取性； 視頻內(nèi)容代表性； 支持向量回歸

中圖分類號：TP3914文獻(xiàn)標(biāo)識碼：A文章編號：2095-2163（2014）03-0005-06

Web Video Thumbnail Recommendation by Visual Content Analysis

ZHANG Weigang1， WANG Zhenjun2， HUANG Qingming2， GAO Wen1， 3

(1 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China;

2 School of Computer and Control， University of Chinese Academy of Sciences， Beijing 100049， China;

3 School of Electronics Engineering and Computer Science， Peking University， Beijing 100871， China)

Abstract：When a web video is shown on the website， its static cover image， which is also called video thumbnail， will firstly come into sight. A good thumbnail， which is easy to be accessed and much relevant to the video theme， can give the browsers as much content information as possible at a glance and makes the video more attractive. It will bring more website traffic and the user’s video browsing experience will also be improved. To attempt to solve the video thumbnail recommendation problem， the paper proposes a new approach based on visual content analysis of video keyframes. This method includes three operations: image accessibility evaluating， video content representativeness evaluating and fusing. The subjective and objective experiments on the web video dataset show good consistency between the recommended thumbnails and the original manual ones， which shows that the presented framework can meet the actual needs.

Key words：Video Thumbnail; Image Accessibility; Video Content Representativeness; Support Vector Regression

0引言

近年來，隨著數(shù)字視頻攝錄設(shè)備的普及和網(wǎng)絡(luò)社交媒體的快速發(fā)展，眾多視頻分享網(wǎng)站（Video Sharing Sites）涌現(xiàn)出來，吸引了大量的網(wǎng)絡(luò)用戶并獲得了非常高的點(diǎn)擊量，如著名的YouTube、Google Video和優(yōu)酷（Youku）等。據(jù)YouTube網(wǎng)站統(tǒng)計信息［1］：每月有超過10億的唯一身份用戶訪問YouTube；用戶每月在YouTube上觀看的視頻總時長超過60億小時；而每分鐘就有時長可達(dá)100小時的視頻上傳到Y(jié)ouTube。這些視頻分享網(wǎng)站擁有海量的各類視頻，其中一部分是網(wǎng)站自身提供的，更多的則是由網(wǎng)絡(luò)用戶上傳的。如何呈現(xiàn)這些視頻，以便有效提升用戶的感興趣程度和觀看體驗(yàn)，實(shí)現(xiàn)更高點(diǎn)擊率，是一項(xiàng)值得研究的工作。當(dāng)前，絕大多數(shù)視頻分享網(wǎng)站提供如圖1所示的視頻縮略圖（Video Thumbnail，相當(dāng)于視頻封面），可將視頻的主題內(nèi)容概要做以展現(xiàn)，并輔以標(biāo)題、點(diǎn)擊量、評論數(shù)、視頻清晰度、內(nèi)容描述、內(nèi)容提示標(biāo)簽等文字信息，供用戶瀏覽和點(diǎn)擊觀看。在這些視頻信息中，最先映入眼簾并吸引人眼球的就是視頻縮略圖。優(yōu)秀

圖1視頻分享網(wǎng)站上展示出的視頻縮略圖示例

Fig.1Some video thumbnails shown

on the video sharing sites

的視頻縮略圖，一是要求縮略圖里的目標(biāo)足夠顯著，使用戶“瞥一眼”就能看清其中的物體，尤其是在視頻分享網(wǎng)站上縮略圖顯示尺寸有限的情況下（YouTube上為175×98）；二是要求縮略圖能夠貼切地反映視頻的主題內(nèi)容；這樣才能使得用戶在快速瀏覽視頻網(wǎng)站時能夠看清楚圖像并準(zhǔn)確獲知視頻的主題，從而決定是否點(diǎn)擊打開后再詳細(xì)觀看。

那如何自動生成好的視頻縮略圖呢？本文基于視頻關(guān)鍵幀的視覺內(nèi)容分析，從圖像易獲取性(Image Accessibility，用來表征視頻縮略圖里目標(biāo)顯著可見)和視頻內(nèi)容代表性(Video Content Representativeness，用來表征視頻縮略圖所表達(dá)內(nèi)容與視頻主題的吻合度)兩個方面展開工作，提出相應(yīng)評價方法，并根據(jù)評價結(jié)果融合得到一個有效的網(wǎng)絡(luò)視頻縮略圖推薦框架。

1相關(guān)研究工作

視頻縮略圖往往來自于視頻本身。從視頻中選取一幅易獲取性高的、且具有良好視頻內(nèi)容代表性的關(guān)鍵幀，即可將其作為視頻縮略圖用。第3期張維剛，等：融合視覺內(nèi)容分析的網(wǎng)絡(luò)視頻縮略圖推薦智能計算機(jī)與應(yīng)用第4卷

對于一些視頻分享網(wǎng)站，通常是直接從原始視頻中根據(jù)時間(視頻的第一幀、中間幀或最后一幀)等間隔或隨機(jī)抽取一幀來作為視頻縮略圖，或者為用戶抽取多幀圖像再選擇其中一幀來作為視頻縮略圖。這類方法雖然簡單易行，但所獲得的視頻縮略圖卻具有很大的不確定性，即導(dǎo)致其缺乏足夠吸引力以及還能同時由用戶接受和認(rèn)可。此外，其他一些更為優(yōu)質(zhì)的方法有：Gong等人［2］和Hua等人［3］考慮將顏色、空間位置以及運(yùn)動信息作為特征來從視頻的每個鏡頭中選取關(guān)鍵幀。DuFaux［4］則將一些較高層的特征（如檢測出的人臉）融合到視頻縮略圖的生成過程中。Gao等人［5］提出利用一種主題標(biāo)準(zhǔn)來對一個視頻的關(guān)鍵幀進(jìn)行打分排序，從而選擇得分最高的關(guān)鍵幀作為相應(yīng)視頻的縮略圖，并且要求選出的縮略圖能夠包含視頻上下文中所有文本信息的語義主題。Lian等人［6］則將一系列的高層和低層的視覺特征，如人臉、光照、灰度直方圖、彩色直方圖等特征進(jìn)行了閾值選取和加權(quán)求和，并以此而作為評價視頻縮略圖優(yōu)劣的標(biāo)準(zhǔn)。只是該方法具有一定的缺陷，即這些特征的視覺表現(xiàn)力不夠，而且閾值和權(quán)值的確定都要依賴于經(jīng)驗(yàn)式的選取。

以上方法在選取視頻縮略圖的關(guān)鍵幀時，一是未具體考慮所用低層或高層特征在視覺上是否具有足夠顯著性(視覺關(guān)注度)；二是未考慮所選關(guān)鍵幀本身的視覺顯著性是否足夠優(yōu)良，是否足夠清晰可見、能讓用戶一目了然。另外，某些方法僅僅注重視頻縮略圖與視頻上下文的聯(lián)系是否緊密，但卻忽略了其本身需要能夠代表整段視頻的主題內(nèi)容。

針對視頻縮略圖需具有顯著直觀的特點(diǎn)，本文從圖像顯著性分析著手，定義了五個顯著性特征指標(biāo)，并結(jié)合紋理特征，利用支持向量回歸方法來對視頻關(guān)鍵幀進(jìn)行圖像易獲取性評價；其次又從視覺內(nèi)容表達(dá)能力出發(fā)，利用一種基于幀間相似度的互增強(qiáng)思想［7］，來對視頻關(guān)鍵幀的內(nèi)容代表性進(jìn)行評價；最后，將上述兩部分的評價結(jié)果通過線性加權(quán)融合而選取得到最優(yōu)關(guān)鍵幀，作為最終的視頻縮略圖，推薦給視頻上傳者或其他用戶瀏覽。本文所提出的網(wǎng)絡(luò)視頻縮略圖推薦框架如圖2所示?？蚣苤?，采用基于學(xué)習(xí)的鏡頭邊界檢測方法［8］和基于遞歸同組濾波的關(guān)鍵幀提取方法來獲得源視頻的關(guān)鍵幀序列后，再進(jìn)行圖像易獲取性評價和內(nèi)容代表性評價，而后再通過多特征加權(quán)融合排序以得到推薦的視頻縮略圖。

圖2本文提出的視頻縮略圖推薦框架

Fig.2Framework of the proposed video

thumbnail recommendation method

2圖像易獲取性評價

在大部分視頻分享網(wǎng)站上，除了首頁頭條之外，能用于展示視頻的空間位置是極為有限的，因此，絕大部分視頻縮略圖的尺寸都會很小。在如此小尺寸的圖像上，若使用戶一眼即能看清其中的目標(biāo)，并感知所表達(dá)的內(nèi)容，就要求圖像中的主要目標(biāo)足夠大，且處于居中位置，只有這樣才容易被用戶注意并捕捉到。此外，由于視頻分享網(wǎng)站上的視頻來源復(fù)雜，拍攝質(zhì)量參差不齊，基于此而要想獲得用戶的青睞，其縮略圖也必須是紋理豐富、清晰可見的。綜上所述，視頻縮略圖就需要具有較好的圖像易獲取性，利于用戶在極短的觀看時間內(nèi)能夠更為完整地接收到其中所表達(dá)的視頻內(nèi)容。

視頻圖像的視覺顯著圖(Visual Salience Map)能夠直接反映人們在觀看該圖像時的視覺注意程度。當(dāng)人們觀察一張圖像時，圖像中不同區(qū)域的物體對人眼的吸引力也將是各不相同的。能夠吸引大部分注意力的圖像部分就是其中的視覺顯著區(qū)域。若該部分區(qū)域在整個圖像中占據(jù)主要位置，且處于圖像中部，則觀看者將會更容易捕捉到圖像內(nèi)容。進(jìn)一步地，若顯著性區(qū)域中物體的細(xì)節(jié)，如紋理等能夠更為清晰一些，則必將會增加人們的感興趣程度。因此，為了使得所推薦的視頻縮略圖能夠具備容易被人眼抓取并且理解的特性，本文綜合圖像視覺顯著圖特征及紋理特征，提出了一種能夠更好切合本文研究問題的評價指標(biāo)——圖像易獲取性。

2.1圖像視覺顯著圖獲取

本文主要采用了Cheng等人［9］提出的基于直方圖對比度的視覺顯著圖的計算方法。該方法依據(jù)與其他像素的顏色差異來分配顯著性值，并能夠產(chǎn)生與原圖大小一致的顯著圖。

為了充分利用圖像的全彩色信息、并且降低計算量，該方法首先將每個RGB顏色通道的256級重新量化為12個不同數(shù)值，使顏色數(shù)量減少到123 = 1 728。而且為更進(jìn)一步地減少顏色數(shù)目，則僅僅保留高頻出現(xiàn)的顏色，并確保這些顏色能夠覆蓋原圖95%以上的像素。剩下的少于5%的像素所占的顏色則由直方圖中距離最近的顏色所代替。在顏色重新量化后，圖像I中顏色ci對應(yīng)的顯著性值定義為：

S(ci)=∑nj=1fjD(ci，cj)(1)

其中，n為量化后圖像的顏色總數(shù)，fj為cj在圖像I中出現(xiàn)的概率。D（ci，cj）為顏色ci和cj在L*a*b*空間的顏色距離度量，具體可參見文獻(xiàn)［10］。得到顏色ci的顯著性值S(ci)后，則可將圖像I中所有顏色為ci的像素對應(yīng)的顯著性值也置為S(ci)，由此而生成I的視覺顯著圖。在后續(xù)處理上，為了減少顏色量化所帶來的噪聲，還可對其進(jìn)行平滑處理。

基于視覺顯著圖，本文定義了5個量化指標(biāo)來衡量圖像中顯著內(nèi)容的易獲取性。對這些指標(biāo)則進(jìn)行如下描述。

（1）平均顯著度。為了評價整幅圖像的顯著性，不僅要考慮一些顯著區(qū)域的顯著性數(shù)值，更要考慮到這些顯著性區(qū)域在整幅圖像中發(fā)揮的作用處于何種等級。因此，引入平均顯著度來表征整幅圖像的顯著性大小。平均顯著度計算如下：

Sal_Ave=∑Hi=1∑Wj=1sal(i，j)(2)

其中，H和W表示圖像的高和寬，sal(i，j)表示原圖像對應(yīng)的顯著圖中第i行j列像素的顯著性值。

（2）水平方向顯著中心的位置。對視覺顯著圖進(jìn)行垂直投影，也就是將顯著圖中所有像素點(diǎn)按行累加。其后設(shè)定一個適當(dāng)閾值，將超過該閾值的水平位置判定為具有顯著性的區(qū)域。這些水平位置的平均值就是水平方向的顯著中心。具體計算公式為：

Sal_x=1N∑Nk=1Sal_X(k)(3)

Sal_X={j｜∑Hi=1sal(i，j)-T＞0}

其中，Sal_x為所求水平方向顯著位置中心；T為設(shè)定閾值，Sal_X則是判定為顯著區(qū)域的水平坐標(biāo)集合，且N為元素個數(shù)。

（3）垂直方向顯著中心的位置。垂直方向顯著中心的位置可由對視覺顯著圖進(jìn)行水平投影來展開計算，方法與（2）中類似，不再贅述。

（4） 水平方向顯著位置散度。水平方向顯著位置散度，用以表征圖像中顯著區(qū)域在水平方向上的離散程度。顯著區(qū)域水平方向的坐標(biāo)集合選取方法和公式(3)中相一致。位置散度計算如下：

Sal_Vx=1N∑Nk=1(Sal_X(k)-Sal_x)2(4)

（5）垂直方向顯著位置散度。垂直方向顯著位置散度的定義類比（4），計算方法則與公式(4)類似。

通過以上5個有關(guān)顯著性的量化指標(biāo)，可獲得圖像整體的顯著性程度，以及圖像中顯著性區(qū)域的位置分布情況等重要信息。閾值T是通過將投影生成的直方圖進(jìn)行歸一化后，再歷經(jīng)多次實(shí)驗(yàn)而選取確定的。由于網(wǎng)絡(luò)視頻圖像的大小不一，單一方向上的投影值將直接受到圖像寬度和高度的影響，因此歸一化就成為至關(guān)重要的實(shí)現(xiàn)步驟。實(shí)驗(yàn)發(fā)現(xiàn)，T=0.96時，所選取的顯著性區(qū)域效果較好。

2.2紋理特征計算

紋理是一種重要的視覺線索，本文采用簡單易于實(shí)現(xiàn)且效果良好的基于灰度共生矩陣的紋理特征提取方法［11］。其中定義的5個紋理量化指標(biāo)則用于評價視頻幀圖像的易獲取性。

（1）能量。即角二階矩(Angular Second Moment)，為灰度共生矩陣所有元素值的平方和，反映了圖像灰度分布均勻程度和紋理的粗細(xì)度；

（2）對比度。反映了圖像的清晰度和紋理溝紋深淺的程度；

（3）相關(guān)。度量空間灰度共生矩陣元素在行或列方向上的相似程度；

（4）熵。表示圖像所擁有信息量的度量；

（5）逆差矩。同質(zhì)性（Homogeneity），反映圖像紋理的同質(zhì)程度，度量圖像紋理局部變化的多少。

實(shí)驗(yàn)中選取0°，45°，90°，135°方向上距離為1的兩個像素作為計算單元，將圖像劃分為的4×3小塊，并算得4個方向上的各個特征值再取平均，構(gòu)成60維紋理特征向量，用于評價該圖像的易獲取性。

2.3圖像易獲取性得分計算

將5維視覺顯著性特征和60維紋理特征組合，得到視頻關(guān)鍵幀的65維圖像易獲取性特征向量。之后，本文參照圖像質(zhì)量評價中基于學(xué)習(xí)的方法［12］，利用人工標(biāo)注后的訓(xùn)練樣本，通過支持向量回歸學(xué)習(xí)而得到分類回歸模型，并使用該模型對視頻關(guān)鍵幀進(jìn)行圖像易獲取性打分，具體如圖3所示。這類學(xué)習(xí)方法適應(yīng)性強(qiáng)，并且能較好地處理一些缺乏先驗(yàn)知識的問題。

圖3圖像易獲取性得分的學(xué)習(xí)評價框架

Fig.3Framework of the learning-based

evaluation method for image accessibility

針對人工標(biāo)注后的訓(xùn)練樣本T={(x1，y1)，(x2，y2)，…，(xL，yl)}，其中，xi為視頻關(guān)鍵幀的圖像易獲取性特征向量，yi表示人工評價的易獲取性得分。采用基于SVM的支持向量回歸方法，擬合得到的圖像易獲取性得分評價函數(shù)如下：

Accessibility(x)=＜w， Φ(x)＞+b(5)

并采用含有松弛變量的優(yōu)化模型：

＜w，b＞=arg minw，b12‖w‖2+C∑li=1(ξi+ξi*)

s.t.yi-＜w，xi＞-b≤ε+ξi

＜w，xi＞+b-yi≤ε+ξi*

ξi，ξi*≥0(6)

3視頻內(nèi)容代表性評價

本文引入了基于互增強(qiáng)(Mutual Reinforcement)操作的排序算法［7］，用以評價各關(guān)鍵幀的視頻內(nèi)容代表性分值，并選取得分最高的關(guān)鍵幀來作為候選視頻縮略圖。互增強(qiáng)是指任意兩個對象之間的相似度均可用于計算，從而增強(qiáng)某一對象的代表性分值。已經(jīng)證實(shí)，這種基于互增強(qiáng)的排序算法在多種應(yīng)用中都具有顯著可見的較好效果。對于視頻關(guān)鍵幀序列K={ki，i=1，2，…，N}，記關(guān)鍵幀ki和kj的圖像相似度為sij，ki的視頻內(nèi)容代表性得分為ric，則有：

ric=∑Nj=1sijrjc(7)

由該定義可以看出，任意一幅關(guān)鍵幀的視頻內(nèi)容代表性分值都是由所有關(guān)鍵幀的內(nèi)容代表性分值累計構(gòu)成的。具體計算過程可見算法1。算法1：基于互增強(qiáng)操作的視頻內(nèi)容代表性評價輸入：視頻內(nèi)容代表性初始得分：r0=(0，0，…，0)1×N輸出：視頻內(nèi)容代表性最終得分：r0=(r1，r2，…，rN)1×NbeginInitializer0=(r10，r20，…，rN0)1×Nrandomly，t1such that∑Ni=1 ri0=1andi， ri0＞0while‖rt-rt-1‖＞eps(such that 10-5)dorit=∑Nj=1 sijrjt-1 ， i∈1，2，…，Nritrt‖rt‖， ‖rt‖1=∑Ni=1 rti ， tt+1endend

4多特征融合排序

在獲得關(guān)鍵幀ki的圖像易獲取性得分Accessibilityi和視頻內(nèi)容代表性得分ri后，通過簡單的線性加權(quán)融合方式計算最終得分Ri為：

Ri=εAccessibilityi+(1-ε)ri(8)

其中，ε為可調(diào)參數(shù)，保證最終得分Ri在0~1之間（本文中，ε=0.5）。

此后，基于最終評價得分Ri進(jìn)行排序，選取最大Ri值對應(yīng)的視頻關(guān)鍵幀，并將其作為所推薦的視頻縮略圖結(jié)果。

5實(shí)驗(yàn)結(jié)果

下面以優(yōu)酷網(wǎng)站上一段頭條視頻為例——“日本東部發(fā)生F5級龍卷風(fēng)”（該段視頻包含有6個鏡頭），給出視頻縮略圖的完整推薦過程。先對源視頻進(jìn)行鏡頭分割和關(guān)鍵幀提取，再利用基于直方圖對比度的顯著性值計算方法來得到視覺顯著圖，如圖4所示。

根據(jù)視覺顯著圖計算得到平均顯著度等5個量化指標(biāo)，并對原圖像提取60維紋理特征，構(gòu)成65維的特征向量后送入已訓(xùn)練完成的圖像易獲取性評價模型中，得到關(guān)鍵幀的圖像易獲取性評分，結(jié)果如圖5所示。其中，圖5(a)給出了得分排序最靠前的3幅關(guān)鍵幀圖像。然后利用互增強(qiáng)操作對關(guān)鍵幀序列進(jìn)行視頻內(nèi)容代表性得分評價，圖5(b)則給出了得分排序最靠前的3幅關(guān)鍵幀圖像。

圖4提取出的關(guān)鍵幀序列及對應(yīng)的視覺顯著圖(線框標(biāo)記)

Fig.4The extracted keyframes and their visual saliency maps

圖5單一排序最靠前的3幅關(guān)鍵幀圖像

Fig.5The top 3 key frames

圖6推薦的視頻縮略圖與原圖對比

Fig.6Comparison of the recommended

video thumbnail and the original image

最后，通過圖像易獲取性分值與視頻內(nèi)容代表性分值的線性加權(quán)融合排序，得到最終推薦的視頻縮略圖，如圖6左邊所示。與原網(wǎng)站上給出的視頻縮略圖（對于視頻分享網(wǎng)站上的熱點(diǎn)頭條視頻，其縮略圖往往是專業(yè)人員手工精心選定的）相比，本文方法推薦的視頻縮略圖與之是基本一致的。

5.1推薦結(jié)果與人工標(biāo)注結(jié)果的對比實(shí)驗(yàn)

從Youku網(wǎng)站下載了50個熱點(diǎn)短節(jié)目視頻，將通過所提出框架生成的推薦縮略圖與原網(wǎng)站中已有的專業(yè)手工標(biāo)注的縮略圖進(jìn)行了對比實(shí)驗(yàn)，結(jié)果如圖7(a)所示，一致率為72%。判斷所推薦的視頻縮略圖與原始人工標(biāo)注縮略圖是否一致的準(zhǔn)則是：將最終得分排序最靠前的3幅候選視頻縮略圖逐一與Youku上的原始人工標(biāo)注縮略圖進(jìn)行基于直方圖的相似度計算，當(dāng)其平均相似度超過一定閾值（經(jīng)過實(shí)驗(yàn)確定該閾值可取值為0.785）時，則認(rèn)為上述兩者是一致的。

圖7實(shí)驗(yàn)結(jié)果

Fig.7Experimental results

5.2用戶主觀評價實(shí)驗(yàn)

為了進(jìn)一步證明本文方法有效性，邀請了10位熟悉網(wǎng)絡(luò)視頻的用戶來對系統(tǒng)推薦的視頻縮略圖結(jié)果進(jìn)行主觀評價。由于視頻上下文環(huán)境(如標(biāo)題、標(biāo)簽等)的影響，用戶是擁有一定的視頻語義先驗(yàn)的，這將更加有利于主觀評價實(shí)驗(yàn)。在此將系統(tǒng)推薦的視頻縮略圖與從視頻中隨機(jī)抽取的一幀進(jìn)行了比較，分為較好、較差兩種評價，結(jié)果如圖7(b)所示。50個隨機(jī)下載的網(wǎng)絡(luò)視頻中有42個(占84%)由系統(tǒng)推薦生成的視頻縮略圖的效果要好于隨機(jī)抽取的視頻幀，只有8個的效果較差?？梢?，本文提出方法能夠有效地實(shí)現(xiàn)網(wǎng)絡(luò)視頻縮略圖的推薦。

5.3特征選擇的影響

為了評測不同特征的使用對所提出方法性能的影響，本文采用以下三種方式來實(shí)施對比實(shí)驗(yàn)：僅用圖像易獲取性特征(SCA)、僅用視頻內(nèi)容代表性特征(MR)及兩者加權(quán)融合(SCA-MR)，結(jié)果如圖8所示。在recall較低時，系統(tǒng)只選出與人工標(biāo)注縮略圖最一致的關(guān)鍵幀作為推薦結(jié)果，而忽略掉更多連續(xù)的相似幀，并且SCA-MR的性能要好于SCA及MR。而在recall要求較高時，由于會同時引入較多的噪聲視頻幀，因此SCA-MR與其他二者的優(yōu)劣性對比并不明顯。

5.4網(wǎng)絡(luò)視頻長度的影響

本文所提出框架主要是針對網(wǎng)絡(luò)視頻的縮略圖生成推薦。眾所周知，在視頻分享網(wǎng)站上出現(xiàn)的大部分網(wǎng)絡(luò)視頻的時長都較短，多是分布在1~10分鐘之間，且視頻內(nèi)容也相對比較單一集中。

為了測試本文框架對源視頻長度的適應(yīng)性，將從視頻分享網(wǎng)站上收集到的400個視頻按其時間長度劃分為小于1分鐘、1~4分鐘、4~8分鐘及大于8分鐘的4組實(shí)驗(yàn)數(shù)據(jù)。在此基礎(chǔ)上，分別采用SCA、MR及SCA-MR方法進(jìn)行對比實(shí)驗(yàn)，對比結(jié)果如圖9所示。

圖8性能對比實(shí)驗(yàn)結(jié)果

Fig.8The performance comparison results

圖9不同視頻長度對推薦性能的影響

Fig.9The results for different video lengths

視頻時長小于1分鐘，系統(tǒng)推薦結(jié)果和人工標(biāo)注縮略圖的一致程度在60%左右；而對于1~4分鐘以及4~8分鐘這些中長度的視頻，系統(tǒng)推薦的效果較好，與人工標(biāo)注縮略圖的一致率超過了70%。隨著視頻時長的進(jìn)一步增加，推薦結(jié)果的一致率再次降低到60%左右。這種整體所呈現(xiàn)的正態(tài)分布性可以解釋為：時長較短的視頻，內(nèi)容較少，較短的關(guān)鍵幀序列本身的相似度就較高，因此縮略圖可選范圍小、選取風(fēng)險較大。對于時長超過8分鐘這種較長的視頻，由于提取的關(guān)鍵幀較多，不免會引入更多噪聲視頻幀，因此系統(tǒng)的整體推薦性能有所下降。而對于時長適中的視頻，就可在避免噪聲視頻幀的同時涵蓋更多的視頻關(guān)鍵幀，這無疑必將有利于系統(tǒng)的推薦準(zhǔn)確性。此外，還能夠看到，多特征融合的方法均要好于僅使用單一特征的方法。

6結(jié)束語

本文主要針對網(wǎng)絡(luò)視頻的縮略圖生成問題，從縮略圖要紋理清晰、易于在很短時間內(nèi)由瀏覽者捕捉到其中主要目標(biāo)，且能夠較好表達(dá)整段視頻的主題內(nèi)容等角度考慮，利用視頻關(guān)鍵幀的視覺顯著圖并結(jié)合紋理特征來構(gòu)建圖像易獲取性評價指標(biāo)；同時利用圖像相似度計算和互增強(qiáng)操作來構(gòu)建視頻內(nèi)容代表性評價指標(biāo)；而且通過對候選縮略圖序列(即視頻關(guān)鍵幀序列)進(jìn)行圖像易獲取性和視頻內(nèi)容代表性評價得分的線性加權(quán)融合排序，并將綜合評價得分最高的候選幀作為最終的視頻縮略圖推薦給用戶，從而提高用戶觀看整段視頻的吸引力和可能性。該系統(tǒng)主要針對時長較短的網(wǎng)絡(luò)視頻，有較高的實(shí)時性。但在實(shí)驗(yàn)過程中卻已發(fā)現(xiàn)，互增強(qiáng)操作在候選縮略圖序列含有幀數(shù)較多時，收斂速度將會變慢，系統(tǒng)的實(shí)時性也會下降。因此在后續(xù)研究中，需努力探索更加魯棒的視頻內(nèi)容代表性評價排序方法，提高其適應(yīng)性，并將其拓展到較長的網(wǎng)絡(luò)視頻上。

參考文獻(xiàn)：

［1］YouTube網(wǎng)站統(tǒng)計信息（觀看情況）. http://www.youtube.com/yt/press/zh-CN/statistics.html

［2］GONG Y H， LIU X. Generating optimal video summaries［C］ //Proceedings of the 2000 IEEE International Conference on Multimedia and Expo (ICME). New York， USA: IEEE， 2000:1559-1562.

［3］HUA X S， LI S P， ZHANG H J. Video booklet［C］ //Proceedings of the 2005 IEEE International Conference on Multimedia and Expo (ICME). Amsterdam， The Netherlands: IEEE， 2005:189-192.

［4］DUFAUX F. Key frame selection to represent a video［C］ //Proceedings of the 2000 IEEE International Conference on Image Processing (ICIP). Vancouver， BC， Canada: IEEE， 2000:275-278.

［5］GAO Y L， ZHANG T， XIAO J. Thematic video thumbnail selection［C］ //Proceedings of the 2009 IEEE International Conference on Image Processing (ICIP). Cairo， Egypt: IEEE， 2009: 4333-4336.

［6］LIAN H C， LI X Q， SONG B. Automatic video thumbnail selection［C］ //Proceedings of the 2011 IEEE International Conference on Multimedia Technology (ICMT). Hangzhou， China: IEEE， 2011: 242-245.

［7］JOSHI D， WANG J Z， LI J. The story picturing engine: finding elite images to illustrate a story using mutual reinforcement［C］ //Proceedings of the 6th ACM SIGMM International Workshop on Multimedia Information Retrieval (MIR 2004). New York， USA: ACM， 2004: 119-126.

［8］LIU C X， LIU H Y， JIANG S Q， et al. JDL at TRECVID 2006 shot boundary detection. In TRECVID 2006 Workshop. NIST， 2006.

［9］CHENG M M， ZHANG G X， MITRA N， et al. Global contrast based salient region detection［C］ //Proceedings of The 24th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2011). Colorado Springs， CO， USA: IEEE， 2011: 409-416.

［10］ZHAI Y， SHAH M. Visual attention detection in video sequences using spatiotemporal cues［C］ //Proceedings of the 14th ACM International Conference on Multimedia. Santa Barbara， CA， USA:ACM， 2006: 815-824.

［11］HARALICK R， SHANMUGAM K， DINSTEIN I. Textural feature for image classification［J］. IEEE Transactions on System， Man， and Cyhernetics， 1973， 3(6):610-621.

［12］ WANG M， LIU B， HUA X S. Accessible image search for colorblindness［J］. ACM Transactions on Intelligent Systems and Technology (ACM TIST) ，2010，1(1):8.