范柏超+朱濤
DOI:10.16660/j.cnki.1674-098X.2017.14.118
摘 要:為了解決目前基于閾值的鏡頭檢測算法存在魯棒性差的問題,該文提出了一種基于分塊顏色直方圖的鏡頭檢測算法,計算連續(xù)多幀分塊HSI直方圖差的均值作為幀間差異度,采用自適應(yīng)的閾值選擇策略,最后,在檢測流程中加入了對漸變過渡幀數(shù)的限制,實現(xiàn)了鏡頭檢測。實驗證明,該算法具有很好的檢測精度。
關(guān)鍵詞:鏡頭檢測 分塊顏色直方圖 自適應(yīng)閾值
中圖分類號:TP391 文獻標(biāo)識碼:A 文章編號:1674-098X(2017)05(b)-0118-02
鏡頭檢測是基于內(nèi)容視頻檢索的前提和基礎(chǔ),具有很強的實際意義[1]。鏡頭檢測同時也是個復(fù)雜的系統(tǒng)問題,屬于模式識別的范疇。鏡頭檢測主要包括突變檢測和漸變檢測兩種,目前,學(xué)者在該領(lǐng)域的研究主要分為兩個方面。
文獻[2-3]通過提取圖像幀中目標(biāo)特征來實現(xiàn)鏡頭檢測。其中,文獻[2]利用圖像分割技術(shù)提取特定目標(biāo)的邊緣紋理特征,獲得鏡頭邊界,文獻[3]利用SIFT算法進一步改進了精度。該算法盡管精度高,但是計算工作量大,很難滿足視頻分析實時性要求。
文獻[4-5]采用了基于閾值的檢測算法,通過與閾值比較,實現(xiàn)突變和漸變的鏡頭檢測。文獻[4]使用的閾值是預(yù)先設(shè)定的,而文獻[5]對不同的視頻逐段求取對應(yīng)的灰度直方圖差值,以其平均值作為閾值基準(zhǔn),具有更好的適應(yīng)性和檢測效果,但它應(yīng)用的c2直方圖求取機制,會造成幀數(shù)較長的漸變被漏檢。
上述兩種算法比較,基于閾值的鏡頭檢測算法簡單快速,應(yīng)用效果較好。但是目前該算法采用灰度直方圖做差來計算幀間差異度,這造成該算法魯棒性較差,首先,盡管使用灰度直方圖能夠很好地滿足鏡頭檢測速度的要求,但該方法忽略了幀的顏色信息;其次,采用整幀直方圖做差的形式,丟掉了鏡頭幀的內(nèi)容空間分布信息。為了解決上述問題,該文采用的算法,計算連續(xù)多幀圖像分塊HSI顏色直方圖差的均值作為幀間差異度,使用自適應(yīng)的閾值選擇策略且在算法檢測結(jié)構(gòu)上加入了對漸變過渡幀數(shù)的限制。
1 幀間差異度的計算
由于圖像分塊處理能夠體現(xiàn)圖像的空間分布特性,而HSI顏色模型更符合人類的感知特性,所以該文采用HSI分塊顏色直方圖做差求平均作為幀間差異度計算方法。為了兼顧算法檢測速度與檢測準(zhǔn)確率,該文將圖像縱向和橫向均勻分為3×3,共9個子塊。
為了計算幀間差異度,首先需要將各幀從RGB空間轉(zhuǎn)換為HSI空間中然后統(tǒng)計相鄰兩幀的各對應(yīng)分塊的顏色直方圖。前者顏色空間的轉(zhuǎn)換可以采用式子(1)到(3)計算得到,為了減少計算量,后者選取文獻采用的顏色直方圖統(tǒng)計辦法,該方法將HSI的3個空間按8,3,3等級非分均量化,最后統(tǒng)計得到72個顏色區(qū)間的一維直方圖的形式。如果采用Hij表示第i幀第j個子塊的顏色直方圖,那么其與第i+1幀對應(yīng)子塊顏色直方圖差異度Dij就可以通過下式來計算得到。
(1)
在實際分析中發(fā)現(xiàn),當(dāng)鏡頭局部內(nèi)容變動時經(jīng)常引起分塊圖像上個別塊直方圖產(chǎn)生了較大的改變,這也導(dǎo)致了其整幀的幀間差異度變化和鏡頭轉(zhuǎn)換相似。所以,為了減少這種情況給檢測帶來的誤檢率,該文并不是簡單地以9個分塊的平均值作為兩幀的幀間差異度,而是首先對9個子塊的差異度排序,然后去除其中最大值求平均值作為兩幀的幀間差異度Di。這種處理策略很好地減少了虛假鏡頭的檢入。
2 算法結(jié)構(gòu)
考慮到不同視頻的幀內(nèi)容變化強度是不同的,所以該文選取在各個檢測點周圍N幀的幀間差異度均值作為基準(zhǔn)設(shè)置鏡頭檢測的高低閾值。具體做法是,若當(dāng)前檢測幀后n幀(該文n取500)的幀間差異度平均值為T,則令高閾值為Th=Kh×T,低閾值為Tl=Kl×T,Th和Tl為比例常數(shù)(該文取Kh=4,Kl=1.5)。這樣選取的閾值就可以準(zhǔn)確地反應(yīng)幀間內(nèi)容的變化。當(dāng)檢測得到的潛在漸變鏡頭轉(zhuǎn)換累積幀數(shù)超過60幀時,認(rèn)為該漸變是虛假的,采用這種做法一定程度上提高了鏡頭檢測的精度。圖1為該文改進后的雙閾值鏡頭檢測算法結(jié)構(gòu),其中N為潛在漸變鏡頭轉(zhuǎn)換的累積幀數(shù),DN為當(dāng)前幀與前面第N個幀的幀間差異度,Di為當(dāng)前幀與前面相鄰幀的幀間差異度。
3 實驗分析
為了檢驗本算法的檢測效果,該文進行了大量的實驗測試,并與文獻[4]、文獻[5]中的鏡頭檢測算法進行了比較。實驗環(huán)境是VC++6.0,實驗中的視頻均來自2010年CCTV-5轉(zhuǎn)播的多場法網(wǎng)和澳網(wǎng)網(wǎng)球比賽視頻片段,采用查全率和查準(zhǔn)率對算法作為評價,其中查全率(Recall,R)和查準(zhǔn)率(Precision,P)定義分別為:
(2)
檢測結(jié)果和檢測均值見表1。從表1中可以看出,該文提出的算法對于鏡頭突變與漸變檢測具有很好的效果,其中查準(zhǔn)率相對于其他兩種算法要高,這是因為當(dāng)發(fā)生在鏡頭內(nèi)運動員頻繁移動或遮擋時,文獻[4]和文獻[5]很容易錯檢為漸變鏡頭,而該文采用的幀間差異度計算方法一定程度上減少這種誤檢的發(fā)生,另外,該文算法對漸變鏡頭累積幀幀數(shù)進行了限制,這也是該文算法查準(zhǔn)率優(yōu)于前兩種算法的原因之一。
4 結(jié)語
視頻數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù),鏡頭檢測是視頻數(shù)據(jù)結(jié)構(gòu)化提取鏡頭的關(guān)鍵技術(shù)。閾值比較鏡頭檢測算法具有較好的應(yīng)用效果,但是魯棒性較差。為此,該文采用了一種分塊顏色直方圖做差,忽略最大值求平均的幀間差異度計算方法,很好地彌補了原有閾值鏡頭檢測算法對突變與漸變檢測的不足。
參考文獻
[1] 潘忠平.新聞視頻鏡頭檢測GT方法的并行化研究和實現(xiàn)[D].長沙:國防科學(xué)技術(shù)大學(xué),2014.
[2] Cooper M,Liu T,Rieffel E.Video segmentation via temporal pattern classification[J].Multimedia,2007,9(3):610-618.
[3] 楊世沛,陳杰,周莉,等.一種基于SIFT的圖像特征匹配方法[J].電子測量技術(shù),2014,37(6):50-53.
[4] Zhang HJ,Kankanhalli A,Smoliar S W.Automatic partitioning of full motion video[J].Multimedia System,1993,1(1):10-28.
[5] Wang JY,Luo W.A self-adapting dual threshold method for video shot transition detection[A].Networking, Sensing and Control[C].Nan jing, China,2008.