鄭慧君

基于MapReduce的抗閃光鏡頭邊界檢測

鄭慧君

（東莞職業(yè)技術(shù)學(xué)院計算機(jī)工程系，東莞 523808）

利用MapReduce編程模型并行計算的思想，將視頻數(shù)據(jù)切割成若干個視頻片段，分配給若干個任務(wù)節(jié)點主機(jī)進(jìn)行視頻特征值的提取和鏡頭邊界檢測。考慮到新聞視頻中存在大量的閃光鏡頭，容易造成誤檢，用滑動窗口對幀間差異進(jìn)行分析，修正幀間差值。實驗結(jié)果表明，改進(jìn)的鏡頭算法不僅大大提高鏡頭檢測的效率，還可以有效地避免閃光鏡頭，取得較好的檢測精度。

鏡頭邊界檢測；MapReduce；直方圖；抗閃光

0 引言

隨著多媒體技術(shù)、智能手機(jī)的發(fā)展，視頻信息呈爆炸式增長。如何對海量的視頻信息進(jìn)行基于內(nèi)容的語義分析，實現(xiàn)基于視頻內(nèi)容的查找、分類和檢索，提取視頻中有用的信息，成為目前學(xué)者研究的重點問題。視頻檢索必須對視頻內(nèi)容進(jìn)行結(jié)構(gòu)化處理，也就是對視頻的幀按照不同的語義單元進(jìn)行切塊，分成不同的語義單元，這些語義單元稱為鏡頭[1]。隨著數(shù)字視頻的使用越來越廣泛，自動視頻內(nèi)容分析技術(shù)的需求也越來越大。作為視頻結(jié)構(gòu)化處理的基本步驟——鏡頭檢測，它的工作性能與效果將直接影響后續(xù)的處理[2]。用傳統(tǒng)的手工方法來切割視頻非常耗時，對一小時的視頻有時需要十個小時的工作來切割，所以需要一種自動的方法來切割視頻鏡頭[3]。

在一些新聞視頻中，由于照相機(jī)的閃光，造成幀間差異曲線中會出現(xiàn)兩個相鄰的波峰，鏡頭算法通常會判斷為兩次突變，容易造成誤檢。針對這種情況，提出在鏡頭算法中先進(jìn)行閃光過濾，再進(jìn)一步進(jìn)行檢測，考慮到視頻數(shù)據(jù)量大，算法執(zhí)行時間過長，采用MapReduce編程模型進(jìn)行算法設(shè)計，在Hadoop環(huán)境下，選擇合適的節(jié)點數(shù)，通過實驗分析，算法能夠有效避免閃光鏡頭，算法執(zhí)行時間比單機(jī)算法大大減少，提高了算法的執(zhí)行效率。

1 相關(guān)工作

目前，國內(nèi)外研究鏡頭檢測的學(xué)者很多，由于壓縮域的視頻檢測算法比較復(fù)雜，大多數(shù)研究的是非壓縮域的鏡頭檢測算法，但是還沒有形成穩(wěn)定的、成熟的算法。根據(jù)特征值的不同，比較典型的主要有以下幾類檢測算法：

（1）基于像素的鏡頭檢測

該方法簡單，但是容易受到物體運動、鏡頭運動、閃光燈因素的干擾。

（2）基于直方圖的鏡頭檢測

直方圖法通過統(tǒng)計幀的直方圖[4]，由于直方圖和位置信息無關(guān)，沒有圖像的局部信息，計算的是幀間全局的差值，也容易造成誤檢[5]。張晶[6]等使用了加權(quán)的分塊直方圖法，每塊使用不同的權(quán)值，有效避免兩幀具有相同的直方圖造成的誤檢。陳文飛等[7]使用了X2直方圖法，算法復(fù)雜度高。

（3）基于邊緣輪廓的鏡頭檢測

用Canny或其他算子提取像素輪廓作為特征值,然后計算相鄰幀間的輪廓差值[8]，該算法能夠有效地避免鏡頭內(nèi)運動物體造成的誤檢，但是計算復(fù)雜度高。

根據(jù)對特種值進(jìn)行不同處理方式，大量學(xué)者也提出了一些新的方法。J Yin等[9]提出了一種新的基于分塊顏色直方圖和亮度矩的鏡頭邊界檢測方法，為了提高鏡頭分割的魯棒性和有效性，提出了一種自適應(yīng)閾值分割算法；Sinnu Susan Thomas等[10]根據(jù)同一鏡頭背景的時間連續(xù)性，提出了基于能量最小化的鏡頭檢測方法；

2 抗閃光的鏡頭檢測

2.1 鏡頭檢測模型

在鏡頭檢測算法中引入MapReduce模型，把鏡頭檢測任務(wù)分成若干個Map任務(wù)，由Master主機(jī)控制若干個節(jié)點進(jìn)行視頻的解碼和特征的提取，然后進(jìn)行閃光過濾，由若干個Reduce任務(wù)進(jìn)行鏡頭邊界檢測，得出最終的突變鏡頭和漸變鏡頭數(shù)據(jù)，算法檢測模型如圖1所示。

（1）Input階段:利用程序把視頻文件分成若干個文件，生成＜編號，文件路徑＞的鍵值對，作為Map函數(shù)的參數(shù)。

（2）Map階段:對分割的視頻片段進(jìn)行解碼，利用分塊的灰度直方圖進(jìn)行特征提取，輸出＜編號，特征值文件＞鍵值對。

（3）Shuffle階段:利用時間序列分析法對特征值進(jìn)行處理，修正閃光幀的特征值。

（4）Reduce階段:把前一階段的＜編號，特征值文件＞作為輸入，分別進(jìn)行突變鏡頭的檢測和漸變鏡頭的檢測，最終得出鏡頭邊界集合。

2.2 特征值的提取

顏色直方圖通過統(tǒng)計圖像的顏色值而來，反映圖像的顏色分布，同一鏡頭內(nèi)的幀間的直方圖具有連續(xù)性，若發(fā)生鏡頭切換，幀間顏色直方圖差值曲線就會形成一個大的波峰。

（1）圖像灰度化

彩色圖像有RGB三個分量，每個分量取值為0-255，顏色值有 1600 多萬（255×255×255）種，為了減少直方圖的統(tǒng)計工作量，利用公式（1）進(jìn)行圖像的灰度化，利用公式（2）進(jìn)行圖像的直方圖統(tǒng)計。

Gray(x,y)表示圖像中坐標(biāo)為（x,y）點的灰度值，His(i)為顏色為i的顏色值個數(shù)。

（2）分塊直方圖計算

灰度直方圖和圖像并不是一一對應(yīng)的關(guān)系，不同的圖像可能具有相同的直方圖分布，因為只反映全局的顏色分布，不反映顏色的空間位置，和鏡頭內(nèi)對象及其位置無關(guān)，因此容易造成誤檢。采用如圖2所示的帶權(quán)值的分塊直方圖，對不同的區(qū)域使用不同的權(quán)值（w1＜w2＜w3），圖像邊緣位置權(quán)值較小，中間位置權(quán)值較大，分塊直方圖既反映了圖像的全局特征，又加入的圖像的局部特征，能夠有效的避免誤檢。

圖1 基于MapReduce的鏡頭邊界檢測模型

圖2 圖像分塊

利用公式（3）計算第n幀和第n+1幀第k塊的幀間直方圖差。

利用公式（4）對各塊進(jìn)行加權(quán)運算，計算帶權(quán)值的直方圖特征值。

2.3 閃光過濾

在2.2小節(jié)利用分塊直方圖進(jìn)行特征值提取后，對于新聞視頻閃光鏡頭，閃光通常會持續(xù)幾秒的時間，在閃光的起始位置和結(jié)束位置會出現(xiàn)較大的特征值，在幀間幀間差值曲線上會出現(xiàn)距離較近的兩個較大的波峰，如圖3所示。

從圖3可以看出，閃光幀的幀間差值的特點為連續(xù)兩個距離較近的波峰。利用公式（5）計算相特征值和其平均特征值的商。

τ為該視頻片段的幀間差的平均值，C為常量，經(jīng)多次試驗得出取值為3，若滿足公式（5），則第n到m間的幀認(rèn)為是一次閃光，因為通常閃光都在很短時間內(nèi)完成，因此兩個波峰間的距離經(jīng)常不超過30幀。利用τ更新第n到第m幀的特征值。

圖3 閃光幀的幀間差值曲線

2.4 突變檢測

突變鏡頭直接從上一個鏡頭切換到下一個鏡頭，中間沒有添加任何視頻特效，鏡頭切換的位置在幀間差的特征值曲線上會形成較大的波峰，如圖4所示。

圖4 突變鏡頭特征值曲線

2.3 小節(jié)已經(jīng)進(jìn)行了閃光的過濾，特征值為加權(quán)的直方圖，也不會收到鏡頭內(nèi)物體運動或攝像機(jī)運動的影響。突變鏡頭檢測一般設(shè)置一個固定的閾值，但是視頻直方圖數(shù)據(jù)量大，采用固定的閾值容易造成誤檢，采用滑動窗口法計算窗口內(nèi)的最大幀間差和最小幀間差，為減少計算復(fù)雜度窗口大小一般選擇10，利用公式（6）進(jìn)行計算。

其中max1為窗口內(nèi)的最大幀差，max2窗口內(nèi)的第二大幀差，τ為視頻片段的特征值平均值，若是突變鏡頭幀，則特征值和平均值的差會很大，因此若滿足公式（6），則認(rèn)為是一次突變，加入到突變鏡頭邊界集合中。

2.5 漸變鏡頭檢測

漸變鏡頭特征值曲線上表現(xiàn)為不太明顯的波峰，如圖5所示，給檢測帶來一定的困難，提出基于視頻片段的首尾幀差法進(jìn)行檢測。

圖5 漸變鏡頭的相鄰幀間差值

（1）把視頻分為大小為40的視頻片段，分別計算第一幀和最后一幀的幀間差值，經(jīng)過多次試驗，視頻大小為30比較合適，一般漸變鏡頭在30幀內(nèi)完成。

（2）若滿足公式（7），則認(rèn)為視頻片段內(nèi)發(fā)生了漸變鏡頭切換，因為同一鏡頭內(nèi)的幀存在一定的關(guān)聯(lián)性，若發(fā)生了漸變則分別進(jìn)入了兩個不同的鏡頭，首尾幀差則較大。

D(30n,30(n+1))為第30n個視頻片段的首位幀間直方圖差，δ為所有視頻片段的首位幀差平均值，3為實驗得出的經(jīng)驗值。

（3）對于滿足公式（7）的視頻片段，計算視頻片段內(nèi)第一幀和后面幀的幀間差，差值最大的地方即為漸變的中心，加入到漸變鏡頭集合中。因為隨著鏡頭的漸變，第一幀和后面幀的差值越來越大，直到進(jìn)入另外一個鏡頭，差值趨于穩(wěn)定，漸變鏡頭的首幀幀差曲線如圖6所示。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境

由于實驗所采用的視頻數(shù)據(jù)量不大，采用1個主機(jī)（Master）加4個四個任務(wù)節(jié)點（Salve）,四個節(jié)點均安裝CentOS5.9系統(tǒng)，并且有一個相同的用戶Hadoop。Master機(jī)器主要配置NameNode和JobTracker的角色，負(fù)責(zé)總管分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行；4個Salve機(jī)器配置DataNode和TaskTracker的角色，負(fù)責(zé)分布式視頻數(shù)據(jù)存儲、Map及Reduce任務(wù)的執(zhí)行。任務(wù)節(jié)點（Salve）的基本配置如表1所示。

圖6 漸變鏡頭首幀幀曲線

表1 Salve配置

3.2 實驗結(jié)果分析

（1）算法查全率、查準(zhǔn)率分析

在3.1的Hadoop的分布式環(huán)境下，選用4段帶有閃光的新聞視頻，分別用灰度直方圖和加權(quán)的灰度直方圖作為特征值進(jìn)行檢測，通過實驗檢測的數(shù)據(jù)和精確的鏡頭切換位置進(jìn)行查全率和查準(zhǔn)率的計算。

查準(zhǔn)率=正確鏡頭數(shù)/(正確鏡頭數(shù)+誤檢數(shù))

查全率=正確鏡頭數(shù)/實際鏡頭總數(shù)

利用灰度直方圖作為特征值，實驗結(jié)果如表2所示。

表2 灰度直方圖法檢測結(jié)果

從表2看出，利用灰度直方圖作為特征，沒有進(jìn)行閃光過濾，算法的誤檢鏡頭比較高，所有的閃光幀都會認(rèn)為是突變，并且算法容易受到鏡頭內(nèi)移動物體的影響造成誤檢。

利用帶權(quán)值的灰度直方圖作為特征值，并且進(jìn)行閃光過濾后，實驗結(jié)果如表3所示。

表3 帶權(quán)值的灰度直方圖法檢測結(jié)果

從表2和表3的對比可以看出，利用帶權(quán)值的直方圖作為特征值，并進(jìn)行閃光過濾，能夠避免閃光和鏡頭內(nèi)物體的移動造成的誤檢，大大提高了差全率和查準(zhǔn)率。

4 算法并行能力分析

該算法采用MapReduce編程模型，利用同一段視頻作為實驗數(shù)據(jù)，選擇同一主機(jī)，任務(wù)節(jié)點（Salve）從1到 10 進(jìn)行實驗，算法執(zhí)行時間為[95，60，41，25，19，17，15，14，10，8]，算法的執(zhí)行時間如圖 7 所示。

從算法執(zhí)行時間可以看出，算法執(zhí)行時間隨著節(jié)點的增加不斷減少，但是不是線性的，因此必須根據(jù)視頻的大小選擇合適的節(jié)點數(shù)，避免計算資源的浪費。

5 結(jié)語

隨著移動互聯(lián)網(wǎng)的不斷發(fā)展，視頻數(shù)據(jù)增長速度越來越快，如何從大量的視頻數(shù)據(jù)中找到有用的數(shù)據(jù)成為研究的一個熱點。和文本不同，視頻數(shù)據(jù)結(jié)構(gòu)復(fù)雜，不能很好地進(jìn)行檢索，目前互聯(lián)網(wǎng)上的大部分視頻檢索系統(tǒng)還處于視頻文件名稱的檢索，還不能進(jìn)行基于視頻內(nèi)容的檢索。鏡頭檢測是視頻檢索的基礎(chǔ)，引起了大量學(xué)者的關(guān)注。針對新聞視頻中的閃光，在算法的執(zhí)行階段利用滑動窗口進(jìn)行閃光過濾，考慮到鏡頭檢測算法執(zhí)行時間長的問題，提出了基于MapReduce的編程模型。最后利用4段帶閃光鏡頭的視頻片段進(jìn)行了實驗，通過和普通算法進(jìn)行對比分析，改進(jìn)的算法查準(zhǔn)率和查全率大大提高；通過并行分析，選擇合適的節(jié)點，算法的執(zhí)行時間大大減少。

圖7 算法節(jié)點和執(zhí)行時間曲線

[1]鄭慧君,陳俞強(qiáng).基于MapReduce的快速鏡頭邊界檢測算法[J].圖學(xué)學(xué)報.2017,1(38):76-81.

[2]A Sengupta，DM Thounaojam，K Manglem Singh，S Roy.Video Shot Boundary Detection:A Review[C].IEEE International Conference on Electrical,2015:1-6

[3]L Baraldi，C Grana，R Cucchiara.Shot and Scene Detection via Hierarchical Clustering for Re-using Broadcast Video[C].International Conference on Computer Analysis of Images&Patterns 2015,9256:801-811.

[4]P Poirson,P Ammirato.Fast Single Shot Detection and Pose Estimation[C].Fourth International Conference on 3d Vision,2016:676-684.

[5]魏瑋,劉靜,王丹丹.視頻鏡頭分割方法綜述.計算機(jī)系統(tǒng)應(yīng)用.2013,1(22):5-7.

[6]張晶，王學(xué)軍，蔣恩源.基于顏色加權(quán)的新聞視頻鏡頭邊界檢測方法.吉林大學(xué)學(xué)報[J].2015,1(33):39-43.

[7]陳文飛,許雪峰.亮度自適應(yīng)的保熵直方圖均衡化方法.計算機(jī)工程與應(yīng)用.2012,48(16):157-161.

[8]張思俊.基于Canny算子的圖像邊緣檢測方法改進(jìn)研究.計算機(jī)與數(shù)字工程,2016,8(44):1567-1570.

[9]J Yin，SL Wang，JH Li.Video Shot Segmentation by Adaptive Thresholding with Color and Spatial Information[C].Springer Berlin Heidelberg.2012,128:339-344.

[10]Sinnu Susan Thomas,Sumana Gupta,VenkateshK.S.An Energy Minimization Approach for Automatic Video Shot and Scene Boundary Detection[M].Tenth International Conference on Intelligent Information Hiding&Multimedia Signal Processing,2014:297-300.

Anti-Flash Shot Boundary Detection Based on MapReduce

ZHENG Hui-jun
（Department of Computer Engineering,Dongguan Polytechnic College,Dongguan 523808）

Using the distributed computing of MapReduce model,the video is splinted into several video clips,video feature extraction and shot boundary detection are assigned to several task node hosts.Considering the existence of a large number of flashes in the news video,it is easy to cause false detection,sliding window is used to analyze the differences between frames,then correcting the frame difference.Experi?mental results show that the improved shot detection algorithm is effective in accelerating the shot detection process,and it can also effec?tively avoid flash lens,achieve better detection accuracy.

Shot Boundary Detection;MapReduce;Histogram;Anti-Flash

廣東省省級科技計劃項目（No.2014A010103002）、2014年東莞市高等院校、科研機(jī)構(gòu)科技計劃一般項目（No.2014106101035）

1007-1423（2017）24-0029-06

10.3969/j.issn.1007-1423.2017.24.007

鄭慧君（1985-），男，湖北孝感人，碩士研究生，講師，研究方向為智能算法、圖形圖像

2017-05-08

2017-07-20