關(guān) 爽，殷海兵

(中國(guó)計(jì)量學(xué)院 信息工程學(xué)院，浙江 杭州 310018)

基于三維變換域頻譜差的視頻顯著性檢測(cè)算法

關(guān) 爽，殷海兵

(中國(guó)計(jì)量學(xué)院 信息工程學(xué)院，浙江 杭州 310018)

顯著性區(qū)域檢測(cè)是計(jì)算機(jī)視覺(jué)的重要課題，對(duì)視頻質(zhì)量評(píng)價(jià)和感知視頻編碼算法優(yōu)化也至關(guān)重要。大多顯著性檢測(cè)算法不能權(quán)衡準(zhǔn)確率和復(fù)雜度，限制了它們?cè)谝曨l預(yù)處理和實(shí)時(shí)處理中的應(yīng)用。提出了一種基于三維變換域頻譜差(3DTDSD)的快速視頻顯著性檢測(cè)算法，分別以關(guān)鍵幀及其前一幀為中心建立一定數(shù)量圖像幀的滑動(dòng)窗，得到兩組3D視頻體，用傅里葉變換將兩組視頻變換到三維頻域，兩組三維數(shù)據(jù)之間的差值經(jīng)過(guò)反變換得到顯著性圖，最后通過(guò)連通分析、閾值判斷等得到顯著區(qū)域。頻域算法具有運(yùn)算速度快的特點(diǎn)，實(shí)驗(yàn)對(duì)比和算法復(fù)雜度分析證明了該算法的有效性和快速性。

視頻；顯著性；三維變換；3D視頻體

近年來(lái)顯著性檢測(cè)已受到廣泛關(guān)注，它旨在發(fā)現(xiàn)人眼較為關(guān)注的區(qū)域、過(guò)濾掉不重要區(qū)域。顯著性檢測(cè)源于人類視覺(jué)系統(tǒng)，人眼總是關(guān)注圖像或視頻的特定區(qū)域，這是人類視覺(jué)系統(tǒng)的固有屬性。顯著性區(qū)域表示人眼關(guān)注位置，是評(píng)價(jià)感知視頻質(zhì)量的關(guān)鍵因素。采用這種HVS特性并將它應(yīng)用在視頻質(zhì)量評(píng)價(jià)中可以極大地提升視頻質(zhì)量，并有助于感知視頻編碼算法優(yōu)化[1]。由于顯著性檢測(cè)對(duì)許多視覺(jué)應(yīng)用提供了一個(gè)快速預(yù)處理過(guò)程，所以它也是計(jì)算機(jī)視覺(jué)的一個(gè)重要課題。

已有圖像顯著性檢測(cè)方法大多基于HVS特性，Itti和Koch[2]設(shè)計(jì)了一個(gè)模擬人類視覺(jué)搜索過(guò)程的模型，檢測(cè)靜態(tài)圖像顯著性區(qū)域，它也被擴(kuò)展到視覺(jué)識(shí)別工作中。Hou和Zhang[3]提出了一種快速傅里葉譜殘差的方法，該算法分析了原始信號(hào)與平滑圖像在log譜上的差異，將差異值轉(zhuǎn)化為空間域信號(hào)，最終得到圖像的顯著性圖。

不同于單幅圖像，視頻具有很強(qiáng)的空時(shí)域相關(guān)性，視頻顯著性在于檢測(cè)出不同于背景的顯著運(yùn)動(dòng)區(qū)域。目前典型的視頻顯著性檢測(cè)算法主要有：文獻(xiàn)[4]在圖像顯著性檢測(cè)的基礎(chǔ)上加入運(yùn)動(dòng)信息，從亮度、顏色、方向和運(yùn)動(dòng)出發(fā)研究顯著性；文獻(xiàn)[5]使用稀疏光流估計(jì)幀間的運(yùn)動(dòng)信息，采用隨機(jī)一致性算法檢測(cè)不同物體的運(yùn)動(dòng)信息；文獻(xiàn)[6]將視頻體內(nèi)X-T或Y-T平面看作二維矩陣S，分解成低秩部分和稀疏部分，并利用RPCA將其最小化，根據(jù)檢測(cè)得到的X-T與Y-T平面的顯著性結(jié)果，合并成最終的視頻顯著性圖；文獻(xiàn)[7]在幀序列構(gòu)成的3D視頻體空間內(nèi)，利用譜殘余的方法在X-T與Y-T平面分別計(jì)算顯著性，通過(guò)自適應(yīng)閾值判斷，將X-T與Y-T的二值化表示合并成幀序列的顯著性圖。

視頻由三維數(shù)據(jù)構(gòu)成，包含大量信息，并帶有場(chǎng)景切換和不同程度的背景運(yùn)動(dòng)等，所以對(duì)于視頻來(lái)說(shuō)，顯著性檢測(cè)算法越精確其復(fù)雜度也越高，快速的算法又不能保證檢測(cè)準(zhǔn)確率，因此，高效的視頻顯著性區(qū)域檢測(cè)仍是一個(gè)難題。

1 本文算法思路

雖然上述模型取得了不錯(cuò)的結(jié)果，但它們作為視頻預(yù)處理方法不夠快速有效。本文權(quán)衡準(zhǔn)確率和復(fù)雜度，旨在找到一種準(zhǔn)確快速的視頻顯著性檢測(cè)方法。文獻(xiàn)[3]的譜殘差方法雖然快速，但它只考慮到圖像空間域相關(guān)性，對(duì)于時(shí)域相關(guān)性強(qiáng)、場(chǎng)景復(fù)雜的視頻序列并不適用；同時(shí)受到文獻(xiàn)[7]在時(shí)間軸上組建視頻體的啟發(fā)，本文將結(jié)合視頻空時(shí)域相關(guān)性在三維頻域研究顯著性算法。

對(duì)于視頻序列的顯著性，除了空域相關(guān)性，還要考慮到視頻序列時(shí)域相關(guān)性以及視覺(jué)暫留效應(yīng)的影響，本文通過(guò)建立時(shí)域滑動(dòng)窗，在三維變換頻域研究視頻序列的顯著性。

人眼的感興趣點(diǎn)在一定的時(shí)間內(nèi)保持不變[8]。計(jì)算關(guān)鍵測(cè)試幀(即當(dāng)前測(cè)試幀，下文簡(jiǎn)稱關(guān)鍵幀)t的顯著性時(shí)，考慮到t之前的時(shí)間區(qū)間，認(rèn)為t的前幾幀與當(dāng)前幀有很大相關(guān)性。文獻(xiàn)[9]對(duì)關(guān)鍵測(cè)試幀t之后的時(shí)間區(qū)域做了研究，根據(jù)鄰近重建幀的PSNR值得出結(jié)論：t幀和t之后時(shí)間區(qū)間內(nèi)的幀與有很高的相關(guān)性。

圖1 滑動(dòng)窗示例

實(shí)驗(yàn)發(fā)現(xiàn)滑動(dòng)窗的滑動(dòng)步長(zhǎng)也是一個(gè)影響顯著性檢測(cè)精確度和效率的關(guān)鍵參數(shù)。為了確定滑動(dòng)窗的步長(zhǎng)，假設(shè)A是整個(gè)21幀滑動(dòng)窗中第N幀(N=1，2，…，21)的saliency圖，B是該幀作為關(guān)鍵幀測(cè)試取得的saliency圖，B-A表示兩者之間的誤差，以圖2為例。經(jīng)過(guò)大量測(cè)試統(tǒng)計(jì)可以發(fā)現(xiàn)從6～16幀之間，B-A的數(shù)量級(jí)都在10-16上，關(guān)鍵幀的前后各5幀內(nèi)顯著性檢測(cè)絲毫不受影響，所以這11幀數(shù)據(jù)在變換后直接作為相應(yīng)各幀的saliency圖，最終確定滑動(dòng)窗步長(zhǎng)n=11幀，當(dāng)?shù)?1幀作為關(guān)鍵幀時(shí)可以得到6～16幀的saliency圖，接著滑動(dòng)窗向后滑動(dòng)11幀，到第22幀作為關(guān)鍵幀再得到17～27幀的saliency圖，參見(jiàn)圖1。

2 本文視頻顯著性檢測(cè)算法

經(jīng)過(guò)上述分析，確定了滑動(dòng)窗長(zhǎng)度和滑動(dòng)步長(zhǎng)，具體算法流程介紹如下，假設(shè)測(cè)試序列的寬度為W，高度為H。

1)選取時(shí)域3D視頻體

選取關(guān)鍵測(cè)試幀t及其前后各10幀數(shù)據(jù)Data1(大小為W×H×21)，同時(shí)取其前一幀t-1和其前后10幀數(shù)據(jù)Data2(大小為W×H×21)，這些數(shù)據(jù)作為待處理的3D視頻體[7]。

2)三維變換

對(duì)取得的數(shù)據(jù)Data1，Data2分別做n維傅里葉變換得到三維頻譜μ(x,y,z)和ν(x,y,z)

μ(x,y,z)=FFTN(Data1(x,y,z))

由于理論水平未能達(dá)到實(shí)際應(yīng)用的要求，大多數(shù)科研人員只能借助國(guó)外編寫的一些仿真軟件（如Adams、RecurDyn等軟件）來(lái)解決設(shè)計(jì)、分析中的問(wèn)題，而軟件的使用需要具備一定的理論基礎(chǔ)，欲達(dá)到熟練、深入的應(yīng)用程度，則需要較高的理論水平。另外，借助仿真軟件并不能解決所有實(shí)際應(yīng)用中的問(wèn)題，有時(shí)需要自行編寫程序，如將程序?qū)懭氩荒馨惭b大型軟件的微芯片，這種情況對(duì)理論的要求更高。再者，從自主知識(shí)產(chǎn)權(quán)、國(guó)家科研知識(shí)儲(chǔ)備以及教育系統(tǒng)學(xué)科建設(shè)等角度來(lái)看，掌握及傳授此部分理論知識(shí)是必須的。

(1)

ν(x,y,z)=FFTN(Data2(x,y,z))

(2)

3)計(jì)算頻譜差得顯著性圖

在變換域內(nèi)計(jì)算兩組三維數(shù)據(jù)的差值并做反變換，濾波后得顯著性圖。

(3)

Smap(x,y,z)=G*ξ(x,y,z)

(4)

式中：IFFTN表示n維逆傅里葉變換；ξ(x,y,z)是反變換之后得到三維視頻體數(shù)據(jù)；G為三維高斯濾波器；Smap(x,y,z)表示滑動(dòng)窗內(nèi)21幀顯著性圖，這里選取關(guān)鍵幀及其前后各5幀(總共11幀)作為顯著性圖。

4)提取顯著性區(qū)域

(5)

5)窗口時(shí)域滑動(dòng)

做完上述檢測(cè)后，滑動(dòng)窗沿著視頻播放方向順延11幀，得到下一個(gè)21幀3D視頻體繼續(xù)檢測(cè)，算法流程圖如圖3所示。

3 實(shí)驗(yàn)結(jié)果分析

本文采用CRCNS數(shù)據(jù)庫(kù)進(jìn)行大量測(cè)試，數(shù)據(jù)庫(kù)有100個(gè)測(cè)試序列涵蓋各種類別的場(chǎng)景，包括室內(nèi)場(chǎng)景、戶外場(chǎng)景、電視片段和視頻游戲等，該數(shù)據(jù)庫(kù)標(biāo)定了人眼的追蹤位置。

圖2 選取不同關(guān)鍵幀時(shí)saliency差異(截圖)

圖3 算法流程圖

3DTDSD算法的檢測(cè)結(jié)果見(jiàn)圖4，由于頁(yè)面限制，文章只給出beverly08測(cè)試序列第144～148幀。由圖可知，顯著區(qū)域和數(shù)據(jù)庫(kù)標(biāo)定的人眼追蹤位置基本一致，表明檢測(cè)到的區(qū)域有效。

圖5是幾種視頻顯著性檢測(cè)方法的對(duì)比，從圖中可以看出CIOFM模型[3]由于塊分割的原因，只能檢測(cè)出顯著物體的一個(gè)大致輪廓，并且會(huì)受到背景信息的干擾；SR模型[4]雖然對(duì)圖像顯著性檢測(cè)有很好的效果，但是由于沒(méi)有考慮時(shí)域特征，不適用于視頻顯著性檢測(cè)；PFT模型應(yīng)用相鄰圖像相位信息檢測(cè)顯著性，基本能檢測(cè)到顯著的運(yùn)動(dòng)物體，但是當(dāng)視頻背景較復(fù)雜時(shí)，其檢測(cè)準(zhǔn)確性會(huì)降低。通過(guò)比較可看出本文3DTDSD算法模型準(zhǔn)確性較高。

圖4 3DTDSD算法檢測(cè)到的顯著性圖及顯著性區(qū)域

圖5 視頻顯著性模型對(duì)比

表1給出了每種模型的計(jì)算復(fù)雜度對(duì)比。從CRCNS數(shù)據(jù)庫(kù)的100個(gè)測(cè)試序列中，選取10個(gè)不同場(chǎng)景的序列進(jìn)行測(cè)試，這里均用每種算法處理一幀視頻圖像的平均時(shí)間表示。由于本文3DTDSD算法可以一次性檢測(cè)11幀視頻連續(xù)幀的顯著性區(qū)域，算法快速有效，并且通過(guò)幾種模型復(fù)雜度的對(duì)比，可看出3DTDSD算法計(jì)算效率較高。

綜合實(shí)驗(yàn)結(jié)果，3DTDSD算法提高了檢測(cè)準(zhǔn)確性，并且計(jì)算復(fù)雜度也明顯降低，尤其對(duì)于復(fù)雜的視頻內(nèi)容。

表1 不同視頻顯著檢測(cè)模型的計(jì)算復(fù)雜度對(duì)比

4 小結(jié)

本文提出一種基于三維變換域頻譜差(3DTDSD)的快速視頻顯著性檢測(cè)算法，分別以關(guān)鍵幀及其前一幀為中心建立滑動(dòng)窗得到兩組3D視頻體，根據(jù)傅里葉變換將兩組視頻體變換到三維頻域，兩組三維數(shù)據(jù)之間的差值經(jīng)過(guò)反變換得到顯著性圖，最后通過(guò)連通分析、閾值判斷等得到顯著區(qū)域。該算法快速有效，兩組視頻體經(jīng)過(guò)一次變換能得到11幀圖像的顯著性圖。實(shí)驗(yàn)結(jié)果表明，本文算法提高了檢測(cè)結(jié)果的準(zhǔn)確性，并且計(jì)算復(fù)雜度也明顯降低。

相對(duì)于人類視覺(jué)系統(tǒng)，本文算法也有一定的局限性，本算法適用于檢測(cè)視頻的運(yùn)動(dòng)區(qū)域，當(dāng)視頻序列中沒(méi)有運(yùn)動(dòng)物體或場(chǎng)景有很大幅度晃動(dòng)時(shí)，檢測(cè)準(zhǔn)確率就會(huì)有所降低，為此筆者也會(huì)繼續(xù)研究，尋找解決方法。同時(shí)，視頻顯著性的應(yīng)用十分廣泛，筆者也將進(jìn)一步研究顯著性在視頻質(zhì)量評(píng)價(jià)中的應(yīng)用。

[1]LU Zhongkang，LIN Weisi，YANG Xiaokang，et al.Modeling visual attention’s modulatory aftereffects on visual sensitivity and quality evaluation[J]．IEEE Trans.Image Process，2005，14(11)：1928-1942.

[2]ITTI L，KOCH C，NIEBUR E，et al.A model of saliency-based visual attention for rapid scene analysis[J]．IEEE Trans.Pattern Analysis and Machine Intelligence，1998，20(11)：1254-1259.

[3]HOU Xiaodi，ZHANG Liqing.Saliency detection：a spectral residual approach[C]//Proc.Computer Vision and Pattern Recognition，CVPR 2007.New York：IEEE Press，2007：1-8.

[4]ITTI L，DHAVALE N P，PIGIN F.Realistic avatar eye and head animation using a neurobiological model of visual attention[C]//Proc.48th Annual International Symposium on Optical Science and Technology.USA：SPIE Press，2003：64-78.

[5]ZHAI Y，SHAH M.Visual attention detection in video sequences using spatiotemporal cues[C]//Proc.14th Annual ACM International Conference on Multimedia.New York，USA：ACM Press，2006：815-824.

[6]XUE Yawen，GUO Xiaojie，CAO Xiaochun.Motion saliency detection using low-rank and sparse decomposition[C]//Proc.IEEE International Conference on Acoustics，Speechand Signal Processing,ICASSP，2012.Canada：IEEE Press，2012：1485-1488.

[7]CUI X，LIU Q，METAXAS D N.Temporal spectral residual：fast motion saliencydetection[C]//Proc.17th ACM international conference on Multimedia.[S.l.]： ACM Press，2009：617-620.

[8]ALEXANDRE N，OLIVIER L M，PATRICK L C，et al.Considering temporal variations of spatial visual distortion in video quality assessment [J].IEEE Journal of Selected Topics in Signal Processing，2009，3(2)：253-264.

[9]譚晶晶，殷海兵.基于視頻質(zhì)量評(píng)價(jià)的時(shí)域失真測(cè)量[J].電視技術(shù)，2013，37(8)：86-89.

Video Saliency Detection Algorithm Based on 3D Transform Domain Spectral Difference

GUAN Shuang，YIN Haibing

(CollegeofInformationEngineering，ChinaJiliangUniversity，Hangzhou310018，China)

Saliency region is very important for video quality assessment and the optimization of perception video coding algorithm，it is also an important issue in computer vision.However，the accuracy and complexity of most algorithmes are not uniform well， which limites their application in the video preprocessing and real-time processing.In this paper，a fast video saliency detection algorithm based on 3D transform domain spectral difference (3DTDSD)is proposed.Firstly，it takes the keyframe and its previous frame as the center，establishe a sliding window to get two sets of 3D video cube.Secondly，with a Fourier transform，the cubes are transformed into three-dimensional frequency domain.Thirdly，the difference between the two sets of three-dimensional data after inverse transform can get the saliency map.Finally，through the connectivity analysis and threshold judgement get the saliency region.The experimental results show that the algorithm improve the accuracy of the test results，and computational complexity is also significantly reduced.

video；saliency；3D transform；3D video cube

國(guó)家科技支撐計(jì)劃項(xiàng)目(2013BAH54F04)

TN919.81

A

10.16280/j.videoe.2015.05.007

2014-08-28

【本文獻(xiàn)信息】關(guān)爽，殷海兵.基于三維變換域頻譜差的視頻顯著性檢測(cè)算法[J].電視技術(shù),2015，39(5).

關(guān) 爽(1989— )，女，碩士生，主研視頻編碼算法優(yōu)化；

殷海兵(1974— )，教授，碩士生導(dǎo)師，主要研究方向?yàn)楦咔逡曨l編碼芯片算法定制和VLSI結(jié)構(gòu)設(shè)計(jì)。

責(zé)任編輯：時(shí) 雯