方志明 崔榮一 金璟璇

(延邊大學工學院計算機科學與技術(shù)系,智能信息處理實驗室,延吉 133002)

基于生物視覺特征和視覺心理學的視頻顯著性檢測算法?

方志明 崔榮一 金璟璇?

(延邊大學工學院計算機科學與技術(shù)系,智能信息處理實驗室,延吉 133002)

(2016年11月18日收到;2017年2月18日收到修改稿)

提出了一種空域和時域相結(jié)合的視頻顯著性檢測算法.對單幀圖像,受視覺皮層層次化感知特性和Gestalt視覺心理學的啟發(fā),提出了一種層次化的靜態(tài)顯著圖檢測方法.在底層,通過符合生物視覺特性的特征圖像(雙對立顏色特征及亮度特征圖像)的非線性簡化模型來合成特征圖像,形成多個候選顯著區(qū)域;在中層,根據(jù)矩陣的最小Frobenius-范數(shù)(F-范數(shù))性質(zhì)選取競爭力最強的候選顯著區(qū)域作為局部顯著區(qū)域;在高層,利用Gestalt視覺心理學的核心理論,對在中層得到的局部顯著區(qū)域進行整合,得到具有整體感知的空域顯著圖.對序列幀圖像,基于運動目標在位置、運動幅度和運動方向一致性的假設,對Lucas-Kanade算法檢測出的光流點進行二分類,排除噪聲點的干擾,并利用光流點的運動幅度來衡量運動目標運動顯著性.最后,基于人類視覺對動態(tài)信息與靜態(tài)信息敏感度的差異提出了一種空域和時域顯著圖融合的通用模型.實驗結(jié)果表明,該方法能夠抑制視頻背景中的噪聲并且解決了運動目標稀疏等問題,能夠較好地從復雜場景中檢測出視頻中的顯著區(qū)域.

∶顯著性檢測,非線性簡化,Gestalt視覺心理學,Lucas-Kanade算法

PACS∶95.75.Mn,42.30.Tz,42.30.VaDOI∶10.7498/aps.66.109501

1 引 言

近幾十年,隨著神經(jīng)心理學和神經(jīng)解剖學的發(fā)展,視覺顯著性逐步成為計算機視覺的熱點.視頻的顯著性區(qū)域檢測可用于簡化復雜視頻場景,過濾與任務相關性較弱的信息,保留與當前任務相關度較高的信息[1].自動完成視頻的顯著性區(qū)域檢測成為視頻內(nèi)容感知[2]、視頻編碼[3,4]、無人駕駛[5]和視頻摘要等[6?8]任務的重要基礎任務.

顯著性檢測方法主要分為四類∶基于像素的檢測模型、基于塊的檢測模型、基于頻率的檢測模型和基于低秩重建的檢測模型.基于像素的檢測模型以像素為基本單位,在不同特征下進行圖像顯著性的計算.Itti等[9]模擬視覺系統(tǒng)的神經(jīng)機制,提出了一種基于多尺度圖像特征融合的顯著性檢測方法.在此基礎上,Itti和Koch[10]增加了運動特征,從而將該模型擴展到視頻中的顯著性檢測.該類方法計算量較大,對噪聲敏感,受圖像復雜度的影響較大.基于塊的方法,Cheng等[11]將原圖像過分割成多個區(qū)域,然后提取顏色直方圖和空間位置來計算區(qū)域的顯著度,從而提取顯著性目標.該類方法的檢測結(jié)果取決于塊分割的準確性.此外,Liu和Wang[12]基于中心-周圍差異,提出了一種結(jié)合局部塊的變化對比和全局感知的方法,該方法簡單快速.基于頻率譜的方法,Guo等[13]通過實驗發(fā)現(xiàn)圖像的相位譜殘差(PFT)的顯著性檢測方法優(yōu)于幅度譜殘差(SR)[14]方法.在此基礎上,將顏色、亮度和運動特征組成一個四元數(shù)組并提出了QPFT的方法,同時可用于視頻的顯著性檢測.該類方法不僅受背景復雜程度干擾嚴重,且檢測出的顯著區(qū)域為一系列分散的點,不利于顯著區(qū)域的完整分割與提取.此外,該方法運動顯著性檢測結(jié)果受時間間隔參數(shù)的影響較大且無法衡量運動顯著性.基于低秩重建的方法,Zhu和Wang[15]以及Tao等[16]將圖像表示為低秩部分(非顯著性部分)和稀疏部分(顯著性部分),通過低秩矩陣恢復得到顯著圖.Xue等[17]通過在X-t和Y-t方向?qū)⒌椭染仃嚪纸獾姆椒▉硖崛∫曨l中的顯著性目標.此類方法檢測結(jié)果受參數(shù)選取及背景復雜度的影響大且只保證了檢測結(jié)果是稀疏的,并不意味檢測結(jié)果是顯著的.

此外,從目標和背景的分割角度考慮顯著性目標提取,馬兆勉和陶純堪[18]以及金左輪等[19]認為目標前景在紋理特征上相對于背景更加光滑.金左輪等利用紋理粗糙度來計算圖像的顯著性,由于缺少顏色特征,導致彩色目標漏檢.紋理特征與顏色特征具有相關性,紋理粗糙程度在顏色空間分布上呈現(xiàn)出連貫性和集中性等特點.因此,在自然圖像中,紋理特征的部分信息可以由顏色特征來體現(xiàn).從信息論的角度考慮,人造目標的出現(xiàn)會引起自然場景的統(tǒng)計特性發(fā)生變化[20].許元男等[21]利用Wigner-Ville分布和Rényi熵來計算顯著圖.由于缺少空間分布和顏色分布等先驗知識,該方法只能應用于灰度圖像,且檢測結(jié)果的完整性較差.

除了以上方法及以上方法的改進算法,近兩年出現(xiàn)了大量利用深度學習[22?24]的方法來做顯著性檢測的文獻,其原理為通過構(gòu)建、訓練神經(jīng)網(wǎng)絡來生成顯著圖.此類算法需要龐大的數(shù)據(jù)集和手工標注數(shù)據(jù)集,計算量大且不宜用于視頻顯著性的檢測.

以上文獻中視頻顯著性檢測都是在圖像顯著性檢測算法中,將使用幀差法檢測出的運動目標[13]作為顯著性運動目標,因此檢測結(jié)果不理想.文獻[25]總結(jié)相關文獻發(fā)現(xiàn)視頻顯著性檢測大多是將視頻顯著值歸結(jié)為先計算兩種顯著值即運動顯著值和靜態(tài)顯著值,然后融合兩者結(jié)果.與此同時,該文獻采用結(jié)合濾波器的金字塔光流法進行動態(tài)顯著性估計,該方法計算量較大,且金字塔模型不適用于分辨率較低的視頻.目前,視頻運動目標檢測主要有幀差法[26]、背景差分法[27]、光流法[28]等三種方法.幀差法算法簡單快速,但不能檢測出運動幅度的大小.背景差分法過度依賴背景模型的準確性.光流法主要優(yōu)點是能夠用于計算各像素的運動幅度和方向,主要缺點是檢測結(jié)果受噪聲的干擾嚴重.

Elazary和Itti[29]通過大量標注的圖像數(shù)據(jù)測試,認為場景中的顯著性區(qū)域受低層視覺屬性的影響較大.針對上述文獻存在的問題,本文提出了一種基于雙對立顏色特征、Gestalt視覺心理學和光流法的空域和時域顯著性融合的顯著性檢測算法.在空域,顯著性檢測基于生物視覺特性的雙對立顏色特征和亮度特征,模型具有層次結(jié)構(gòu),自底向上,圖像逐漸簡化,利用Gestalt視覺心理學主要理論使得顯著目標具有一定的整體性.在時域,基于運動目標所在位置、運動幅度和運動方向一致性假設,利用Lucas-Kanade算法(簡稱LK光流法)[30]并通過二分類進行降噪處理來計算運動顯著性,使其適用于低分辨率復雜視頻顯著性檢測.最后在不同顏色空間中融合了空域和時域的顯著性檢測結(jié)果,該模型實現(xiàn)了視頻的時空顯著性檢測,實驗中對低分辨視頻進行測試,取得了較好的實驗結(jié)果.

2 視頻顯著性檢測框架

視覺顯著性檢測的原理是通過模仿人類視覺注意機制的方法來獲得顯著性區(qū)域.視覺顯著性描述了一個目標區(qū)域在一個場景中的獨特性或吸引視覺注意的能力,這種能力來自生物視覺特性或由觀察者受先驗知識導致的.視頻顯著性檢測和圖像顯著性檢測的主要區(qū)別在于視頻具有運動特征.

由于視頻種類繁多,目前沒有一種時空顯著性融合方法能夠應用于所有類型的視頻.本文將人眼對彩色信息比灰度信息更為敏感和人眼對運動信息比靜態(tài)信息更敏感的兩大特性一一對應,將視頻的單幀圖像靜態(tài)顯著性和序列幀圖像顯著性檢測結(jié)果分別用灰度顏色模型和孟塞爾色系模型[31]表示,提出了一種通用各個場景、基于視覺敏感度的顯著性可視化的表示方法.在復雜場景視頻的單個畫面中既能夠同時顯示兩種顯著性的結(jié)果,又能夠不致使畫面過于復雜、混亂.顯著性檢測框圖如圖1所示.

圖1 視頻顯著性檢測框架圖Fig.1.Video saliency detection framework.

3 空域顯著性檢測

大腦皮層中主要負責處理視覺信息的部分是視覺皮層(visual cortex).人類的視覺皮層包括初級視皮層(V1,也稱作紋狀皮層(striate cortex))和紋外皮層(extrastriate cortex,如V2,V3等).作為第一個進行視覺處理的區(qū)域,Vl主要接收與外觀感知有關的電信號,響應結(jié)果進一步傳導到V2等更高級視皮層區(qū)域進行處理.

圖2 圖像顯著性檢測框圖Fig.2.Image saliency detection block diagram.

受視皮層結(jié)構(gòu)和Gestalt視覺心理學的啟發(fā)[32],本文建立了具有三層結(jié)構(gòu)的空域顯著性檢測模型,逐層對圖像進行簡化,并將各個簡化結(jié)果加以組合,使之成為一個知覺上易于處理的整體.本文提出的圖像顯著性檢測模型框圖如圖2所示,圖3為對應的模型示意圖.低層為視覺特征提取層,用于提取底層特征,低層圖像中的各個像素,包括了噪聲點(灰色點).低層經(jīng)過特征提取,提取出各個特征對應的顯著性區(qū)域,從而降低圖像的復雜度;在中層,多個特征顯著性目標區(qū)域進行競爭,得出單個特征對應的局部顯著性區(qū)域;高層為組織層,利用Gestalt視覺心理學的主要理論對中層競爭勝出的局部顯著區(qū)域進行整體感知,進行目標區(qū)域的整合.隨著層次由低到高,圖像不斷被簡化,形成整體.本文所構(gòu)造的模型首先將圖像從像素點映射到多個區(qū)域作為候選顯著性目標,然后將單目標和鄰近候選區(qū)域進行整體感知整合,最終提取出符合視覺認知心理的顯著性目標.

圖3 (網(wǎng)刊彩色)圖像顯著性檢測示意圖Fig.3. (color online)Image saliency detection schematic diagram.

3.1 低層-像素點到多區(qū)域

本文利用圖像數(shù)據(jù)的分布特性,自適應地合并具有相似特征的像素點,形成與特征對應的區(qū)域群.基于視覺對可見光顏色的敏感度差異,本文采用雙對立顏色對[33]及亮度特征屬性對應的特征圖像來共同體現(xiàn)圖像的顯著性.雙對立顏色特征圖像矩陣(RG,BY)和亮度特征圖像矩陣(I)定義同文獻[9],分別由(1),(2)和(3)式定義.其中,R,G,B,Y分別為對立色中的紅、綠、藍、黃顏色;rc,gc,bc分別表示rgb顏色模型中的原圖像的紅、綠、藍的顏色通道圖像矩陣.

(4)式中的SimF表示特征圖像矩陣F(F =RG,BY,I)經(jīng)過簡化的結(jié)果,S為簡化參數(shù)(S=1,2,3),運算符*表示矩陣對應元素相乘.該操作可以減少圖像中對比度弱的區(qū)域.若簡化參數(shù)S取不同的等級值,則圖像中對比度弱的區(qū)域減少的程度就不同.圖5為圖4所示的原始彩色圖像的灰度圖像對應的灰度分布直方圖,從左到右依次為灰度圖的簡化參數(shù)S從1增至3的直方圖.由直方圖的分布情況可以看出,隨著簡化等級的升高,直方圖由灰度分布較均衡的情況逐漸變?yōu)閮啥朔植嫉那闆r.由圖6可以看出,隨著簡化等級S(S=1,2,3)的提高,亮度特征圖像(第一列)中的較亮區(qū)域(警示牌等區(qū)域)進一步被突出,紅綠特征圖像(第二列)中的紅綠差異被突顯(紅色三角形),而藍黃特征圖像(第三列)中的偏黃區(qū)域進一步被凸顯(孩子的衣服).因此,隨著簡化等級的提高,特征圖像中對應特征屬性的區(qū)域逐步被凸顯,而其他特征屬性對應的區(qū)域被合并和抑制.

圖4 (網(wǎng)刊彩色)原始圖像Fig.4.(color online)Original image.

圖5 簡化等級-灰度分布變化圖Fig.5.Simplified level gray distribution map.

圖6 特征-簡化等級示意圖Fig.6.Feature image with different simplified levels.

3.2 中層-組合特征競爭

中層為競爭層,圖像對應的三個特征對顯著區(qū)域形成的貢獻進行競爭.傳統(tǒng)算法對多特征顯著圖進行線性疊加,而Gestalt理論的基本出發(fā)點是,整體不能用部分之和去理解,因此本文采用多特征圖像非線性組合并利用最小F-矩陣范數(shù)進行約束得到競爭力最強的局部顯著性區(qū)域.矩陣A的F-范數(shù)由(5)式表示,(6)式表示特征圖像的非線性組合方式由參數(shù)θ=(a,b,c,d,e,g)確定.其中,a,b,c為簡化參數(shù),a,b,c∈{1,2,3},同(4)式中的S;d,e,g為組合參數(shù),d,e,g∈{?1,+1}.組合參數(shù)取值為?1表示該屬性下的特征區(qū)域?qū)μ崛∽罴扬@著區(qū)域起負作用,取值為+1表示該屬性下的特征區(qū)域?qū)μ崛∽罴扬@著區(qū)域起正作用.如(7)式所示,利用最小F-范數(shù)來求得對應特征的顯著性區(qū)域的非線性組合參數(shù),從而得到顯著性最強的局部顯著圖,并且保證了非線性組合特征對應的顯著性區(qū)域足夠稀疏.

將不同簡化組合參數(shù)對應的顯著圖按照其對應矩陣的F-范數(shù)值從小到大排列,排列結(jié)果如圖7所示,逐行從左到右,F-范數(shù)逐漸增大.圖7中的第一幅圖像為最小F-范數(shù)對應的特征圖像的非線性組合.最后一幅圖像為最大F-范數(shù)對應的特征圖像的非線性組合.

圖7 范數(shù)-顯著性區(qū)域變化示意圖Fig.7.Norm-saliency regional variation schematic diagram.

3.3 高層-Gestalt視覺整體感知

Gestalt理論明確提出∶在眼和腦的作用下,圖像不斷地進行組織、簡化及統(tǒng)一.Gestalt的組織過程是有選擇地將一些元素統(tǒng)一在一起,我們能感知到它是一個完整的單位.本文主要應用以下Gestalt的主要理論作為約束條件進行顯著性區(qū)域整合∶

2)主體和背景 場景的特點會影響視覺系統(tǒng)對場景中的主體和背景的解析,當一個小物體(或色塊)與更大的物體重疊時,我們傾向于認為小的物體是主體而大的物體是背景;

3)整體與局部 由知覺活動組織成的經(jīng)驗中的整體,在性質(zhì)上不等于部分的簡單線性疊加;

4)接近 指單獨的視覺單元無限貼近,以至于它們彼此黏連,在視覺上就形成了一個較大、統(tǒng)一的整體;

5)閉合 封閉的圖形往往看成一個整體.

其中約束條件1)和約束條件3)已在低層和中層體現(xiàn).低層中的特征圖像通過簡化參數(shù)進行簡化;在中層,通過對特征圖像進行非線性組合來構(gòu)造局部顯著性區(qū)域.

在高層,根據(jù)Gestalt約束條件4)和約束條件5)判斷各個特征圖像的最簡化圖像(S=3)經(jīng)過mean shift聚類的顯著性區(qū)域塊的外接矩形框Si與最小F-范數(shù)對應的局部顯著區(qū)域塊外接矩形框Smin是否有交集,并按就近原則合并.合并條件為∶兩個外接矩形框區(qū)域存在重疊部分(滿足理論第4,5條),如(8)式所示,

他表示無法理解。她輕輕微笑，說，你因此可知，這一生不必去學習中文是件幸運的事情。相比起現(xiàn)在的中文，我更喜歡古代中文。那是即使對中國人來說也更為優(yōu)美而艱澀的文字。時間淘汰一切被現(xiàn)在的人認為不需要也不重要的事物。很多事物的價值最后被低估或者高估，并不客觀。我們不知道真正重要的東西是什么，也經(jīng)常缺乏耐心。

合并停止條件為∶合并滿足重合條件的顯著性區(qū)域面積大于背景面積或接觸圖像邊界(滿足約束條件2)).靜態(tài)圖像的顯著性檢測流程示意圖見圖8.

圖8 顯著性檢測流程示意圖Fig.8.Saliency detection process schematic diagram.

4 時域顯著性檢測

Lucas-Kanade即LK光流法應用于輸入圖像的一組特征點上時比較方便,因此被廣泛應用于稀疏光流場.由于真實場景視頻的背景復雜度高,噪聲點多,LK光流法需要計算每一個像素的光流,在實際應用中的檢測結(jié)果不是很好.Bouguet[34]采用圖像金字塔的方法來實現(xiàn)運動的跟蹤,但由于視頻分辨率低,特征點精確度低,導致光流點過稀疏情況發(fā)生,運動目標缺失嚴重,不適用于顯著性運動目標的運動幅度可視化.同多數(shù)稀疏光流法,在運動目標與環(huán)境相似時,利用特征點的光流法容易出現(xiàn)檢測失敗和光流點稀疏的問題.為了解決光流點稀疏問題,本文基于傳統(tǒng)的LK光流法檢測結(jié)果,根據(jù)光流點的位置、運動方向和運動幅度值特征,對光流點進行二分類,將其分為噪聲點和運動目標點.算法步驟如圖9所示.

圖9 LK改進算法框圖Fig.9.Improved LK algorithm block diagram.

圖10 中的(a1)和(c1)為測試視頻,其畫面分辨率較低,背景復雜度較高.其中,圖10(a1)為場景中運動速度快的片段中的一幀,圖10(c1)為場景中運動速度較慢的片段中的一幀,圖10(b1)和圖10(d1)分別為用金字塔光流法檢測其與前一幀的光流實驗結(jié)果.可以看出,檢測到的運動目標過于稀疏,無法檢測出較完整的個體,不適用于視頻顯著性表示.

圖10 (網(wǎng)刊彩色)基于LK光流法的改進方法與金字塔光流法得對比 (a1)快速移動,(b1)金字塔光流法,(c1)緩慢移動,(d1)金字塔光流法;(a2),(a3)LK光流法,(b2),(b3)K-均值聚類,(c2),(c3)中值濾波,(d2),(d3)本文結(jié)果Fig.10.(color online)comparison between the improved method based on LK optical flow method and Pyramid optical flow method:(a1)Fast motion,(b1)pyramid optical flow,(c1)slow motion,(d1)pyramid optical flow;(a2),(a3)LK optical,(b2),(b3)K-means cluster,(c2),(c3)medianfilter,(d2),(d3)our result.

圖10 (a2)和圖10(a3)表示傳統(tǒng)LK光流法分別對圖10(a1)和圖10(c1)的檢測結(jié)果,可以看出傳統(tǒng)方法雖然能夠檢測出較為完整的運動目標,但對噪聲極其敏感.為了得到較為完整的運動目標,本文基于傳統(tǒng)的LK光流法,對檢測出的光流點進行分類,將光流點分為噪聲點和運動目標點.圖10(b2)和圖10(b3)為運動目標聚類結(jié)果,可以看出,本文的方法能夠較好地將噪聲點去除.在此結(jié)果上,基于運動目標點具有局部集中的特性,本文采用中值濾波消除孤立點,圖10(c2)和圖10(c3)為孤立點去除的結(jié)果.從圖10(d2)和圖10(d3)可以看出本文的方法既能夠有效保留運動目標,又能夠抑制噪聲.

5 實驗及可視化分析

本文從兩方面進行實驗結(jié)果評價.一方面是將低分辨率、噪聲點多的視頻單幀圖像和靜態(tài)自然圖像的顯著性檢測結(jié)果同其他經(jīng)典方法的結(jié)果進行可視化對比,并利用MSRA1000數(shù)據(jù)庫ECSSD數(shù)據(jù)庫[35]對本文方法與其他方法進行對比分析;另一方面結(jié)合光流法對視頻多幀圖像顯著性檢測結(jié)果進行可視化評價.實驗軟件為Matlab2015a,硬件條件為4 GB RAM的Intel Xeon CPU E5-2603.

5.1 單幀/靜止圖像實驗評價

圖11為視頻單幀圖像由本文方法進行顯著性檢測的結(jié)果,背景復雜程度從左到右依次增加.圖11中的子圖(a)為交通視頻單幀圖像及對應的顯著性檢測結(jié)果,圖像中用于輔助駕駛的標志性目標均能較好地被檢測出,檢測結(jié)果符合工程需求;圖11(b)為室內(nèi)視頻單幀圖像及其顯著性檢測結(jié)果,其中顏色鮮艷的目標被成功檢測出來且目標較為完整,如桌面上的紅色袋子,枕頭和手臂,紅色和黃色的魔方平面等.為了進一步驗證本文方法的準確性和魯棒性,將本文方法與頻率調(diào)整(FT),直方圖反差(HC),區(qū)域反差(RC),LC等方法進行了可視化對比.

圖11 (網(wǎng)刊彩色)室外室內(nèi)場景視頻單幀圖像顯著性檢測結(jié)果示意圖 (a)交通視頻單幀圖像;(b)室內(nèi)視頻單幀圖像Fig.11.(color online)Single frame image saliency detection result diagram of outdoor and indoor scene video:(a)Results of single frame image detection in traffic scene video;(b)results of single frame image detection in indoor scene video.

圖12是對MSRA1000數(shù)據(jù)庫利用不同方法進行顯著性檢測的結(jié)果示例,對于復雜背景的圖像,頻率分析的方法(如SR)檢測結(jié)果受背景干擾嚴重.由實驗結(jié)果可以看出,以上方法按照抗背景干擾能力的排序為∶Ours＞RC＞HC＞FT＞LC＞SR,本文方法受復雜背景的影響最小.相對于其他方法,本文方法不僅成功地檢測出目標且受背景干擾最小,而且檢測出的顯著性區(qū)域更接近手工標注(GT)的區(qū)域且檢測結(jié)果邊界清晰,易于顯著性目標分割.

圖13是對ECSSD數(shù)據(jù)庫利用不同方法進行顯著性檢測的結(jié)果示例,該數(shù)據(jù)庫的顯著性目標所在的背景相對于MSRA1000數(shù)據(jù)庫更為復雜,而且顯著性目標的個體數(shù)量和顏色組成上更具有多樣性,給顯著性檢測帶來極大的挑戰(zhàn).第5行、第7行和第8行的圖像受背景和自身復雜的目標顏色和紋理構(gòu)成的影響,檢測結(jié)果較差,僅本文方法可以將顯著性目標與背景分離.經(jīng)ECSSD數(shù)據(jù)庫檢測,對背景復雜的圖片,SR方法檢測結(jié)果最差,本文方法抑制背景復雜程度干擾的能力最強,檢測出的目標較為完整且易于分割,有利于進一步的視頻顯著性目標分割、視頻壓縮等工作.

本文方法與其他典型方法(CH,GS-SP,LR,SF,CB,RC,HC,RA,FT及IT)的實驗結(jié)果[36]及SR,PQFT[14]的實驗結(jié)果進行量化對比,選取不同閾值得到不同方法的PR(precision-recall)曲線.圖14中各個子圖的縱軸和橫軸分別代表查準率P(precision)和召回率R(recall).圖14(a)的兩幅圖為不同方法在MSRA1000數(shù)據(jù)庫的測試結(jié)果,圖14(b)為不同方法在ECSSD數(shù)據(jù)庫的測試結(jié)果.從圖14可以看出,本文方法的檢測結(jié)果優(yōu)于其他文獻方法的實驗結(jié)果,具有較高的準確率.

圖12 (網(wǎng)刊彩色)MSRA1000數(shù)據(jù)庫顯著性檢測示例Fig.12.(color online)Results of MSRA1000 database saliency detection.

5.2 視頻多幀實驗可視化分析

為了驗證本文算法的效果,本文算法對多幀視頻進行了顯著性實驗,如表1所列,選取了3個室內(nèi)視頻、2個室外視頻,且視頻中的運動均為非剛體運動,所有視頻都存在噪聲和畫面的局部抖動.視頻1、視頻2和視頻3為室內(nèi)視頻,其中視頻1到視頻3的背景復雜度依次增高.

表1 實驗視頻簡介Table 1.Test video introduction.

圖13 (網(wǎng)刊彩色)ECSSD數(shù)據(jù)庫顯著性檢測示例Fig.13.(color online)Results of ECSSD database saliency detection.

表1中對應序號視頻的靜態(tài)顯著性檢測結(jié)果和運動顯著性檢測結(jié)果如圖15所示.圖15的第一列表示視頻序列中的一幀,第二列表示該幀的靜態(tài)顯著性,第三列表示該幀相對于前一幀的運動顯著性檢測結(jié)果.實驗表明,本文的方法能夠有效提取視頻單幀的顏色顯著性區(qū)域和運動顯著性區(qū)域,且檢測結(jié)果受復雜背景的干擾較小,提取顯著區(qū)域的效果較好.經(jīng)過不同低分辨視頻和圖像數(shù)據(jù)庫的驗證,本文的靜態(tài)顯著性檢測方法能夠適用于多種類型視頻的顯著性檢測.靜態(tài)顯著性和動態(tài)顯著性融合結(jié)果示例如圖16所示,人由圖16(a)的移動狀態(tài)變?yōu)閳D16(b)的靜止狀態(tài).圖16(a)中彩色部分為運動顯著性區(qū)域,灰色部分為靜態(tài)顯著性區(qū)域,隨著運動的停止,圖16(b)中彩色區(qū)域消失.

5.3 視頻多幀實驗定量分析

統(tǒng)計包括表1中的5個低分率視頻的實驗結(jié)果數(shù)據(jù),總計10個低分率視頻,每個視頻隨機選取125幀,共1250幀的視頻畫面圖像.經(jīng)10個人進行手工標注,共同標注次數(shù)超過5次的區(qū)域記為有效標注區(qū)域,總計4386個靜態(tài)顯著性區(qū)域,973個動態(tài)顯著性區(qū)域.利用矩形框手工標注單幀圖像中的靜態(tài)顯著性區(qū)域和運動顯著性區(qū)域.實驗結(jié)果中的標記區(qū)域包括∶正確檢測結(jié)果和錯誤檢測結(jié)果.手工標注區(qū)域但實驗未標記區(qū)域為漏檢區(qū)域.標記區(qū)域矩形框與手工標注區(qū)域矩形框的重疊面積達到手工標注框的面積的60%以上才記為正確標記,否則為錯誤標記(虛報區(qū)域).表2的數(shù)據(jù)表明,本文的算法有較高的準確率,較低的漏檢率和錯誤率.

表2 檢測結(jié)果數(shù)據(jù)統(tǒng)計Table 2.Statistic data of the test result.

圖14 (網(wǎng)刊彩色)不同方法在不同數(shù)據(jù)庫的性能指標對比 (a)MSRA1000數(shù)據(jù)庫測試結(jié)果;(b)ECSSD數(shù)據(jù)庫測試結(jié)果Fig.14.(color online)Comparison of test results of different methods using different databases:(a)Test results of MSRA1000 database;(b)test results of ECSSD database.

6 結(jié) 論

本文利用雙對立顏色特征和Gestalt視覺心理學理論作為約束條件,基于層次結(jié)構(gòu)的方法來檢測圖像顯著性區(qū)域,該方法降低了紋理特征帶來的干擾,檢測出的顯著性區(qū)域較為完整且符合視覺的基本規(guī)律.在此之上,結(jié)合改進的光流法,對視頻幀中的運動信息進行檢測.最后將圖像的顯著性和運動顯著性利用不同的色系同時展現(xiàn)在一個畫面中,使融合后的畫面更清晰.與傳統(tǒng)方法相比,基于生物視覺特性的方法對不同特征得到的顯著性區(qū)域進行簡單線性疊加,未考慮視覺心理學相關的因素,不符合普遍的視覺規(guī)律.而基于數(shù)學計算方法(如計算對比度和頻率分析的方法)未考慮生物視覺感知特性,導致檢測結(jié)果未能較好地與生物視覺特性感知結(jié)果相符.本文的方法模仿生物視覺特性,從底層提取相關特征的顯著性區(qū)域,同時利用高層先驗,即視覺心理學的相關成果,對不同特征對應的顯著性區(qū)域進行操作,使通過生物特征計算得到的結(jié)果滿足視覺心理學的相關理論.實驗結(jié)果表明,本文方法的圖像和視頻顯著性檢測結(jié)果與手工標注區(qū)域基本一致.

圖15 (網(wǎng)刊彩色)視頻顯著性檢測結(jié)果(第一列為視頻單幀圖像、第二列為靜態(tài)顯著性檢測結(jié)果,第三列為動態(tài)顯著性檢測結(jié)果)Fig.15.(color online)Video saliency detection results(thefirst column for the video single frame image and second columns for the static saliency detection results,the third column for the dynamic saliency detection results).

圖16 運動狀態(tài)改變的視頻顯著性檢測示例 (a)運動狀態(tài);(b)靜止狀態(tài)Fig.16.Video saliency detection results of motion state changes:(a)Motion state;(b)static state.

人的視覺還受先驗知識的影響,針對不同場景,靜態(tài)顯著性應當考慮更多的先驗知識,如交通場景中應當添加人臉識別、人的個體識別、交通警示牌識別等技術(shù);運動顯著性應引入更多幀的運動情況,以確定視頻中運動顯著性較強的時間段.下一步工作將考慮以上因素,對算法做進一步改進和完善.

[1]Borji A,Sihite D N,Itti L 2015 IEEE Trans.Image Process.24 5706

[2]Cichy R M,Pantazis D,Oliva A 2016 Cerebral Cortex 26 3563

[3]Li Z C,Qin S Y,Itti L 2011 Image Vision Comput.29 1

[4]Wu G L,Fu Y J,Huang S C,Chen S Y 2013 IEEE Trans.Image Process.22 2247

[5]Franke U,Pfeiffer D,Rabe C,Knoeppel C,Enzweiler M,Stein F,Herrtwich R 2013 Proceedings of IEEE Conference on Computer Vision Sydney,Australia,December 1–8,2013 p214

[6]Ma Y F,Hua X S,Lu L,Zhang H J 2005 IEEE Trans.Multimed.7 907

[7]Ejaz N,Mehmood I,Baik S W 2014 Comput.Elec.Engr.40 993

[8]Evangelopoulos G,Zlatintsi A,Potamianos A,Maragos P 2013 IEEE Trans.Multimed.15 1553

[9]Itti L,Koch C,Niebur E 1998 IEEE Trans.Pattern Anal.Mach.Intell.20 1254

[10]Itti L,Koch C 2001 Nat.Rev.Neurosci.2 194

[11]Cheng M M,Zhang G X,Mitra N J,Huang X,Hu S M 2011 Proceedings of Computer Vision and Pattern Recognition Colorado Springs,November 15–18,2011 p409

[12]Liu J,Wang S 2015 Neurocomputing 147 435

[13]Guo C,Ma Q,Zhang L 2008 Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Anchorage,Alaska,January 17–18,2008 p1

[14]Hou X D,Zhang L Q 2007 Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Minneapolis,Minnesota,June 19–21,2007 p18

[15]Zhu Z,Wang M 2016 J.Comput.Appl.36 2560

[16]Tao D,Cheng J,Song M 2016 IEEE Trans.Neur.Netw.Lear.Syst.27 1122

[17]Xue Y W,Guo X J,Cao X C 2012 Proceedings of IEEE International Conference on Acoustics,Speech and Signal Processing Kyoto,Japan,March 25–30,2012 p1485

[18]Ma Z M,Tao C K 1999 Acta Phys.Sin.48 2202(in Chinese)[馬兆勉,陶純堪 1999物理學報 48 2202]

[19]Jin Z L,Han J,Zhang Y,Bo Lf2014 Acta Phys.Sin.63 069501(in Chinese)[金左輪,韓靜,張毅,柏連發(fā)2014物理學報63 069501]

[20]Wu Y Q,Zhang J K 2010 Acta Phys.Sin.59 5487(in Chinese)[吳一全,張金礦 2010物理學報 59 5487]

[21]Xu Y N,Zhao Y,Liu L P,Zhang Y,Sun X D 2010 Acta Phys.Sin.59 980(in Chinese)[許元男,趙遠,劉麗萍,張宇,孫秀冬2010物理學報59 980]

[22]Wang X,Ma H,Chen X 2016 Proceedings of International Conference on Image Processing the Phoenix Convention Centre,Phoenix,Arizona,USA,September,2016 p25

[23]He S,Lau R W,Liu W 2015 Int.J.Comput.Vision 115 330

[24]Li H,Chen J,Lu H 2017 Neurocomputing 226 212

[25]Huang Y 2016 M.S.Thesis(Beijing:Institute of Optoelectronic Technology)[黃燁2016碩士學位論文 (北京:中國科學院)]

[26]Paragios N,Deriche R 2000 IEEE Trans.Pattern Anal.Mach.Intell.22 266

[27]Tsai D M,Lai S C 2009 IEEE Trans.Image Process.18 158

[28]Barron J L,Fleet D,Beauchemin S S 1994 Int.J.Comput.Vision 12 43

[29]Elazary L,Itti L 2008 J.Vision 8

[30]Lucas B D,Kanade T 1981 Proceedings of International Joint Conference on Artificial Intelligence Vancouver,BC,Canada,August,1981 285

[31]Baker S,Scharstein D,Lewis J P,Roth S,Black M J,Szelisk R 2007 Proceedings of IEEE International Conference on Computer Vision Rio de Janeiro,Brazil,October 14–21,2007 p92

[32]Koffka K 1935 Principles of Gestalt Psychology(London:Lund Humphries)

[33]Mullen K T 1985 J.Phys.359 381

[34]Gary B,Adrian K 2008 Learning OpenCV(America:O’Reilly Media)pp356–370

[35]Shi J,Yan Q,Xu L,Jia J 2016 IEEE Trans.Pattern Anal.Mach.Intell.38 1

[36]Li X,Li Y,Shen C H,Dick A,Hengel 2013 Proceedings of Computer Vision Sydney,NSW,Australia,December 8,2013 p3328

PACS∶95.75.Mn,42.30.Tz,42.30.VaDOI∶10.7498/aps.66.109501

*Project supported by the Science and Technology Development Plan Foundation of Jilin Province,China(Grant No.20140101186JC).

?Corresponding author.E-mail:1537161104@qq.com

Video saliency detection algorithm based on biological visual feature and visual psychology theory?

Fang Zhi-Ming Cui Rong-Yi Jin Jing-Xuan?
(Intelligent Information Processing Laboratory,Department of Computer Science and Technology,Faculty of Engineering,Yanbian University,Yanji 133002,China)

18 November 2016;revised manuscript

18 February 2017)

In order to solve the problems of video saliency detection and poor fusion effect,a video saliency detection model and a fusion model are proposed.Video saliency detection is divided into spatial saliency detection and temporal saliency detection.In the spatial domain,inspired by the properties of visual cortex hierarchical perception and the Gestalt visual psychology,we propose a hierarchical saliency detection model with three-layer architecture for single frame image.The video single frame is simplified layer by layer,then the results are combined to form a whole consciousness vision object and become easier to deal with.At the bottom of the model,candidate saliency regions are formed by nonlinear simplification modelof the characteristic image(dual color characteristic and luminance characteristic image),which is in accordance with the biological visual characteristic.In the middle of the model,the candidate regions with the strongest competitiveness are selected as the local salient regions according to the property of matrix minimum Freseniusnorm(F-norm).At the top levelof the model,the local salient regions are integrated by the core theory of Gestalt visual psychology,and the spatial saliency map is obtained.In the time domain,based on the consistency assumption of a moving object in target location,motion range and direction,the optical flow points detected by Lucas-Kanade method are classified to eliminate the noise interference,then the motion saliency of moving object is measured by the motion amplitude.Finally,based on the difference between the visual sensitivity of dynamic and static information and the difference in visual sensitivity between color information and gray information,a general fusion modelof time and spatial domain salient region is proposed.The saliency detection results of single frame image and video sequence frame image are represented by the gray color model and the Munsell color system respectively.Experimental results show that the proposed saliency detection method can suppress the background noise,solve the sparse pixels problem of a moving object,and can effectively detect the salient regions from the video.The proposed fusion model can display two kinds of saliency results simultaneously in a single picture of a complex scene.This model ensures that the detection results of images are so complicated that a chaotic situation will not appear.

∶saliency detection,nonlinear simplification,Gestalt visual psychology,Lucas-Kanade method

?吉林省科技發(fā)展計劃項目(批準號:20140101186JC)資助的課題.

?通信作者.E-mail:1537161104@qq.com

?2017中國物理學會Chinese Physical Society