張文康，朱 倩，陳瀟君

(1.江蘇大學(xué)附屬醫(yī)院 信息科，江蘇 鎮(zhèn)江212013；2.江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇 鎮(zhèn)江 212013)

擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法*

張文康1，朱 倩2，陳瀟君2

(1.江蘇大學(xué)附屬醫(yī)院 信息科，江蘇 鎮(zhèn)江212013；2.江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇 鎮(zhèn)江 212013)

從人眼的視覺(jué)機(jī)制出發(fā)，提出了一種擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法。該方法首先對(duì)圖像進(jìn)行量化并選取出高頻顏色，降低了計(jì)算的復(fù)雜度，然后對(duì)圖像進(jìn)行分割對(duì)比，初始的視覺(jué)點(diǎn)以圖像的中心作為基準(zhǔn)點(diǎn)，通過(guò)提出的視覺(jué)引力模型迭代計(jì)算出視覺(jué)點(diǎn)的移動(dòng)軌跡，最終尋找到顯著區(qū)域。在公開(kāi)的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本方法所尋找到的顯著區(qū)域相對(duì)于其他方法能夠更精確地對(duì)顯著區(qū)域進(jìn)行標(biāo)注，更加符合實(shí)際應(yīng)用。

顯著性檢測(cè)；擬人視覺(jué)；圖像量化；視覺(jué)引力

0引言

顯著性可以描述為場(chǎng)景中的某一元素相對(duì)于同場(chǎng)景其他元素更加能吸引人的注意力，是人類在視覺(jué)感知的過(guò)程中總結(jié)出來(lái)的，由于人的視覺(jué)共性，使得有些元素對(duì)于不同的人來(lái)講吸引力是共同的，這些區(qū)域往往集中了最重要的信息，因此顯著性檢測(cè)在圖像處理領(lǐng)域顯得十分重要，主要的應(yīng)用領(lǐng)域包括：圖像的檢索、數(shù)據(jù)壓縮、目標(biāo)識(shí)別、導(dǎo)航定位等。目前國(guó)內(nèi)外學(xué)者對(duì)這一領(lǐng)域進(jìn)行了廣泛深入的研究，主要的研究方法有：ITTI L和KOCH C[1]提出跨尺度周邊算子模型來(lái)進(jìn)行顯著區(qū)域的檢測(cè)，主要原理是通過(guò)計(jì)算小尺度和大尺度特征差別來(lái)計(jì)算顯著性。但是該方法計(jì)算過(guò)程復(fù)雜，并且精確性不高。HARBEL J[2]提出使用馬爾科夫鏈計(jì)算中心周邊概率，并用基于圖論的概率模型得到顯著圖，此方法的提取精度有提升，但是計(jì)算仍然復(fù)雜。GAO D[3]通過(guò)最大值法提取中心和周邊區(qū)域中特征分布的相互信息，提取的效果較好。

1 圖像量化

圖像的顯著性計(jì)算需要對(duì)每個(gè)像素點(diǎn)進(jìn)行計(jì)算，那么在計(jì)算時(shí)就有2563種顏色。顏色變化范圍很小時(shí)人眼是無(wú)法準(zhǔn)確區(qū)分的。如圖1所示，每個(gè)通道的顏色小范圍變化時(shí)，所得到的最終顏色圖的差異是不大的。每個(gè)通道的顏色變化較大時(shí)，最終所得到的圖的顏色可以觀察到明顯的變化。所以，在小范圍減少圖像中顏色數(shù)目，圖像質(zhì)量會(huì)下降，但是對(duì)最終圖像的顯示影響很小，所以可以將相似的顏色量化為相同的顏色。

圖1 顏色變化對(duì)比圖

定義如下：

其中Q(Ii)表示量化圖像 Ii，RGB三通道每個(gè)通道的色值最終被映射為12等分。

對(duì)于每個(gè)像素 Ps，t∈Ii，其色值量化為：

量化后的像素庫(kù)定義為：

經(jīng)過(guò)量化后的RGB空間有1 728中顏色，也就是123，很顯然自然圖像的色彩只屬于這1 728種顏色的一小部分，同時(shí)人眼也無(wú)法精確辨別這些顏色。所以就需要對(duì)圖像進(jìn)行篩選，為了不影響圖片的質(zhì)量，就要確保篩選出的色值能夠覆蓋大多數(shù)的像素點(diǎn)，對(duì)于少部分沒(méi)有覆蓋到的像素點(diǎn)可以用距離其最近的色值替代。

則圖像集被定義為：

在本文約定選出的色值要能覆蓋95%的像素點(diǎn)，也就是剩余的5%的像素點(diǎn)用相近的色值代替。則：

截?cái)嗟姆秶x如下：

Ni-k≥256表示像素累加到5%時(shí)，若此時(shí)能夠合理表征圖像的顏色個(gè)數(shù)還是超過(guò) 256，則 Mi取值為 256，避免了顏色的相似性。

根據(jù)式(9)、式(10)可把出現(xiàn)頻率比較低的顏色用最相似的顏色代替。

經(jīng)過(guò)量化后大大降低了顏色的數(shù)目，以圖2為例，量化前顏色數(shù)目為58 921，量化后的顏色數(shù)目為100，這樣就加快了圖像處理的速度。

圖2 圖像量化對(duì)比圖

量化后的數(shù)據(jù)集定義為：

2 顏色空間轉(zhuǎn)換

將圖像從RGB空間轉(zhuǎn)換到XYZ空間，轉(zhuǎn)換矩陣如下：

轉(zhuǎn)化后得到像素帶點(diǎn)在XYZ空間下每個(gè)通道的色值，接著再轉(zhuǎn)換到 Lab顏色空間，經(jīng)過(guò)一系列的顏色空間轉(zhuǎn)換之后，顏色數(shù)據(jù)集定義為：

3 擬人視覺(jué)系統(tǒng)的顯著性計(jì)算

使用GB分割算法對(duì)圖像進(jìn)行分割，得到每一個(gè)小的圖像塊，相同的圖像塊可認(rèn)為是一個(gè)整體，則可認(rèn)為一個(gè)圖像塊中的像素點(diǎn)具有相同的顯著性。當(dāng)兩個(gè)圖像塊距離較遠(yuǎn)時(shí)，對(duì)人的視覺(jué)影響比較大，同理，較近時(shí)對(duì)人眼的視覺(jué)影響較小。則顯著性計(jì)算公式如下：

其中，S(sk)代表圖像塊 sk的顯著值，w(si)表示圖像塊 si對(duì) sk的顯著值影響，這里的影響值計(jì)為圖像塊 si的總像素?cái)?shù)。Ds(sk，si)是圖像塊 sk和 si中心之間的歐式距離，表示空間權(quán)值，Dc(sk，si)表示圖像塊 sk和 si之間的顏色距離：

其中，f(ck，j)表示圖像塊sk中第 j種顏色出現(xiàn)的次數(shù)。

視覺(jué)角度來(lái)講，人眼在觀察圖像的時(shí)候首先是會(huì)集中在圖像的中心，然后再移動(dòng)到顯著性區(qū)域，所以本文提出一種擬人視覺(jué)系統(tǒng)的顯著性計(jì)算方法，顯著性計(jì)算公式改寫(xiě)如下：

其中，Ds(sk，VFn)表示圖像塊sk和視覺(jué)點(diǎn)VFn之間的距離。

分割后不同的圖像塊對(duì)人眼的吸引是不同的，人在觀察圖像時(shí)最先會(huì)被中心吸引，然后才會(huì)被顯著性區(qū)域吸引，這種吸引稱為視覺(jué)引力。視覺(jué)引力的大小與像素點(diǎn)的顯著性和視覺(jué)點(diǎn)之間的距離有關(guān)，這里定義每個(gè)像素對(duì)視覺(jué)點(diǎn)的引力如下：

其中，S(pi)表示顯著點(diǎn) pi的顯著性，D2(pi，VF)表示像素點(diǎn)pi到視覺(jué)點(diǎn) VF的距離，γ為調(diào)節(jié)參數(shù)，本文設(shè)為 1。

則所有的像素點(diǎn)會(huì)形成一個(gè)合力，如下所示：

想要獲得最終視覺(jué)點(diǎn)的位置，就需要計(jì)算初始的視覺(jué)點(diǎn)的位移偏量，由式(18)得出每個(gè)像素點(diǎn)在水平和垂直方向上的分力：

其中，px和py表示像素點(diǎn)在水平和垂直方向的坐標(biāo)，VFx、VFy表示視覺(jué)點(diǎn)在水平和垂直方向的坐標(biāo)。

這里參考力學(xué)模型，所以可以理解，視覺(jué)點(diǎn)在視覺(jué)引力的作用下，移動(dòng)的規(guī)則與力學(xué)中的規(guī)則是一致的。

例如，如圖3 F2的值比 F1的值大，但是他們的方向是相反的，因此視覺(jué)點(diǎn)就從L1移到L2。

圖3 引力分解模型

所有像素點(diǎn)在水平和垂直方向上分力的合力為：

對(duì)像素點(diǎn)坐標(biāo)與 FH、FV進(jìn)行量化：

則可得最終視覺(jué)點(diǎn)的坐標(biāo)：

則根據(jù)式(16)可得最終的視覺(jué)點(diǎn)。

算法流程如下：(1)輸入圖像，并分割得到其圖像塊集；(2)計(jì)算圖像塊集中每一個(gè)圖像塊的顯著值；(3)計(jì)算每一個(gè)像素對(duì)上一個(gè)視覺(jué)點(diǎn)的引力；(4)計(jì)算引力在橫坐標(biāo)和縱坐標(biāo)上的分力；(5)計(jì)算所有像素在橫坐標(biāo)和縱坐標(biāo)上分力的合力；(6)計(jì)算出視覺(jué)點(diǎn)移動(dòng)的距離；(7)計(jì)算出新視覺(jué)點(diǎn)的位置；(8)重復(fù)步驟(2～7)，直到兩個(gè)視覺(jué)點(diǎn)的距離小于一個(gè)閾值，則可認(rèn)為最終計(jì)算的視覺(jué)點(diǎn)為顯著性區(qū)域。

4 實(shí)驗(yàn)與分析

采用achanta圖像集，選用該圖像集的好處就是每一張圖像都對(duì)顯著區(qū)域進(jìn)行了標(biāo)注，有利于確認(rèn)算法最終結(jié)果的準(zhǔn)確性。對(duì)其中的圖像進(jìn)行分類，選取200張顯著區(qū)域在中心的圖片，記為數(shù)據(jù)集A；選取200張顯著區(qū)域不在中心的圖片，記為數(shù)據(jù)集B。

評(píng)價(jià)指標(biāo)選用準(zhǔn)確率和召回率，并選用目前常用的區(qū)域?qū)Ρ蕊@著性檢測(cè)方法[4]和多尺度顯著性檢測(cè)方法[5]同時(shí)來(lái)處理圖片，與本文方法進(jìn)行對(duì)比。實(shí)驗(yàn)中分別檢測(cè)數(shù)據(jù)集A和數(shù)據(jù)集B中的顯著性區(qū)域，并與人工標(biāo)準(zhǔn)的結(jié)果進(jìn)行對(duì)比計(jì)算，獲得每一副圖像的準(zhǔn)確率和召回率。

使用實(shí)驗(yàn)集A去評(píng)估3種方法的顯著性檢測(cè)結(jié)果，并計(jì)算出準(zhǔn)確率和召回率的平均值，繪制出直方圖進(jìn)行對(duì)比。

如圖4所示，使用本文方法和區(qū)域?qū)Ρ确ㄓ?jì)算出的準(zhǔn)確率和召回率要高于多尺度法，這是由于選取的數(shù)據(jù)集A中的圖片顯著性區(qū)域都位于圖片的中心，使用本文算法和區(qū)域?qū)Ρ确ǚ椒ㄟM(jìn)行視覺(jué)焦點(diǎn)加權(quán)時(shí)，顯著性檢測(cè)的效果會(huì)更好，使得圖片中的顯著性區(qū)域會(huì)被準(zhǔn)確地檢測(cè)出來(lái)。

圖4 3種算法在實(shí)驗(yàn)集A上的對(duì)比

再使用實(shí)驗(yàn)集B來(lái)評(píng)估本文算法、區(qū)域?qū)Ρ确ā⒍喑叨确▽?duì)于顯著性區(qū)域的檢測(cè)效果。

如圖5所示，本文算法和多尺度法的準(zhǔn)確率和召回率比區(qū)域?qū)Ρ确ǜ?，這是由于數(shù)據(jù)集B中的圖片的顯著區(qū)域沒(méi)有位于圖像的中心。區(qū)域?qū)Ρ确椒ǖ男Ч^差是因?yàn)榧訌?qiáng)了中心區(qū)域，也就是非顯著性區(qū)域，而使用本文算法，由于是模擬人眼的視覺(jué)機(jī)制，可以正確找到視覺(jué)顯著區(qū)域，所以在數(shù)據(jù)集B上使用本文算法方法可以更加準(zhǔn)確地檢測(cè)出顯著性區(qū)域。

圖6分別表示顯著性區(qū)域在中心和不在中心的檢測(cè)結(jié)果?？梢钥闯?，區(qū)域?qū)Ρ确椒▽?duì)顯著區(qū)域不在中心的檢測(cè)效果不理想，因?yàn)槠鋾?huì)分割出不屬于顯著區(qū)域的部分并對(duì)其效果進(jìn)行增強(qiáng)。多尺度法對(duì)于顯著區(qū)域在中心的圖片檢測(cè)效果不理想，是因?yàn)槠鋾?huì)導(dǎo)致周圍的區(qū)域顯著值過(guò)大，從而影響中心區(qū)域的顯著值。

圖5 3種算法在實(shí)驗(yàn)集B上的對(duì)比

圖6 實(shí)際檢測(cè)效果對(duì)比

5 結(jié)束語(yǔ)

本文從人眼視覺(jué)機(jī)制角度提出了擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法，首先概述了目前常見(jiàn)的顯著性檢測(cè)的研究方法，然后詳細(xì)闡述了本文所提算法的前提條件，也就是圖像量化和顏色篩選。從人眼視覺(jué)機(jī)制出發(fā)，提出了視覺(jué)引力的概念，并給出了詳細(xì)的計(jì)算方法，通過(guò)視覺(jué)引力計(jì)算出人眼對(duì)于圖像中的視覺(jué)點(diǎn)，并最終獲取到顯著性區(qū)域。通過(guò)實(shí)驗(yàn)構(gòu)建了兩個(gè)不同類型的數(shù)據(jù)集，通過(guò)與其他常見(jiàn)算法的對(duì)比證明本文所提算法的準(zhǔn)確性要高，并證明了算法的可行性。

[1]ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transaction on Pattern Analysis and Machined Intelligence，1998，20 (11)：1254-1259.

[2]HAREL J，KOCH C，PERONA P.Graph-based visual saliency[C].Advances in Neural Information Processing Systems，2006：545-552.

[3]GAO D，MAHADEVAN V，VASCONCELOS N.The discriminant center-surround hypothesis for bottom-up saliency[C].Advances in Neural Information Processing Systems，2007：497-504.

[4]敖歡歡.視覺(jué)顯著性應(yīng)用研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2013.

[5]李勇.多尺度特征檢測(cè)：方法和應(yīng)用研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2010.

The saliency detection based on mimic human visual systems

Zhang Wenkang1，Zhu Qian2，Chen Xiaojun2
(1.Department of Information，Affiliated Hospital of Jiangsu University，Zhenjiang 212013，China；2.Department of Computer Science and Telecommunication Engineering，Jiangsu University，Zhenjiang 212013，China)

This paper presents a saliency detection based on human visual systems.To begin with，it quantifies image and chooses high frequency color to reduce the complex of calculation.Then,it splits image and chooses the center point of image as the first visual point,iteratively calculates visual point according to visual attraction model，and acquires saliency area.The experimen results show that the method is more accurate than other methods to mark the salient and is very useful for practical application.

saliency detection；mimic human visual systems；image quantization；visual attraction

TP391

A

10.16157/j.issn.0258-7998.2016.11.033

張文康，朱倩，陳瀟君.擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法[J].電子技術(shù)應(yīng)用，2016，42(11)：122-125.

英文引用格式：Zhang Wenkang，Zhu Qian，Chen Xiaojun.The saliency detection based on mimic human visual systems[J].Application of Electronic Technique，2016，42(11)：122-125.

2016-03-14)

張文康(1982-)，男，碩士，工程師，主要研究方向：圖像識(shí)別。

朱倩(1979-)，女，碩士生導(dǎo)師，副教授，主要研究方向：模式識(shí)別、圖像處理。

陳瀟君(1981-)，男，博士研究生，主要研究方向：圖像識(shí)別。

國(guó)家自然科學(xué)基金(61502206，61502208，41474095)