亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        圖像級(jí)別和像素級(jí)別的顯著圖像的融合*

        2019-12-19 17:25:04吳建國(guó)劉政怡
        計(jì)算機(jī)與生活 2019年12期
        關(guān)鍵詞:融合檢測(cè)方法

        陳 蕾,吳建國(guó),劉政怡+

        1.安徽大學(xué) 計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室,合肥 230601

        2.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,合肥 230601

        3.安徽大學(xué) 信息保障技術(shù)協(xié)同創(chuàng)新中心,合肥 230601

        1 引言

        計(jì)算機(jī)視覺(jué)領(lǐng)域的圖像顯著性檢測(cè)工作越來(lái)越受到學(xué)者的關(guān)注和重視,它可以被廣泛應(yīng)用到眾多視覺(jué)任務(wù)中,如目標(biāo)識(shí)別[1]、圖像分割[2]、視頻跟蹤[3]以及目標(biāo)重定位[4]等。

        顧名思義,顯著圖融合工作,即融合由N種圖像顯著性檢測(cè)方法生成的顯著圖以得到最終顯著圖。已有很多學(xué)者在該領(lǐng)域做過(guò)大量研究工作,并可以證明融合工作確實(shí)可以取得明顯成效。這些融合思路從不同的角度出發(fā),方法各異,值得總結(jié)和學(xué)習(xí)。

        一些傳統(tǒng)的顯著圖融合方法大多僅是對(duì)多幅顯著圖進(jìn)行簡(jiǎn)單的線(xiàn)性加和平均或者是相乘取平均。這種融合方式將多種顯著圖同等對(duì)待,通常在實(shí)際中是不合理的。Jiang等人在文獻(xiàn)[5]中設(shè)計(jì)了質(zhì)量指標(biāo)來(lái)定量評(píng)估不同方法生成的顯著圖的優(yōu)劣,然后通過(guò)將該質(zhì)量指標(biāo)作為權(quán)重加權(quán)平均較優(yōu)顯著圖和濾除較差顯著圖來(lái)構(gòu)造融合框架。該方法通過(guò)計(jì)算顯著圖的質(zhì)量指標(biāo)作為融合權(quán)重,可以區(qū)別對(duì)待單個(gè)初始顯著圖,而不是簡(jiǎn)單地相加平均,這樣可以降低效果較差的顯著圖對(duì)整個(gè)融合結(jié)果的影響。在文獻(xiàn)[6]中,Cao等人提出了一種通用的可以自適應(yīng)地融合多種顯著性檢測(cè)結(jié)果的框架,通過(guò)計(jì)算多種顯著性檢測(cè)結(jié)果的自適應(yīng)權(quán)值,再用該權(quán)值對(duì)多幅顯著性結(jié)果進(jìn)行線(xiàn)性加權(quán)來(lái)實(shí)現(xiàn)融合過(guò)程。在文獻(xiàn)[7]中,Mai等人提出了一種基于條件隨機(jī)場(chǎng)(conditional random field,CRF)框架的數(shù)據(jù)驅(qū)動(dòng)的顯著性聚合方法來(lái)融合多幅顯著圖。該方法不僅考慮到不同顯著性方法之間的性能差異,而且模擬了相鄰像素之間的相互作用,使得融合效果明顯優(yōu)于單個(gè)初始顯著圖。然而,這種方法計(jì)算速度太慢。在文獻(xiàn)[8]中,Tao 等人對(duì)Dempster-Shafer(D-S)證據(jù)理論進(jìn)行改進(jìn),并首次將其應(yīng)用到顯著圖的融合工作上,該算法新穎創(chuàng)新,但運(yùn)行時(shí)間較長(zhǎng)。在文獻(xiàn)[9]中,Lu等人將初始的每一幅顯著性圖作為一層元胞自動(dòng)機(jī),并提出了基于貝葉斯理論的多層元胞自動(dòng)機(jī)用于融合多幅顯著性圖并得到一個(gè)更優(yōu)的結(jié)果,這種方法高效可行,但是其召回率較低。

        2 方法

        為了更有效更全面地融合顯著圖,本文主要從兩個(gè)層面對(duì)顯著圖進(jìn)行融合,主要貢獻(xiàn)有以下三點(diǎn):

        (1)對(duì)RGB-D圖像顯著圖進(jìn)行融合,即在融合顯著圖的過(guò)程中,利用深度圖進(jìn)行影響。

        (2)分別在圖像級(jí)別和像素級(jí)別兩個(gè)層面上融合顯著圖。在圖像級(jí)別上,設(shè)計(jì)了一種簡(jiǎn)單且有效的RGB-D 顯著圖質(zhì)量評(píng)估的特征——分割質(zhì)量,并用該特征作為顯著圖的權(quán)重,在圖像級(jí)別上進(jìn)行線(xiàn)性融合。

        (3)在像素級(jí)別上,考慮單個(gè)像素在不同顯著圖中的顯著值差異,針對(duì)單個(gè)像素計(jì)算其顯著相似性,將其作為該像素的權(quán)重,在像素級(jí)別上進(jìn)行融合。

        本文算法流程圖如圖1所示。圖1(a)和圖1(b)分別為輸入的RGB圖像和深度圖像。本文首先對(duì)圖1(a)和圖1(b)分別使用四種RGB-D顯著性檢測(cè)方法:FP(fusion and propagation)[10]、GP(global priors)[11]、SE(saliency evolution)[12]、LBE(local background enclosure)[13],相應(yīng)地得出顯著圖圖1(c)、圖1(d)、圖1(e)、圖1(f),以此作為融合過(guò)程的初始顯著圖。其次,一方面分別對(duì)這四種初始顯著圖計(jì)算其質(zhì)量評(píng)估值——分割質(zhì)量值,并將其作為圖像級(jí)別線(xiàn)性融合的權(quán)重,得到圖像級(jí)別融合結(jié)果如圖1(g)所示。另一方面,針對(duì)單個(gè)像素在四種初始顯著圖之間的顯著性顯示差異,計(jì)算每個(gè)像素的顯著一致性,并將其作為像素級(jí)別線(xiàn)性融合的權(quán)重,得到像素級(jí)別融合結(jié)果如圖1(h)所示。最后,再將這兩個(gè)級(jí)別的結(jié)果按比例融合,得到最終融合結(jié)果圖1(i)。從圖1示例中吊燈的左下方小燈泡可以看出,像素級(jí)別的融合可以彌補(bǔ)圖像級(jí)別融合的細(xì)節(jié)缺失部分,促使整個(gè)融合過(guò)程優(yōu)勢(shì)互補(bǔ),得以生成最終較好的融合結(jié)果。圖1(j)為該示例的真值圖。

        符號(hào)標(biāo)記:對(duì)于RGB圖像I,其對(duì)應(yīng)的深度圖為D,用n種RGB-D顯著性檢測(cè)算法生成n幅初始顯著圖,記為M1,M2,…,Mn。

        2.1 圖像級(jí)別的融合

        為了解決圖像級(jí)別的顯著圖融合問(wèn)題,本文設(shè)計(jì)了一種RGB-D顯著圖像的質(zhì)量評(píng)估特征——分割質(zhì)量,用來(lái)衡量顯著圖中目標(biāo)和背景的分割準(zhǔn)確度。

        對(duì)于第i張顯著圖Mi,首先計(jì)算該圖中所有像素的平均顯著值t,用該值作為閾值二值化Mi為顯著區(qū)域St和背景區(qū)域Bt,即:

        其中,Mi(p)為顯著圖Mi中像素p的顯著值,值為1則表示像素p屬于顯著區(qū)域St,反之屬于背景區(qū)域Bt。

        由文獻(xiàn)[14]可知,一個(gè)好的分割結(jié)果應(yīng)該呈現(xiàn)出區(qū)域內(nèi)相似性最大化而區(qū)域間相似性最小化,則顯著圖Mi的分割質(zhì)量特征定義如下:

        其中,N(p)表示像素p的鄰居像素集合,在這里定義為p的八鄰域。Wpq為相鄰像素p和q之間的顏色和深度相似性。cp和cq分別為像素p和像素q的L*a*b*顏色值,dp和dq分別為像素p和像素q的深度值。||·||2為二范數(shù),計(jì)算像素之間顏色值的歐式距離。σ2=0.01為控制參數(shù)。

        Fig.1 Algorithm flow chart圖1 算法流程圖

        由于質(zhì)量較差的深度圖可能會(huì)影響像素之間的深度相似性的計(jì)算結(jié)果,故引入深度置信度λd[15]來(lái)衡量深度信息的質(zhì)量,定義為:

        在該式中,md為整個(gè)深度圖的平均深度值,CV表示差異系數(shù),H為深度頻率熵,表示深度分布的隨機(jī)性。λd值越大則表明深度圖中的深度信息越可靠。

        分析式(2)可知,分割質(zhì)量特征值越大表明當(dāng)前顯著圖的質(zhì)量越優(yōu)。

        按照式(2)對(duì)每張顯著圖計(jì)算出其分割質(zhì)量,并用該特征值作為權(quán)重進(jìn)行線(xiàn)性加權(quán)融合,可得圖像級(jí)別的融合顯著圖Sal1:

        其中,Norm(·)為歸一化函數(shù)。

        2.2 像素級(jí)別的融合

        為了獲取顯著圖中更為細(xì)節(jié)化的信息,本文考慮像素在不同顯著圖中的顯著一致性并提出像素級(jí)別的融合方法。對(duì)于像素p,其在初始顯著性圖M1,M2,…,Mn中的顯著值分別表示為M1(p),M2(p),…,Mn(p),定義像素p在任意兩張顯著圖像i和j中的顯著性差異為:

        則n幅顯著圖對(duì)應(yīng)的像素p的相似矩陣如式(7)所示,分析可知,A具有對(duì)稱(chēng)性:

        綜上可得,像素p在第i幅顯著圖與其他顯著圖的顯著值的一致性測(cè)度計(jì)算為:

        用該值作為像素p在顯著圖i中的權(quán)重,可得像素級(jí)別的融合結(jié)果為Sal2:

        2.3 最終融合結(jié)果

        最后,融合圖像級(jí)別的顯著圖和像素級(jí)別的顯著圖,可得最終的融合結(jié)果為:

        為了平衡圖像級(jí)別的顯著圖和像素級(jí)別的顯著圖對(duì)最終融合結(jié)果的貢獻(xiàn)程度,且經(jīng)過(guò)實(shí)驗(yàn)證明,設(shè)置參數(shù)?1=0.6,?2=0.4可使得實(shí)驗(yàn)效果最優(yōu)。

        2.4 算法偽代碼

        本文顯著圖像融合算法的偽代碼如下:

        算法圖像級(jí)別和像素級(jí)別的顯著圖像的融合

        輸入:RGB圖像、深度圖像、N張初始顯著圖。

        輸出:通過(guò)融合得到的最終的顯著圖像。

        1.根據(jù)式(2)計(jì)算每張初始顯著圖的分割質(zhì)量值SQi;

        2.根據(jù)式(5)在圖像級(jí)別上融合初始顯著圖,得到Sal1;

        3.根據(jù)式(8)計(jì)算像素在初始顯著圖中的顯著值一致性;

        4.根據(jù)式(9)在像素級(jí)別上融合初始顯著圖,得到Sal2;

        5.根據(jù)式(10)融合Sal1和Sal2,得到最終的融合顯著圖。

        3 實(shí)驗(yàn)結(jié)果

        實(shí)驗(yàn)在RGB-D1000[16]基準(zhǔn)數(shù)據(jù)集上,選定了4種經(jīng)典的RGB-D 顯著性檢測(cè)算法對(duì)其進(jìn)行顯著性檢測(cè),獲取初始顯著圖。選定的4種方法是FP[10]、GP[11]、SE[12]、LBE[13]。另外,將本文實(shí)驗(yàn)與4種先進(jìn)的顯著圖融合算法,就準(zhǔn)確率P(Precision)、召回率R(Recall)以及F-measure 這3個(gè)評(píng)估指標(biāo)通過(guò)繪制精度-召回(Precision-Recall,PR)曲線(xiàn)圖以及評(píng)估指標(biāo)直方圖作直觀對(duì)比。對(duì)比的4種顯著圖融合算法包括MSR(mean saliency in covered window-spatial distribution of saliency map ratio)[5]、SACS(self-adaptively co-saliency)[6]、MCA(multilayer cellular automata)[9]、WDSET (weighted DS evidence theory)[8]。

        實(shí)驗(yàn)平臺(tái):所有程序均在IntelCorei7CPU2.00GHz、內(nèi)存4 GB的PC上實(shí)現(xiàn)。本文方法使用Matlab(R2016a),對(duì)比算法來(lái)自各引用論文作者提供的公開(kāi)代碼或?qū)嶒?yàn)結(jié)果集合。

        3.1 實(shí)驗(yàn)參數(shù)及評(píng)估標(biāo)準(zhǔn)

        跟很多現(xiàn)有研究工作一樣,本文使用PR 曲線(xiàn)和F-measure值對(duì)所有的算法進(jìn)行評(píng)估。

        對(duì)于一張顯著圖,可以將其轉(zhuǎn)換為二進(jìn)制掩碼M,并通過(guò)比較M和真值圖(ground truth,GT)來(lái)計(jì)算精度和召回率。具體實(shí)現(xiàn)是將顯著圖量化至[0,255],然后為每5個(gè)值設(shè)置一個(gè)閾值。在該顯著圖中,如果當(dāng)前像素的顯著性值大于閾值,則指示該像素屬于前景,否則該像素屬于背景。在每個(gè)閾值上,計(jì)算出一對(duì)準(zhǔn)確率/召回值,并最終將其組合成一條精度召回(PR)曲線(xiàn)來(lái)描述算法在不同情況下的性能。準(zhǔn)確率和召回率可以通過(guò)以下公式計(jì)算:

        通常,無(wú)論是準(zhǔn)確率還是召回率,都無(wú)法全面地評(píng)價(jià)顯著圖的質(zhì)量。本文采用F-measure 作為整體性能評(píng)價(jià),由文獻(xiàn)[17]可知,具體計(jì)算方法為:

        如果β2被設(shè)置為1,則F-measure 的結(jié)果即為準(zhǔn)確率和召回率的調(diào)和均值。如果β2>1,則召回率將對(duì)F-measure 的結(jié)果影響更大。當(dāng)β2<1時(shí),則查全率對(duì)F-measure 結(jié)果的影響較大。正如大多數(shù)突出的目標(biāo)檢測(cè)工作所建議的那樣,為了控制準(zhǔn)確率和召回率的權(quán)值,將β2的值設(shè)為0.3。

        3.2 實(shí)驗(yàn)結(jié)果及分析

        圖2為4種初始圖像顯著性檢測(cè)算法及其融合結(jié)果對(duì)比圖。圖2(a)、圖2(b)分別為這4種初始圖像顯著性檢測(cè)算法及兩個(gè)級(jí)別上的融合結(jié)果的PR曲線(xiàn)圖和評(píng)估指標(biāo)直方圖。圖2(a)PR 曲線(xiàn)顯示,本文提出的基于圖像級(jí)別(stage1)和像素級(jí)別(stage2)的顯著圖融合算法明顯優(yōu)于初始的圖像顯著性檢測(cè)算法。圖2(b)所示為基于準(zhǔn)確率P(Precision)、召回率R(Recall)以及F-measure的3個(gè)指標(biāo)的評(píng)估結(jié)果。該評(píng)估直方圖表明在加入像素級(jí)別融合過(guò)程(stage2)后,最終融合結(jié)果(Proposed)的F-measure 值高于僅基于圖像級(jí)別的融合結(jié)果(stage1),驗(yàn)證了像素級(jí)別融合過(guò)程的有效性。

        圖3為本文提出的融合算法與其他4種顯著圖像融合算法的對(duì)比結(jié)果。圖3(a)、圖3(b)分別為不同的顯著圖像融合算法的PR曲線(xiàn)圖和評(píng)估指標(biāo)直方圖。圖3(a)PR 曲線(xiàn)顯示,本文提出的基于兩個(gè)級(jí)別的融合算法整體優(yōu)于其他4種顯著圖像融合方法。圖3(b)所示為基于準(zhǔn)確率P(Precision)、召回率R(Recall)以及F-measure 的3個(gè)指標(biāo)的評(píng)估結(jié)果。該評(píng)估直方圖表明,本文算法F-measure 值低于MCA[9]融合算法,但皆高于其他算法。

        圖4所示是本文提出的顯著圖像融合算法與其他顯著圖像融合算法的質(zhì)量對(duì)比實(shí)驗(yàn)的部分示例。本文算法與其他顯著圖像檢測(cè)算法相比,該算法不僅可以較好地凸顯圖像中的顯著目標(biāo)主體,而且顯著目標(biāo)的細(xì)節(jié)邊緣部分也能得到更細(xì)致的處理。

        Fig.2 Comparison of initial saliency detection algorithms and fusion results圖2 初始顯著檢測(cè)算法及其融合結(jié)果對(duì)比

        Fig.3 Experimental results of different algorithms for saliency map fusion圖3 不同顯著圖融合算法的實(shí)驗(yàn)結(jié)果

        Fig.4 Quality contrast examples圖4 質(zhì)量對(duì)比示例

        表1為本文方法與其他顯著圖像融合算法在數(shù)據(jù)集上整體的運(yùn)行時(shí)間對(duì)比結(jié)果。本文算法驗(yàn)證實(shí)驗(yàn)運(yùn)行整體時(shí)間為1 232.631 s,運(yùn)行時(shí)間相對(duì)偏高的原因是在圖像級(jí)別的顯著圖融合過(guò)程中增加了對(duì)深度信息Depth的計(jì)算。

        Table 1 Comparision of average running time表1 平均運(yùn)行時(shí)間對(duì)比

        4 結(jié)束語(yǔ)

        本文在兩個(gè)層面上對(duì)RGB-D 顯著圖進(jìn)行融合,不僅量化計(jì)算了初始顯著模型之間的優(yōu)劣差異對(duì)最終融合結(jié)果的影響程度,還考慮了單個(gè)像素層面的顯著相似性。實(shí)驗(yàn)結(jié)果顯示本文所提出的融合方法得出的顯著圖明顯優(yōu)于初始顯著圖,且在與其他融合算法相比較時(shí),該方法也具有一定的優(yōu)勢(shì)。在未來(lái)的學(xué)習(xí)和研究中,可以進(jìn)一步考慮顯著圖中顯著目標(biāo)的特征,加入基于目標(biāo)級(jí)別的顯著圖像融合,由此可以更全面地進(jìn)行顯著圖像融合工作。

        猜你喜歡
        融合檢測(cè)方法
        村企黨建聯(lián)建融合共贏
        “不等式”檢測(cè)題
        “一元一次不等式”檢測(cè)題
        “一元一次不等式組”檢測(cè)題
        融合菜
        從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
        《融合》
        可能是方法不對(duì)
        小波變換在PCB缺陷檢測(cè)中的應(yīng)用
        用對(duì)方法才能瘦
        Coco薇(2016年2期)2016-03-22 02:42:52
        免费国产黄线在线播放| 无码人妻精品丰满熟妇区| 亚洲精品毛片一区二区三区| 91美女片黄在线观看| 中文字幕人妻久久一区二区三区| 国产一级一级内射视频| 无码少妇一区二区性色av| 一国产区在线观看| 国产一区二区三区视频了 | 99精品久久久中文字幕| 亚洲香蕉久久一区二区| 香蕉视频在线观看亚洲| 亚洲人成未满十八禁网站| 乱伦一区二| 人妻少妇激情久久综合| 国精产品一区一区三区有限在线 | 久久精品一品道久久精品9| 亚洲中文字幕乱码免费看| 欧美高清精品一区二区| 欧美最猛性xxxxx免费| 亚洲国产成人久久综合一区77| 97超碰中文字幕久久| 熟女体下毛荫荫黑森林| 国外精品视频在线观看免费| 国产尤物二区三区在线观看| 日本在线综合一区二区| 成人精品一区二区三区电影| 日产无人区一线二线三线新版| 亚洲成a人片在线观看高清| 免费在线视频亚洲色图| 亚洲精品久久久www小说| 亚洲va在线va天堂va手机| 亚洲最黄视频一区二区| 国产极品裸体av在线激情网| 人妻精品动漫h无码网站| 日韩人妻无码精品久久伊人| 国产一区二区资源在线观看| 国产又色又爽无遮挡免费软件| 亚洲国产av一区二区三区四区 | 小黄片免费在线播放观看| 亚洲sm另类一区二区三区 |