汪 蕊，劉政怡，李 煒

安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥230601

1 引言

顯著性檢測(cè)一直是圖像中較為熱門的話題，目的是檢測(cè)出一幅圖像中最為突出的物體，這項(xiàng)研究在實(shí)際應(yīng)用中也有廣泛的應(yīng)用，如圖片檢索[1]、圖片分割[2-3]、圖片質(zhì)量評(píng)估[4]。在過去的眾多年間顯著性檢測(cè)的模型[5-10]已經(jīng)在很多公共數(shù)據(jù)集上達(dá)到了非常好的效果。協(xié)同顯著領(lǐng)域就此進(jìn)入廣大科研者的研究的領(lǐng)域，和以往的單幅圖顯著性檢測(cè)不同，協(xié)同顯著檢測(cè)[11-13]意在檢測(cè)出一組圖片中都有且是顯著區(qū)域的部分。協(xié)同顯著區(qū)域具有兩種性質(zhì)：（1）協(xié)同顯著區(qū)域在單幅圖中應(yīng)該也是顯著的；（2）在一組圖內(nèi)的所有協(xié)同顯著區(qū)域應(yīng)該是相似的。和單幅圖顯著性檢測(cè)相比協(xié)同顯著檢測(cè)是一個(gè)更有挑戰(zhàn)性的研究。協(xié)同顯著性研究已經(jīng)廣泛地應(yīng)用于計(jì)算機(jī)視覺方面，譬如協(xié)同前景分割[14]、協(xié)同目標(biāo)定位[15]、圖片檢索[16]。

目前現(xiàn)有的協(xié)同顯著檢測(cè)方法都是針對(duì)于RGB 圖片的，然而針對(duì)RGB-D 圖的協(xié)同顯著檢測(cè)還是很缺乏，深度信息沒有被很好地應(yīng)用進(jìn)協(xié)同顯著檢測(cè)的過程中，它能夠補(bǔ)足低層特征無法達(dá)到的優(yōu)勢(shì)，由于深度圖片質(zhì)量不能保證，因此在本論文中為了將深度特征更好地融入顯著檢測(cè)的過程中，引用了AIF[17]中的DSP[17]根據(jù)深度圖的好壞可適應(yīng)地對(duì)深度信息加以利用。對(duì)于協(xié)同顯著檢測(cè)而言，找到協(xié)同顯著的物體部分很重要，目標(biāo)檢索是計(jì)算機(jī)視覺的四大基本任務(wù)之一，目標(biāo)檢索的任務(wù)是在一幅圖片中盡可能搜索出圖像中某一塊存在目標(biāo)，BING[18]是一種優(yōu)異的目標(biāo)檢測(cè)方法，它提出了一種速度快且檢測(cè)準(zhǔn)確的目標(biāo)檢測(cè)算法，為每幅圖片產(chǎn)生1 000 個(gè)候選框，及每個(gè)框包含物體可能性的大小。目前還沒有人在RGBD 協(xié)同顯著檢測(cè)區(qū)域使用目標(biāo)檢索方法來提高顯著分類準(zhǔn)確率，使用目標(biāo)檢索可以挑選出更為準(zhǔn)確的顯著種子。

在過去的大多方法中，大部分算法都是利用低級(jí)特征進(jìn)行協(xié)同顯著檢測(cè)，如Cong等人在AIF[17]中提出了利用顏色，深度等特征加上循環(huán)迭代來進(jìn)行協(xié)同顯著；Fu等人在CB[19]提出聚類后利用各種低層特征對(duì)比得到最終顯著圖；這些方法都是利用低級(jí)特征且所有超像素都參與到協(xié)同顯著分類過程來進(jìn)行協(xié)同性判斷，由于低級(jí)特征的局限性無法對(duì)物體邊緣進(jìn)行細(xì)化，協(xié)同顯著的結(jié)果會(huì)受到影響。因此提出利用VGG-16[20]網(wǎng)絡(luò)第二層接出的64 維特征來進(jìn)行協(xié)同性判斷，再加以優(yōu)化得到最終結(jié)果。

2 方法

本文主要實(shí)現(xiàn)由四部分組成：預(yù)處理、目標(biāo)檢索框的產(chǎn)生、協(xié)同顯著值的計(jì)算、協(xié)同傳播及優(yōu)化。圖1 為算法的流程圖。單幅顯著圖做初始顯著圖作為輸入的一部分，再加入RGB 圖、深度圖一并輸入，通過DSP 得到更加準(zhǔn)確的初始顯著圖加以融合。利用BING 中的目標(biāo)檢索方法對(duì)RGB 圖產(chǎn)生目標(biāo)物體候選框得到種子超像素，再通過協(xié)同顯著判斷方法得到協(xié)同顯著圖，最后進(jìn)一步傳播優(yōu)化得到最終的顯著圖。

2.1 預(yù)處理

為了更加精確地利用深度圖從而產(chǎn)生更準(zhǔn)確的初始顯著圖，所以在進(jìn)行處理之前，先利用AIF中的DSP將及Di有權(quán)值的結(jié)合產(chǎn)生更加優(yōu)秀的顯著圖并和由OM 方法初始顯著圖進(jìn)行平均融合產(chǎn)生顯著圖Sf再進(jìn)行后續(xù)處理：

視覺對(duì)比圖如圖2所示。

2.2 目標(biāo)檢索

圖1 算法流程圖

圖2 初始顯著優(yōu)化視覺對(duì)比圖

BING方法通過訓(xùn)練通用的對(duì)象估計(jì)方法來產(chǎn)生一組候選對(duì)象窗口，能夠加速傳統(tǒng)的滑動(dòng)窗口目標(biāo)檢索方法。為了找到圖像中的一般對(duì)象，掃描一個(gè)定義好的量化窗口（依據(jù)尺度或者是縱橫比）。每一個(gè)窗口通過一個(gè)線性模型w ∈R64獲得得分：

sl代表過濾器得分，gl代表NG特征，l 表示坐標(biāo)，i表示尺度，(x,y)表示窗口位置。因此定義最終的窗口目標(biāo)得分為：

vi,sl為不同尺寸i 的窗口，所得到不同的獨(dú)立學(xué)習(xí)系數(shù)，窗口目標(biāo)得分即其包含物體可能性的大小。

在協(xié)同顯著檢測(cè)的任務(wù)中，協(xié)同顯著部分往往是一組圖內(nèi)的每張圖都有且最為突出的一個(gè)物體。在本論文中，利用BING 中的目標(biāo)檢索方法，能在較快速度內(nèi)為每幅圖片產(chǎn)生可能包含所有突出物體的1 000 個(gè)窗口，且按窗口目標(biāo)得分ol的大小順序排列，由于協(xié)同顯著檢測(cè)的目標(biāo)往往只有一個(gè)，所以在這1 000 個(gè)窗口中挑選出前15 個(gè)最有可能包含目標(biāo)區(qū)域的作為種子框，將包含在種子框中并且在顯著圖中的顯著值大于閾值T(T=0.45)的選為種子超像素，經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，由種子框挑選出的超像素可以全面地涵蓋所有顯著區(qū)域及篩除一部分背景區(qū)域，閾值的篩選可以更準(zhǔn)確地挑選出更加準(zhǔn)確的協(xié)同顯著物體部分，利用本文的準(zhǔn)則判斷被選中超像素之間的協(xié)同相似度，從而得到優(yōu)質(zhì)的協(xié)同顯著圖。

2.3 協(xié)同顯著值判斷

利用上個(gè)階段得到的超像素，可以挑選出每幅圖片中最有可能是顯著部分的種子超像素，但顯著部分不一定是協(xié)同顯著區(qū)域，所以需要相應(yīng)的協(xié)同顯著判斷準(zhǔn)則對(duì)顯著部分進(jìn)行挑選從而得到協(xié)同顯著部分。

2.3.1 特征相似度

兩個(gè)超像素越傾向于為協(xié)同顯著區(qū)域，則超像素之間的特征也會(huì)越相似。因此引入特征衡量準(zhǔn)則，超像素特征之間相似度的衡量為特征相似度。特征相似度定義如下：

以超像素64 維特征中的第一、二維特征為例，將兩個(gè)超像素對(duì)應(yīng)的一、二維特征代入公式（2）得到特征相似度Sc。此處為超像素的64 維特征，α2經(jīng)實(shí)驗(yàn)所證取0.01。

2.3.2 深度相似度

在深度相似度衡量的部分，引用AIF 的深度相似度衡量方法，其中包含有深度值一致性，和深度對(duì)比一致性，定義如下：

其中，Wd是深度一致性度量：

而Wc是深度對(duì)比一致性：

Dc為：

2.3.3 顯著值相似度

若目標(biāo)物體為一組圖片的顯著物體區(qū)域，則在一組圖片中該物體區(qū)域之間的顯著值差也不會(huì)大，由此引入了顯著相似度：

最終的協(xié)同顯著值計(jì)算如下：

由于進(jìn)行的是協(xié)同顯著檢測(cè)，因此需要判斷一個(gè)超像素在每張圖片中都出現(xiàn)的可能性，這里也引用了AIF中的公共可能性Pc：

2.4 協(xié)同傳播及優(yōu)化

由于在種子的選擇中，會(huì)盡可能選擇更有前景可能性的超像素，在此過程中一部分前景種子會(huì)被遺漏，因此利用傳播算法恢復(fù)部分前景種子，將每幅圖利用MR[24]得到的所有背景超像素的特征f 進(jìn)行平均得到每張圖的平均背景值fb，再根據(jù)2.3 節(jié)中得到的協(xié)同顯著圖，求出所有前景超像素的特征平均值fa。

Sc為超像素之間的特征相似度，利用該方法進(jìn)行傳播可以得到更加全面的協(xié)同顯著種子，從而得到精準(zhǔn)的協(xié)同顯著圖。

為了得到更加優(yōu)質(zhì)的顯著結(jié)果，采用元胞自動(dòng)機(jī)對(duì)協(xié)同顯著圖Sa進(jìn)行進(jìn)一步優(yōu)化，將Sa與元胞自動(dòng)機(jī)的結(jié)果進(jìn)行平均融合得到最終的顯著圖，視覺對(duì)比圖如圖3所示。

圖3 協(xié)同傳播及優(yōu)化視覺對(duì)比圖

3 實(shí)驗(yàn)結(jié)果

本文提出的方法在一個(gè)RGB-D協(xié)同顯著集上被評(píng)估，與四種經(jīng)典的協(xié)同顯著檢測(cè)方法進(jìn)行對(duì)比。數(shù)據(jù)集、評(píng)價(jià)指標(biāo)及四種經(jīng)典方法的介紹將在這部分給出詳細(xì)說明。

3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

本實(shí)驗(yàn)使用Matlab（R2016a）編寫，所有程序均在配置參數(shù)為Intel i5-7500CPU（3.4 GHz）和16 GB RAM 臺(tái)式機(jī)上進(jìn)行的。為了公平評(píng)價(jià)，所有對(duì)比的算法顯著結(jié)果均來自作者提供的公開顯著圖或代碼。本文在公開的一個(gè)RGB-D協(xié)同數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，為RGBD Cosal150數(shù)據(jù)集。RGBD Coseg150數(shù)據(jù)集是從RGBD NJU-1985數(shù)據(jù)集中收集的21組圖片集包含一共150張圖片，數(shù)據(jù)集中的圖像有對(duì)應(yīng)的手工標(biāo)記真值圖以及相應(yīng)的深度圖。

3.2 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)采取兩個(gè)評(píng)價(jià)指標(biāo)：分別是P-R曲線（Precision-Recall），F(xiàn)-度量值。查準(zhǔn)率（Precision）表示正確檢測(cè)的顯著目標(biāo)與完全顯著目標(biāo)的百分比。查全率（Recall）表示正確檢測(cè)顯著目標(biāo)的完整度與完全顯著目標(biāo)的百分比。當(dāng)Precision 和Recall 兩者值同時(shí)越大，表明算法的效果越好。但兩者之間存在制約關(guān)系，Precision 大時(shí)，Recall 通常較小，反之亦然。因此，采用F-Measure 權(quán)衡兩者之間的關(guān)系，其定義如下：

其中β2=0.3為常數(shù)，用來控制查準(zhǔn)率和查全率的權(quán)值。

3.3 與各種經(jīng)典算法的對(duì)比

本文與四種算法在RGBD Cosal150 數(shù)據(jù)集上進(jìn)行比較，分別是CB、AIF、EMR[25]、MKB[26]、CB 是基于顏色特征聚類的方法，整合了對(duì)比、空間和一致性線索的顯著檢測(cè)方法；AIF 是基于加模式和減模式下的迭代優(yōu)化協(xié)同顯著檢測(cè)方法；EMR 通過兩個(gè)階段的種子進(jìn)行排序再加以融合；MKB 為多核集成算法，根據(jù)弱顯著圖生成強(qiáng)顯著圖。

數(shù)據(jù)集上的比較。圖4 為本文算法與其他經(jīng)典算法的P-R 曲線。表1 中給出了本文方法及經(jīng)典方法的F-Measure 值，可以看出本文方法無論是P-R 曲線還是F-Measure相比于經(jīng)典算法都表現(xiàn)出更加優(yōu)異的性能。

圖4 不同算法在RGBD Cosal150數(shù)據(jù)集上的對(duì)比結(jié)果

表1 本文方法與四種經(jīng)典方法的F-Measure對(duì)比

3.4 模型分析

本文提出的RGB-D 協(xié)同用顯著檢測(cè)算法使用了分別由HCA 算法和OM 算法得到的單幅圖顯著圖，本文方法與初始顯著圖的優(yōu)化對(duì)比如圖5，表2 中為所有初始顯著圖F-Measure 對(duì)比，最終得到的初始顯著圖F 值較HCA 與DSP 結(jié)合相比較低，但從P-R 曲線圖中可以看出最終顯著圖具有相對(duì)而言更高的查準(zhǔn)率，因此依然選用平均融合方法得到初始顯著圖。再將目標(biāo)檢索作用于每張圖片上，只選擇目標(biāo)檢索結(jié)果框中的超像素作為候選超像素，能夠去除一部分背景超像素的影響，且在此過程中根據(jù)優(yōu)化的初始顯著圖，在候選超像素中通過顯著圖大于T（T 經(jīng)實(shí)驗(yàn)證明選擇0.45）更新候選超像素選擇更加準(zhǔn)確的協(xié)同顯著種子進(jìn)行協(xié)同顯著值判斷。由于種子選擇過程中會(huì)丟失小部分前景超像素，本文方法添加協(xié)同傳播方法恢復(fù)該部分前景超像素，在視覺對(duì)比圖3 中可以看出其效果，再利用元胞優(yōu)化進(jìn)一步提升顯著質(zhì)量。該部分被證明有效，各個(gè)部分的對(duì)比如圖6 所示，表3中給出了協(xié)同傳播部分及元胞優(yōu)化部分對(duì)比的F值。本文方法和經(jīng)典方法的視覺對(duì)比如圖7所示。

圖5 初始顯著圖優(yōu)化對(duì)比結(jié)果

圖6 協(xié)同傳播及優(yōu)化對(duì)比結(jié)果

表2 初始顯著圖優(yōu)化的F-Measure對(duì)比

表3 協(xié)同傳播及優(yōu)化的F-Measure對(duì)比

圖7 視覺對(duì)比圖

4 結(jié)束語

在本文中，DSP 的使用可以使得深度信息被更好地利用，加上利用目標(biāo)檢索作用于選出協(xié)同顯著的種子，同時(shí)應(yīng)用了高層特征，可以更好地反應(yīng)超像素的信息來進(jìn)行顯著檢測(cè)，加上協(xié)同傳播，這可以使得協(xié)同顯著檢測(cè)的結(jié)果更加精準(zhǔn)。在RGBD Coseg150 數(shù)據(jù)集上與四種方法進(jìn)行比較，結(jié)果顯示了本文算法的有效性和優(yōu)越性。