張寶峰，曹珍珍，朱均超*，劉 娜

（天津理工大學a.天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點實驗室，b.電氣電子工程學院，天津300384）

顯著性檢測是指人們在復(fù)雜、宏大的動態(tài)、靜態(tài)場景中可以快速定位感興趣物體、事件的能力。顯著性檢測的目的是經(jīng)過視覺系統(tǒng)排除場景中冗余無用的信息，快速找出圖片、視頻等視覺數(shù)據(jù)中最吸引人注意的區(qū)域，減少大腦的決策負擔，從而使身體對外部刺激的反應(yīng)更加迅速[1]。

顯著性檢測的經(jīng)典模型主要有以下4種：1）認知模型。對于圖像，模型提取基本視覺特征：顏色（RBGY）、亮度和方向，在多種尺度下使用中央-邊緣操作體現(xiàn)顯著性度量的特征圖，將這些特征圖組合得到最終的顯著性圖后，利用生物學中的贏家取全競爭機制，得到圖像中最顯著的區(qū)域，它用于指導注意位置的選擇，之后通過返回抑制的方式完成注意焦點的移動[2]。該模型已變成自下而上視覺注意模型的標準。然而，該模型中顯著圖的生成通常由不同的初級特征圖在相應(yīng)的合并策略下生成，有時會導致合成的顯著圖的大小和位置與目標存在一定的差異。2）決策論模型。從決策論的角度看，進化感知系統(tǒng)可以在決策論意義中產(chǎn)生對周圍環(huán)境的最優(yōu)決策。決策理論中的注意模型既能表達自下而上的注意，又能表達自上而下的注意。它已成功地應(yīng)用于計算機視覺領(lǐng)域，如分類、視覺位置預(yù)測等，取得了很高的精度。但該模型忽略了數(shù)據(jù)間的相關(guān)性，容易發(fā)生過擬合[3]。3）圖論模型?；趫D論的顯著性模型以眼動數(shù)據(jù)為時間序列，采用隱馬爾可夫模型、動態(tài)貝葉斯網(wǎng)絡(luò)和條件隨機場等方法，它可以對復(fù)雜的注意機制進行建模，從而獲得更好的預(yù)測能力。但是，當模型涉及訓練和可讀性時，它是高度復(fù)雜的[4]。4）頻域模型。基于頻域的顯著性模型，形式簡潔、易于實現(xiàn)，并在注意焦點預(yù)測和顯著區(qū)域檢測方面取得了很大的成功，但其生物合理性不是非常清楚。

在污染修復(fù)場地中，部分工作區(qū)域的有毒氣體含量過高且環(huán)境復(fù)雜，若未佩戴高級防毒面具的工作人員誤入這些危險的區(qū)域?qū)ぷ魅藛T的人身安全造成威脅，因此對于施工人員的實時防護在污染修復(fù)場地中是非常重要的。其中對施工人員的檢測結(jié)果，是決定實時防護是否能有效進行的根本。由于現(xiàn)場背景通常與4個圖像邊界中每一個局部或全局呈現(xiàn)外觀連通性，且前景呈外觀一致。本文將采用基于流形排序的自下而上顯著性檢測模型，同時考慮局部信息和全局信息，綜合利用圖像中背景、前景的先驗位置分布[5]及連通性通過流形排序方法得到最終顯著圖，以提高工作區(qū)域中人員檢測的精準度。

1 基于流形排序的顯著性檢測

流形排序指利用數(shù)據(jù)（如圖像）的內(nèi)在流形結(jié)構(gòu)進行圖形標注的排序方法。經(jīng)典的基于流形排序顯著性檢測算法[6]是將超像素分割后構(gòu)建的圖形，進行兩階段的流形排序算法。具體算法流程如圖1所示。

圖1 基于流行排序的顯著性檢測算法流程圖Fig.1 Flow chart of significance detection algorithm based on popular sorting

1.1 圖形構(gòu)建

基于流形排序顯著性檢測的經(jīng)典算法采用超像素分割的方法[7]，即在圖模型G中以超像素為節(jié)點E構(gòu)造k-正則圖。使每個節(jié)點不僅連接到其相鄰節(jié)點，而且還連接到與其相鄰節(jié)點共享同一超像素邊界的節(jié)點。并且圖中4個邊界處的節(jié)點強制兩兩相連，構(gòu)成封閉圖。

兩個節(jié)點之間的邊權(quán)重為：

其中，ci、cj表示CIELAB顏色空間中相鄰節(jié)點的超像素平均值；δ為控制邊權(quán)重的常數(shù)；V為由數(shù)據(jù)集X={x1，x2，…，xn}?Rm×n（m為特征維數(shù)）組成的節(jié)點。

1.2 第一階段的顯著性檢測

第一階段為背景先驗的流形排序算法[8]，將圖像各邊界節(jié)點作背景種子點，利用其他節(jié)點與背景種子點的相似度排序代替顯著性，由此得到第一階段的顯著圖。

以圖像的上邊界為例。將邊界上的節(jié)點設(shè)為背景種子點，其他為未被標記的節(jié)點，可以得出指示向量y。定義指示向量y=[y1，…，yn]T，當xi為種子點時yi=1，否則yi=0。

根據(jù)公式（2）可以計算出所有節(jié)點的排序向量f*（f*是N維向量，每一元素均為節(jié)點與背景種子點的相關(guān)性）。

其中，D為圖的度矩陣D=diag{d11，…，dnn}，參數(shù)α=1/（1+μ）實驗時設(shè)為0.99；W為關(guān)聯(lián)矩陣W=[wij]n×n。

將向量f*歸一化至[0，1]，則超像素節(jié)點i的顯著性為：

其中，N為圖像的節(jié)點總數(shù)；f*（i）為超像素節(jié)點i的歸一化向量。

由此可以得到使用上邊界先驗的顯著圖St。同樣，通過計算不同的指示向量y，可以使下、左、右邊界的超像素節(jié)點作為背景種子點來計算顯著圖Sb、Sl、Sr。將4個得到的顯著圖融合，即為第一階段顯著圖Sbq：

1.3 第二階段的顯著性檢測

第二階段為前景上的流形排序算法[9]，先利用自適應(yīng)閾值分割處理第一階段的顯著圖，得出前景種子點。由此可得指示向量y，經(jīng)公式（2）可計算出排序向量f*，將其歸一化后再利用流形排序方法加強，即為最終的顯著圖Sfq：

其中，N為圖像的節(jié)點總數(shù)，f*（i）為超像素節(jié)點i的歸一化向量。

基于流形排序問題的模型如圖2所示。

圖2 基于流行排序問題的模型示意圖Fig.2 Model diagram based on popular ranking problem

2 本文算法

雖然經(jīng)典的基于流形排序的顯著性檢測方法在一些數(shù)據(jù)集上對其準確率以及運行速度進行了驗證，并得到了較好的結(jié)果。但在本課題的研究背景下，最終得到的人員檢測顯著圖由于環(huán)境的影響其結(jié)果并不是十分滿意。因此，本文在經(jīng)典算法的基礎(chǔ)上進行了相應(yīng)的改進。

2.1 調(diào)整權(quán)重

由于連接區(qū)域中的超像素很可能同屬于前景目標或背景。在保留流形排序方法構(gòu)造的正則圖基礎(chǔ)上，本文將屬于同一連通區(qū)域的超像素連接起來。將公式（1）定義的邊權(quán)重重新定義為

其中，Ci和Cj是CIELab顏色空間中節(jié)點i和j的連接區(qū)域取值，包含所有超級像素的平均顏色；λ是平衡系數(shù)，取值為0.50；實驗時，

根據(jù)公式（6）調(diào)整邊權(quán)重，使屬于同一連接區(qū)域的節(jié)點之間的連接更強。與公式（1）中邊緣權(quán)重的設(shè)置相比，它更容易區(qū)分，更符合人類視覺的直觀感受[10]。

2.2 調(diào)整參數(shù)

經(jīng)典的基于流形排序顯著性檢測算法在設(shè)置超像素塊時，一般將圖片劃分為200個超像素塊。通過實驗，本文對效率和精度進行了綜合測試，認為使用300個超像素塊可以獲得更精確的結(jié)果，而在時間成本方面，它與劃分200個超級像素塊所需的時間略有不同。

分割的超像素塊愈精細，控制節(jié)點間權(quán)重強度的δ也應(yīng)適當變大，補償像素塊增多引起的權(quán)重衰減。本文通過實驗，將δ12=δ22設(shè)為0.20。然后根據(jù)δ2的值，找到最佳的α值為0.90。

3 實驗與驗證

本文的實驗平臺系統(tǒng)為Windows10，軟件為Matlab R2017b Win 64版本，處理器為Intel（R）Core（TM）i5-3210M，主頻為2.50 GHz，內(nèi)存為4.00 GB。

本文在實驗時，設(shè)置超像素的數(shù)量N=300；算法中的參數(shù)α、δ根據(jù)經(jīng)驗設(shè)為α=0.90，δ12=δ22=0.20；經(jīng)典算法參數(shù)設(shè)置為δ2=0.10、α=0.99[11]。本文改進方法與經(jīng)典算法的實驗結(jié)果對比如圖3。

圖3 經(jīng)典算法與本文算法視覺結(jié)果對比圖Fig.3 Comparison of the visual results between the classical algorithm and the algorithm in this paper

3.1 數(shù)據(jù)集

顯著性檢測算法至今發(fā)展為兩個分支，與此對應(yīng)提出了兩種類型的數(shù)據(jù)集。一類為顯著性檢測評估提供了眼動數(shù)據(jù)標注，記錄人眼的注意位置及停留時長；一類為顯著性檢測提供像素級的顯著物體精確標注，利于顯著性物體的檢測結(jié)果對比，代表性數(shù)據(jù)集為MSRA10、MSRA10K和ECSSD。此外，數(shù)據(jù)集DUT-OMRON，同時提供上述兩種性能。由于不同數(shù)據(jù)集中所含圖像數(shù)量及分辨率均有差異，因此，大多數(shù)顯著性檢測的結(jié)果需在多個數(shù)據(jù)集中進行測試以反映顯著性檢測方法的性能。針對本文對目標進行顯著性檢測的研究目的，選定MSRA10K、DUT-OMRON兩個數(shù)據(jù)集為本文所用數(shù)據(jù)集。

3.2 評價方法

為了對實驗結(jié)果進行定量對比，本文采用準確率-召回率曲線（PR曲線）、接收器操作特性曲線（ROC曲線）下的面積（AUC）、F值（F-measure）3種評價指標[12]，將本文算法與經(jīng)典算法在MSRA10K、DUT-OMRON兩個數(shù)據(jù)集上進行對比驗證。

PR曲線可以體現(xiàn)由閾值T把顯著圖V轉(zhuǎn)化成的二制圖M與給定標注G之間的關(guān)系，如公式（7）所示。在保證準確率P的前提下，召回率R越高則說明顯著圖V越準確。

與PR曲線類似，ROC也有多組點對組成，其中橫坐標為假陽性率FPR、縱坐標為真陽性率TPR。

曲線假陽性率越低，真陽性率越高，則說明顯著性圖V越準確。本文利用ROC曲線求出其下方面積AUC。該面積越大，代表FPR越小，同時TPR越大，相比于ROC曲線，AUC更能直觀的反映優(yōu)劣。

F-measure只計算某個閾值T得到的PR點對，然后根據(jù)公式（9）得到的標量來衡量算法的優(yōu)劣。本文在實驗時設(shè)置β2=0.30來強調(diào)精度。

兩種算法在MSRA10K、DUT-OMRON數(shù)據(jù)集上的對比結(jié)果如圖4、圖5所示。

圖4 兩算法在MSRA10K數(shù)據(jù)集上不同評價方法的結(jié)果Fig.4 The results of different evaluation methods of the two algorithms on MSRA10K data set

圖5 兩算法在DUT-OMRON數(shù)據(jù)集上不同評價方法的結(jié)果Fig.5 The results of different evaluation methods of two algorithms on DUT-OMRON data set

4 結(jié)論

本文通過對經(jīng)典的基于流形排序顯著性檢測方法中權(quán)重以及相關(guān)參數(shù)的調(diào)整，對該算法進行了相應(yīng)的改善。解決了原有算法在本文研究背景下檢測結(jié)果準確度低的問題。通過對兩種算法的最終顯著圖進行視覺對比，可以發(fā)現(xiàn)本文算法相較于原有算法在視覺效果上有一定的改進。同時，根據(jù)在MSRA10K、DUT-OMRON兩個數(shù)據(jù)集上進行的相應(yīng)評估可以得出，本文算法在準確率、召回率等方面也得到了一定的改善。