金海燕，肖照林，蔡 磊，王 彬

(1.西安理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，陜西 西安 710048；2.陜西省網(wǎng)絡(luò)計(jì)算與安全技術(shù)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710048)

0 引 言

現(xiàn)代神經(jīng)醫(yī)學(xué)和視覺心理學(xué)的研究結(jié)果表明，人類視覺感知系統(tǒng)可以迅速通過少量視覺特征對(duì)目標(biāo)場(chǎng)景進(jìn)行準(zhǔn)確檢測(cè)[1-3]，這也是計(jì)算機(jī)視覺乃至人工智能感知領(lǐng)域的一個(gè)核心研究?jī)?nèi)容?；趫D像或視頻的信息處理技術(shù)近年來已成為國(guó)內(nèi)外學(xué)界爭(zhēng)相研究的學(xué)術(shù)熱點(diǎn)，其發(fā)展極大推動(dòng)了三維場(chǎng)景數(shù)字化建模、自動(dòng)導(dǎo)航與駕駛、視覺智能檢測(cè)與判別、遙感圖像分類與識(shí)別等眾多前沿領(lǐng)域的發(fā)展[4-6]。然而，欲不斷提高基于視覺信號(hào)感知的人工智能系統(tǒng)對(duì)場(chǎng)景的判斷與理解能力，使之擁有可與人類視覺認(rèn)知系統(tǒng)相匹敵的性能，視覺信號(hào)計(jì)算的精度和效率之間的矛盾是相關(guān)領(lǐng)域研究人員無法回避的一個(gè)重要問題。

人類對(duì)于自然場(chǎng)景的感知具有較強(qiáng)的主觀傾向性，其中一個(gè)重要的生物視覺特性就是人眼具備動(dòng)態(tài)對(duì)焦能力。這使得在處理重要視覺信息時(shí)，在保證感知精度的前提下，它平衡了人腦的處理速度，即“重要目標(biāo)，重點(diǎn)關(guān)注”。受此啟發(fā)，計(jì)算機(jī)視覺與圖像處理領(lǐng)域的學(xué)者提出了視覺顯著性目標(biāo)檢測(cè)(Visual Saliency Object Detection)的理論問題。在目標(biāo)識(shí)別、圖像視頻壓縮、圖像檢索、圖像重定向等領(lǐng)域，針對(duì)顯著性目標(biāo)檢測(cè)的理論研究成果已得到廣泛應(yīng)用[7-9]，并引起了學(xué)術(shù)界與產(chǎn)業(yè)界的高度關(guān)注，促進(jìn)了大量計(jì)算機(jī)視覺應(yīng)用的創(chuàng)新與發(fā)展。

1 顯著性目標(biāo)檢測(cè)理論

1.1 顯著性目標(biāo)檢測(cè)的研究現(xiàn)狀

自1998年，Itti等[10]提出了基于圖像的顯著性檢測(cè)模型以來，學(xué)者們?cè)谠嫉囊曈X注意力模型基礎(chǔ)上，以亮度、對(duì)比度、顏色和幾何分布、特征分布等為線索，開展了顯著性檢測(cè)理論與方法研究。為了增強(qiáng)對(duì)顯著性目標(biāo)的準(zhǔn)確定位，2007年，Hou等[11]采用圖像變換域中的譜殘差，在僅需較少先驗(yàn)知識(shí)的條件下獲得了顯著性對(duì)象的準(zhǔn)確位置。但是，由于譜殘差向空域變換具有全局性，故此類方法所產(chǎn)生的分辨率、邊界輪廓和計(jì)算代價(jià)仍存在較大改進(jìn)空間。針對(duì)該問題，2009年，Achanta等[12]定義了一種新的底層特征提取方法，采用馬爾可夫隨機(jī)場(chǎng)計(jì)算目標(biāo)對(duì)象的顯著性，最終輸出具有明確邊界的全分辨率顯著圖，與已有方法相比，邊界較為清晰，分辨率更高，能夠均勻突出顯著區(qū)域。隨后，2017年，Liu等[13]使用超像素級(jí)別的最短路徑法生成基于圖結(jié)構(gòu)的運(yùn)動(dòng)顯著圖，同時(shí)計(jì)算超像素級(jí)別上圖像的運(yùn)動(dòng)信息直方圖以及顏色直方圖特征。

對(duì)顯著性目標(biāo)準(zhǔn)確定位之后，繼續(xù)對(duì)其進(jìn)行分割以獲得更為準(zhǔn)確的目標(biāo)信息。2010年，Rahtu等[14]提出了基于顯著性度量與條件隨機(jī)場(chǎng)模型結(jié)合的目標(biāo)分割方法，該方法以場(chǎng)景光照、顏色和運(yùn)動(dòng)等局部特征的對(duì)比度為度量，并以條件隨機(jī)場(chǎng)能量最小化模型對(duì)運(yùn)動(dòng)場(chǎng)景視頻數(shù)據(jù)進(jìn)行顯著性目標(biāo)檢測(cè)。2011年，Liu等[15]將顯著性目標(biāo)檢測(cè)與圖像分割問題進(jìn)行聯(lián)合建模，以多尺度對(duì)比度、中心環(huán)繞直方圖和顏色空間分布特征為基礎(chǔ)，提出了基于條件隨機(jī)場(chǎng)理論的多特征融合顯著性目標(biāo)檢測(cè)方法，實(shí)現(xiàn)了較為準(zhǔn)確的顯著性目標(biāo)檢測(cè)。為增強(qiáng)顯著性檢測(cè)對(duì)復(fù)雜場(chǎng)景的適應(yīng)性，2014年，Liu等[16]提出了一種稱為顯著性樹的顯著性層次表示模型，通過整合原始區(qū)域的全局對(duì)比度、空間稀疏度和對(duì)象先驗(yàn)來測(cè)量初始區(qū)域顯著性，最終采用顯著性區(qū)域合并及區(qū)域顯著性調(diào)整實(shí)現(xiàn)高精度的顯著性檢測(cè)。2015年，Cheng等[17]提出了一種基于區(qū)域?qū)Ρ榷鹊腟aliencyCut視覺顯著性檢測(cè)算法，該方法同時(shí)考慮全局對(duì)比度和空間相干性，以生成高質(zhì)量的顯著性目標(biāo)分割結(jié)果。在此基礎(chǔ)上，同年，Wang等[18]由時(shí)空顯著性圖、外觀模型和動(dòng)態(tài)位置模型，構(gòu)建了基于時(shí)空連貫性的能量最小化框架求解動(dòng)態(tài)視頻顯著性檢測(cè)方法。2017年，Zhu等[19]通過構(gòu)建樹型結(jié)構(gòu)，提出了顯著性結(jié)構(gòu)化標(biāo)簽預(yù)測(cè)方法，在六種標(biāo)準(zhǔn)顯著性檢測(cè)數(shù)據(jù)集上取得了良好的效果。2018年，Wang等[20]又提出了一種基于測(cè)地距離的無監(jiān)督視頻對(duì)象分割改進(jìn)技術(shù)，該方法提供了超像素級(jí)別的空間精度和時(shí)間域連續(xù)的顯著性測(cè)量。

隨著深度學(xué)習(xí)理論的發(fā)展，2016年，Kruthiventi等[21]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人眼注意力預(yù)測(cè)和顯著性目標(biāo)分割方法。2017年，Li等[22]提出了多尺度顯著性細(xì)化網(wǎng)絡(luò)的深度學(xué)習(xí)方法，為輸入圖像生成具有不同對(duì)象實(shí)例標(biāo)簽的顯著性掩碼，并通過網(wǎng)絡(luò)細(xì)化顯著性圖和顯著性目標(biāo)邊界，最終得到準(zhǔn)確的顯著性目標(biāo)識(shí)別結(jié)果。2018年，Lee等[23]提出集成低級(jí)特征和高級(jí)特征的顯著性檢測(cè)ELD-Net深度學(xué)習(xí)框架，實(shí)現(xiàn)了在視覺質(zhì)量和定量評(píng)價(jià)方面均具有優(yōu)勢(shì)的顯著性目標(biāo)檢測(cè)與識(shí)別性能。2019年，Wang等[24]提出了“深度-聚焦邊界”的網(wǎng)絡(luò)模型對(duì)物體邊界進(jìn)行檢測(cè)，并以路徑優(yōu)化算法實(shí)現(xiàn)了對(duì)顯著性目標(biāo)的準(zhǔn)確檢測(cè)。同年，Wei等[25]提出了基于圖的整體與單獨(dú)個(gè)體之間的互動(dòng)模型，并基于深度學(xué)習(xí)方法細(xì)化了顯著性檢測(cè)結(jié)果。2020年，Zhang等[1]提出了基于無監(jiān)督學(xué)習(xí)的顯著性排名框架算法，通過計(jì)算相似性矩陣對(duì)背景和前景區(qū)域進(jìn)行區(qū)分，取得了準(zhǔn)確的顯著性檢測(cè)結(jié)果。

隨著深度傳感器的推廣，國(guó)內(nèi)外研究人員將圖像的深度信息引入到顯著性檢測(cè)中。為了得到更準(zhǔn)確的顯著性目標(biāo)檢測(cè)結(jié)果，研究人員嘗試在RGB-D數(shù)據(jù)上將目標(biāo)分布、對(duì)象幾何形態(tài)和深度線索等信息融合，以實(shí)現(xiàn)更優(yōu)的顯著性檢測(cè)結(jié)果。2018年，Jeong等[26]通過建立深度顯著性網(wǎng)絡(luò)并通過選取種子點(diǎn)的方式聯(lián)合獲取圖像中的高級(jí)語義信息，進(jìn)一步提高了顯著性目標(biāo)檢測(cè)的精度。2019年，Liu等[27]提出了一種“前景-中心背景”顯著區(qū)域檢測(cè)模型，提高了顯著性檢測(cè)性能；Xiao等[28]提出了基于3D感知的RGBD顯著性檢測(cè)框架概念，將偽深度作為圖像特征和先驗(yàn)知識(shí)，建立了獨(dú)立的深度感知模型，優(yōu)化了RGB-‘D’顯著性檢測(cè)模型的性能；Fang等[29]提出了由時(shí)空顯著性模型(STSM)和立體顯著性感知模型(SSAM)兩個(gè)子模型構(gòu)成的基于3D卷積神經(jīng)網(wǎng)絡(luò)的立體視頻顯著性檢測(cè)方法，對(duì)3D視頻序列有較好的顯著性評(píng)估性能。2020年，Piao等[30]提出了“深度誘導(dǎo)元胞自動(dòng)機(jī)”顯著性檢測(cè)優(yōu)化模型，結(jié)合深度信息定義了圖模型中超像素與臨近超像素的相似性，實(shí)現(xiàn)了對(duì)目標(biāo)的顯著性檢測(cè)。與此同時(shí)，在深度圖像、3D感知RGBD圖像、立體視頻、光場(chǎng)圖像等方向，也逐漸產(chǎn)生了針對(duì)不同模態(tài)數(shù)據(jù)源特性的顯著性檢測(cè)方法。

1.2 多模態(tài)特征提取與融合的研究現(xiàn)狀

由于復(fù)雜背景、遮擋、動(dòng)態(tài)目標(biāo)、尺度和光照變化、圖像噪聲等，基于單一模態(tài)數(shù)據(jù)特征分析的顯著性檢測(cè)方法仍存在準(zhǔn)確性不高和適用范圍受限的問題。為了將單一模態(tài)特征的分析延拓至多模態(tài)特征分析理論中，研究人員結(jié)合多視幾何理論和特征融合理論，構(gòu)建了基于多模態(tài)特征分析的視覺關(guān)聯(lián)性理論。2007年，Han等[31]采用自動(dòng)配準(zhǔn)方法從彩色和紅外圖像序列中提取人體輪廓，并采用分層遺傳算法找到對(duì)應(yīng)關(guān)系進(jìn)行融合。2011年，Li等[32]比較了六種不同濾波器和不同分解層數(shù)的圖像融合方法，并給出了使用多尺度圖像分解的通用圖像融合框架。2014年，Wang等[33]提出了一種非負(fù)稀疏表示(NNSR)的紅外與可見光圖像的顯著特征提取方法，并提出了基于區(qū)域一致性規(guī)則的融合方法，該方法在無噪聲環(huán)境下表現(xiàn)更佳，但是在嘈雜的環(huán)境下效果不確定。2015年，Liu等[34]提出了一種結(jié)合多尺度變換(MST)和稀疏表示(SR)的通用圖像融合框架，同時(shí)克服了使用單一的MST和SR融合方法的固有缺陷。2016年，Ma等[35]為了同時(shí)保持紅外圖像的熱輻射特性及可見光圖像的外觀信息，提出了一種新的基于梯度傳遞和總變化最小的紅外圖像與可見光圖像融合方法，使得融合結(jié)果看起來像是銳化的紅外圖像，具有突出的目標(biāo)和豐富的紋理信息。同年，Kim等[36]提出了一種基于聚類的字典學(xué)習(xí)的多模態(tài)圖像融合方法，對(duì)來自具有相似圖像結(jié)構(gòu)的不同源圖像的補(bǔ)丁進(jìn)行分類，并組合那些補(bǔ)丁簇的主要成分來構(gòu)造緊湊且信息豐富的完全字典，字典學(xué)習(xí)后將源圖像的低頻分量和高頻分量分別融合。2017年，Zhao等[37]通過結(jié)合全局最大熵和梯度約束正則化提出了一種基于優(yōu)化的融合方法，使融合后的結(jié)果具有了清晰的細(xì)節(jié)和帶有噪聲抑制的穩(wěn)定邊緣。同時(shí)，基于稀疏表示的圖像融合方法備受關(guān)注，這些技術(shù)的三個(gè)關(guān)鍵組成部分包括：稀疏表示模型、字典學(xué)習(xí)和融合規(guī)則。2018年，Zhang等[38]對(duì)基于稀疏表示的圖像融合方法的三個(gè)關(guān)鍵算法進(jìn)行了理論研究，并對(duì)其性能進(jìn)行了全面評(píng)估。目前，現(xiàn)有的多模態(tài)數(shù)據(jù)融合大多針對(duì)紅外和可見光圖像，且大多采用傳統(tǒng)圖像配準(zhǔn)和增強(qiáng)手段進(jìn)行融合，針對(duì)顯著性目標(biāo)檢測(cè)的特征提取與融合理論與方法仍亟待研究。

此外，近幾年在多視圖數(shù)據(jù)的提取與融合方面，為了改善無監(jiān)督稀疏特征選擇的有限外推能力，2015年，Shi等[39]提出了基于多模態(tài)Hessian正則化的半監(jiān)督稀疏特征選擇框架；Wang等[40]受流形學(xué)習(xí)和多視圖非負(fù)矩陣分解(NMF)的啟發(fā)，考慮數(shù)據(jù)之間的內(nèi)視圖相關(guān)性，建立了基于局部圖正則化的多視圖NMF特征提取方法；Yang等[41]提出了在特征選擇時(shí)引入基于秩最小化和稀疏的Lasso，在特征選擇時(shí)去除冗余的特征。2016年，Shi等[42]將判別分析、頻譜聚類和多視圖之間的相關(guān)信息合并到一個(gè)統(tǒng)一的框架中。2017年，Aissa等[43]提出了基于自組織映射(SOM)的特征提取的無監(jiān)督方法。2018年，Shi等[44]提出了一種多視圖特征提取與動(dòng)態(tài)圖形學(xué)習(xí)的統(tǒng)一框架?，F(xiàn)有多視圖特征提取及融合方法考慮了視圖間的特征的低秩性和結(jié)構(gòu)保持特性，其思想在研究多模態(tài)特征提取和融合問題時(shí)可以借鑒。

隨著深度學(xué)習(xí)理論的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)圖像融合方法取得了較快的發(fā)展。2011年，Jiang等[45]提出了對(duì)當(dāng)前的McKusick and Langley(M-L)優(yōu)化進(jìn)行階數(shù)和頻率修正，并將優(yōu)化和修剪結(jié)合的處理方法，最后使用自生成神經(jīng)網(wǎng)絡(luò)(SGNN)和模糊邏輯對(duì)多傳感器圖像進(jìn)行融合。2014年，Kong等[46]提出了一種基于非下采樣小波變換空間頻率-脈沖耦合神經(jīng)網(wǎng)絡(luò)(NSST-SF-PCNN)的紅外和可見光圖像融合新方法。2015年，Xiang等[47]提出了一種基于自適應(yīng)雙通道單元鏈接脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)的融合算法，用于非下采樣輪廓波變換(NSCT)域中的紅外和可見光圖像融合。2017年，Liu等[48]提出了一種基于深度的卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)多焦點(diǎn)圖像融合方法，CNN模型可以實(shí)現(xiàn)源圖像和焦點(diǎn)圖之間的直接映射，也可以學(xué)習(xí)融合規(guī)則。2018年，Liu等[49]又總結(jié)了傳統(tǒng)圖像融合領(lǐng)域存在的困難，討論了深度學(xué)習(xí)在解決傳統(tǒng)圖像融合領(lǐng)域問題時(shí)的優(yōu)勢(shì)，詳細(xì)地總結(jié)了基于深度學(xué)習(xí)的圖像融合技術(shù)的最新進(jìn)展并將其歸納為幾個(gè)通用框架，并提出了一個(gè)潛在的基于深度學(xué)習(xí)的框架來開發(fā)客觀評(píng)估指標(biāo)。2019年，Ma等[50]提出了一種采用生成對(duì)抗網(wǎng)絡(luò)的紅外與可見光圖像融合方法，可以很好地保留紅外圖像的熱輻射信息和可見光圖像的紋理信息。2020年，Ma等[51]又提出了基于細(xì)節(jié)保留對(duì)抗學(xué)習(xí)的紅外和可見光圖像融合的端到端模型，克服了傳統(tǒng)融合方法中人工評(píng)價(jià)和復(fù)雜的融合規(guī)則設(shè)計(jì)的局限性。

隨著特征提取與融合理論的發(fā)展，聯(lián)合顯著性(Co-Saliency)檢測(cè)成為該領(lǐng)域理論應(yīng)用的典型代表[52]?；趫D像的自底向上聯(lián)合顯著性檢測(cè)方法采用人工設(shè)計(jì)的低級(jí)特征構(gòu)建共同顯著性線索[53-57]?；诙囡@著性圖特征融合生成共顯著性映射的方法，可有效利用已知顯著性先驗(yàn)，生成高精度的Co-Saliency檢測(cè)結(jié)果圖。此外，研究人員采用多示例學(xué)習(xí)(MIL)和自主學(xué)習(xí)(SPL)的聯(lián)合學(xué)習(xí)框架，得到對(duì)復(fù)雜場(chǎng)景中顯著性目標(biāo)的引導(dǎo)強(qiáng)化學(xué)習(xí)，也取得了較為精確的顯著性檢測(cè)結(jié)果[58-59]。

1.3 尚需解決的問題

由于對(duì)人類視覺系統(tǒng)注意機(jī)制本身的研究仍有待完善，加之自然場(chǎng)景的隨機(jī)性與復(fù)雜性，現(xiàn)有顯著性檢測(cè)方法仍面臨較多技術(shù)瓶頸。

早期的研究工作中，使用了譜殘差、提取圖像底層特征、統(tǒng)計(jì)直方圖等方法，主要集中在對(duì)顯著性目標(biāo)的檢測(cè)，而對(duì)于目標(biāo)的完整輪廓、邊界信息的完整提取關(guān)注較少，因此檢測(cè)效果并不理想；通過分割顯著性目標(biāo)，雖然可獲得較為準(zhǔn)確的顯著性檢測(cè)結(jié)果，但是由于需要密集的顯著性檢測(cè)計(jì)算，故此類算法的計(jì)算復(fù)雜度相對(duì)較高，且對(duì)復(fù)雜光照陰影或目標(biāo)與背景具有相似性紋理的場(chǎng)景魯棒性不高；引入圖像深度信息的視覺顯著性檢測(cè)方法大多基于單一模態(tài)數(shù)據(jù)，采用多種不同特征對(duì)目標(biāo)顯著性進(jìn)行描述和度量。由于復(fù)雜背景、遮擋、光照變化、成像噪聲等因素影響，此類方法仍存在目標(biāo)對(duì)比度低，以及對(duì)復(fù)雜場(chǎng)景中目標(biāo)檢測(cè)的精確性和魯棒性不足的問題；基于深度學(xué)習(xí)的顯著性檢測(cè)方法在特定數(shù)據(jù)集上均表現(xiàn)出非常優(yōu)異的性能，但其算法較為依賴訓(xùn)練數(shù)據(jù)，不同網(wǎng)絡(luò)結(jié)構(gòu)的泛化性與可解釋性仍有待進(jìn)一步研究。

綜上所述，現(xiàn)有顯著性檢測(cè)技術(shù)存在對(duì)場(chǎng)景中的遮擋情況魯棒性較差，對(duì)動(dòng)態(tài)多目標(biāo)場(chǎng)景的檢測(cè)存在多義性或不確定性，對(duì)場(chǎng)景光照變化、圖像尺度變化、圖像噪聲等均較為敏感，對(duì)視覺顯著性檢測(cè)理論與方法的進(jìn)一步發(fā)展提出了極大的挑戰(zhàn)。

2 顯著性目標(biāo)檢測(cè)應(yīng)用

針對(duì)傳統(tǒng)視頻目標(biāo)檢測(cè)領(lǐng)域，2015年，Wang等[60]使用梯度流場(chǎng)和能量?jī)?yōu)化來估計(jì)視頻中的顯著區(qū)域，結(jié)合幀內(nèi)信息和幀間信息對(duì)視頻進(jìn)行顯著性檢測(cè)。2017年，Chen等[61]提出了基于時(shí)空顯著融合和低秩相干引導(dǎo)顯著性擴(kuò)散的視頻顯著性檢測(cè)方法。2017年，Wang等[62]提出的深層視頻顯著性模型具有兩個(gè)模塊，分別是靜態(tài)顯著性網(wǎng)絡(luò)和動(dòng)態(tài)顯著性網(wǎng)絡(luò)，用于捕獲動(dòng)態(tài)場(chǎng)景的時(shí)空統(tǒng)計(jì)信息。2018年，Qiu等[63]提出了一種基于弱監(jiān)督學(xué)習(xí)的視頻顯著性檢測(cè)算法，該算法依據(jù)人眼注意力特性，將人眼注視區(qū)域進(jìn)行有效傳播，進(jìn)而形成對(duì)多個(gè)顯著性目標(biāo)的有效檢測(cè)。2019年，Cong等[64]提出了基于稀疏重建和傳播的視頻顯著對(duì)象檢測(cè)方法，該方法通過在單幀顯著性圖像的基礎(chǔ)上結(jié)合稀疏傳播算法從而提高視頻顯著性檢測(cè)的準(zhǔn)確性。此外，利用深度學(xué)習(xí)理論進(jìn)行視頻顯著性檢測(cè)的典型研究工作也成為該領(lǐng)域發(fā)展的重要趨勢(shì)[65]。

在多模態(tài)數(shù)據(jù)顯著性檢測(cè)領(lǐng)域，2017年，Li等[66]提出了一種應(yīng)用于無人機(jī)上的紅外和可見光圖像融合新方法，在涉及具有類似系統(tǒng)結(jié)構(gòu)的其它中海拔或高海拔無人機(jī)應(yīng)用中具有顯著效果。2017年，Koenig等[67]使用全卷積神經(jīng)網(wǎng)絡(luò)將紅外與可見光圖像信息的多光譜圖像用于人員檢測(cè)，此方法在光照或圖像分辨率不足的場(chǎng)景下具有重要應(yīng)用價(jià)值。2018年，Xu等[68]將顯著性檢測(cè)應(yīng)用于人臉檢測(cè)，在建立眼球追蹤數(shù)據(jù)庫(kù)的基礎(chǔ)上，提出了基于粒子濾波器的動(dòng)態(tài)高斯混合模型，從而實(shí)現(xiàn)了針對(duì)面部顯著性特征的高精度檢測(cè)。2019年，Ding等[69]提出了計(jì)算每個(gè)點(diǎn)云深度的全局稀有度，并將點(diǎn)云簇的局部差異和全局稀有度結(jié)合，獲得點(diǎn)云數(shù)據(jù)的顯著性檢測(cè)結(jié)果。2020年，Hu等[70]開發(fā)了一種集成可見光和NIR-I/II多光譜成像儀，該設(shè)備將可見光、NIR-I(700 nm～900 nm)和NIR-II(1 000 nm～1 700 nm)多光譜成像應(yīng)用于人體腫瘤的檢測(cè)。

同時(shí)，顯著性目標(biāo)檢測(cè)技術(shù)有效提高了社會(huì)生產(chǎn)的自動(dòng)化效率，進(jìn)一步拓展該技術(shù)的應(yīng)用范圍對(duì)國(guó)內(nèi)重點(diǎn)行業(yè)實(shí)現(xiàn)現(xiàn)代化和智能化意義重大。2019年12月，沈陽(yáng)金山熱電分公司10千伏供熱電纜接地故障，造成1號(hào)熱網(wǎng)水源變壓器10千伏側(cè)繞組過熱、絕緣擊穿、短路著火，多機(jī)組相繼跳閘，導(dǎo)致了大面積停電事故。2020年1月，寧夏石嘴山發(fā)電有限責(zé)任公司核心泵房11號(hào)供水泵管線電動(dòng)調(diào)閥出現(xiàn)故障，高溫蒸汽與低溫原水在管道內(nèi)部直接混合加熱，內(nèi)部汽水混合物大量噴出，造成了多人受傷的生產(chǎn)安全事故。2020年初，在武漢抗擊疫情過程中，電力工人全力以赴24小時(shí)不間斷巡視，以確保醫(yī)療場(chǎng)所供電穩(wěn)定。針對(duì)上述電力場(chǎng)景，應(yīng)用顯著性檢測(cè)技術(shù)可有效提升電力生產(chǎn)的可靠性及安全性。但常見的可見光數(shù)據(jù)難以采集發(fā)熱、漏電、潮濕以及氣液等狀態(tài)異?，F(xiàn)象特征，而非可見光數(shù)據(jù)又不利于采集自然場(chǎng)景中人員設(shè)備的可視細(xì)節(jié)特征。因此，基于單一模態(tài)數(shù)據(jù)的顯著性檢測(cè)方法仍無法滿足對(duì)上述場(chǎng)景的應(yīng)用需求。

目前，國(guó)內(nèi)學(xué)者針對(duì)單一模態(tài)數(shù)據(jù)顯著性目標(biāo)檢測(cè)的研究已有許多突破性進(jìn)展，其相關(guān)理論與發(fā)展已接近理論成熟期。但單一模態(tài)數(shù)據(jù)對(duì)于場(chǎng)景信息采集的完備性較低，導(dǎo)致了基于單一模態(tài)數(shù)據(jù)對(duì)目標(biāo)顯著性特征進(jìn)行分析、提取、表達(dá)、計(jì)算等諸多環(huán)節(jié)的理論研究可拓展性較弱以及適用范圍不足。現(xiàn)有多模態(tài)數(shù)據(jù)進(jìn)行顯著性檢測(cè)的研究工作逐漸受到國(guó)內(nèi)學(xué)界的關(guān)注，對(duì)多模態(tài)數(shù)據(jù)顯著性檢測(cè)的系統(tǒng)性工作還在進(jìn)一步探索中。

3 結(jié)束語

通過該文的梳理和分析可見，現(xiàn)有基于單一模態(tài)數(shù)據(jù)特征分析的顯著性檢測(cè)方法已有大量研究成果。由于復(fù)雜背景、遮擋、動(dòng)態(tài)目標(biāo)、尺度和光照變化、圖像噪聲等，現(xiàn)有基于單一模態(tài)數(shù)據(jù)特征分析的顯著性檢測(cè)方法仍存在準(zhǔn)確性不高和適用范圍受限的問題。為了突破對(duì)目標(biāo)顯著性特征進(jìn)行分析、提取、表達(dá)、計(jì)算等諸多環(huán)節(jié)的理論瓶頸，將單一模態(tài)的顯著性檢測(cè)理論與方法延拓至多模態(tài)場(chǎng)景，研究基于多模態(tài)數(shù)據(jù)和特征融合的顯著性檢測(cè)問題或可成為推動(dòng)該領(lǐng)域發(fā)展的重要理論增長(zhǎng)點(diǎn)，且有望突破場(chǎng)景遮擋、動(dòng)態(tài)目標(biāo)、尺度和光照變化、圖像噪聲等導(dǎo)致的顯著性目標(biāo)檢測(cè)領(lǐng)域的技術(shù)瓶頸。