陳睿琦，南心蒙，常 皓

(1 西安現(xiàn)代控制技術(shù)研究所，陜西 西安 710065；2 32382部隊(duì)，北京 100072)

0 引言

在圖像制導(dǎo)、引信探測(cè)、機(jī)器視覺(jué)等領(lǐng)域,采用圖像探測(cè)技術(shù)識(shí)別復(fù)雜背景中的目標(biāo)是武器系統(tǒng)實(shí)現(xiàn)對(duì)目標(biāo)精確打擊以及機(jī)器人自主避障的重要技術(shù)途徑。但由于地面背景環(huán)境的復(fù)雜性,使得探測(cè)和識(shí)別地面上車輛目標(biāo)具有很大的難度,特別對(duì)制導(dǎo)系統(tǒng),由于彈藥平臺(tái)體積、信號(hào)處理時(shí)間等限制,必須在有限時(shí)間和有限圖像分辨率的約束條件下,實(shí)時(shí)完成圖像信息的處理和目標(biāo)的檢測(cè)識(shí)別。

顯著性目標(biāo)檢測(cè)是一種基于辨別圖像中最醒目區(qū)域或圖像特征的目標(biāo)檢測(cè)方法,旨在快速有效提取場(chǎng)景中的視覺(jué)突出或重要物體,為后續(xù)分析和處理提供堅(jiān)實(shí)的基礎(chǔ)。目前,針對(duì)顯著性目標(biāo)檢測(cè)方法的研究已涉及地面、航空、航天和船舶等多種武器裝備領(lǐng)域。在紅外圖像檢測(cè)方面,朱大煒[1]提出了一種基于深度學(xué)習(xí)的紅外圖像飛機(jī)目標(biāo)檢測(cè)方法,以RCNN(region with convolution neural network features)目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)了對(duì)紅外圖像中飛機(jī)目標(biāo)的實(shí)時(shí)檢測(cè);管學(xué)偉[2]研究了一種機(jī)載紅外搜索跟蹤系統(tǒng)IRST(infrared search and track system)小目標(biāo)檢測(cè)技術(shù),首先對(duì)機(jī)載IRST圖像進(jìn)行預(yù)處理以改善成像質(zhì)量,再通過(guò)對(duì)紅外小目標(biāo)圖像特征進(jìn)行分析,對(duì)比了多種機(jī)載紅外小目標(biāo)檢測(cè)算法,實(shí)驗(yàn)并驗(yàn)證了其背景抑制和目標(biāo)增強(qiáng)效果。在可見(jiàn)光圖像檢測(cè)方面,徐芳[3]提出了一種可見(jiàn)光航天遙感圖像海面目標(biāo)自動(dòng)檢測(cè)方法,可有效抑制圖像中薄云、海霧、陰影、海雜波等干擾,利用艦船信息改進(jìn)熵估計(jì)和目標(biāo)像素分布判定的目標(biāo)鑒別方法對(duì)切片中的艦船目標(biāo)和非艦船目標(biāo)進(jìn)行鑒別,無(wú)需對(duì)圖像進(jìn)行精細(xì)分割就能可靠穩(wěn)定提取艦船目標(biāo);劉波[4]針對(duì)水下探測(cè)器目標(biāo)檢測(cè)技術(shù)開(kāi)展研究,為適應(yīng)水中弱光環(huán)境特點(diǎn)對(duì)圖像進(jìn)行分割、檢測(cè)和拼接,使用了一種基于紋理特征的圖像型船舶尾流分類辨識(shí)技術(shù)對(duì)船舶目標(biāo)進(jìn)行檢測(cè)識(shí)別,實(shí)驗(yàn)結(jié)果表明該方法平均正確識(shí)別率可達(dá)到80%以上。

以上顯著性目標(biāo)檢測(cè)仍集中在可見(jiàn)光圖像或紅外圖像,也可將二者融合起來(lái),以提高對(duì)感興趣目標(biāo)的檢測(cè)概率。但無(wú)論是可見(jiàn)光圖像還是紅外圖像,圖像中只包含場(chǎng)景及目標(biāo)的二維信息,未利用目標(biāo)相對(duì)于所在地面背景三維輪廓差異這一重要特征。

為了提高圖像制導(dǎo)及引信探測(cè)系統(tǒng)在復(fù)雜背景中檢測(cè)和識(shí)別目標(biāo)的能力,文中的目標(biāo)探測(cè)裝置采用了激光三維成像探測(cè)方法獲取目標(biāo)、背景的距離以及目標(biāo)相對(duì)于地面背景的距離投影輪廓信息。在制導(dǎo)系統(tǒng)中,采用中等分辨率的激光三維成像探測(cè)快速獲取目標(biāo)背景距離及輪廓信息;在引信探測(cè)系統(tǒng)中,則采用低分辨率的激光三維成像探測(cè)快速獲取目標(biāo)背景距離及輪廓信息。通過(guò)在原有平面二維圖像基礎(chǔ)之上疊加目標(biāo)相對(duì)于所在地面背景的第三維距離信息,提出了一種基于距離信息圖像分割和排序模型融合的顯著性目標(biāo)檢測(cè)方法,能夠有效提高近程探測(cè)系統(tǒng)在復(fù)雜背景中快速檢測(cè)及識(shí)別目標(biāo)、抗復(fù)雜背景干擾的能力。

1 顯著性目標(biāo)檢測(cè)及算法

顯著性目標(biāo)檢測(cè)是通過(guò)圖像處理算法檢測(cè)并分割圖像中的顯著性目標(biāo)區(qū)域,在視覺(jué)跟蹤[5-6]、圖像識(shí)別[7-8]、圖像壓縮[9-10]、圖像融合[11-12]等視覺(jué)和圖像處理過(guò)程中起著至關(guān)重要的作用。此外,顯著性目標(biāo)檢測(cè)與動(dòng)物包括人類對(duì)場(chǎng)景中顯著性目標(biāo)的視覺(jué)刺激的感知機(jī)制有一定的相似性,也成為機(jī)器視覺(jué)和人工智能等領(lǐng)域的研究熱點(diǎn)。

基于流形排序模型的可見(jiàn)光與紅外圖像顯著性目標(biāo)檢測(cè)算法具有可適應(yīng)復(fù)雜背景、圖像亮度、對(duì)比度動(dòng)態(tài)范圍大的優(yōu)勢(shì)[13],在圖像制導(dǎo)和機(jī)器視覺(jué)領(lǐng)域有重要應(yīng)用的前景。

流行排序模型可用于可見(jiàn)光圖像或紅外圖像中的顯著性目標(biāo),也可用于可見(jiàn)光與紅外復(fù)合體制圖像的處理。在可見(jiàn)光圖像質(zhì)量較差或圖像場(chǎng)景較復(fù)雜的情況下,通過(guò)引入熱紅外圖像信息,可顯著提高對(duì)感興趣目標(biāo)的正確檢測(cè)概率。例如,白玉等[14]研究了一種基于可見(jiàn)光圖像和紅外圖像決策級(jí)融合的目標(biāo)檢測(cè)算法,該方法使用有監(jiān)督學(xué)習(xí)方式對(duì)紅外圖像及可見(jiàn)光圖像分別開(kāi)展檢測(cè),通過(guò)對(duì)單一檢測(cè)結(jié)果進(jìn)行加權(quán)融合得到?jīng)Q策級(jí)融合的檢測(cè)結(jié)果,進(jìn)而實(shí)現(xiàn)了基于決策級(jí)融合的快速目標(biāo)檢測(cè)。然而,現(xiàn)有的可見(jiàn)光/紅外復(fù)合檢測(cè)算法仍存在缺點(diǎn)和不足,主要問(wèn)題在于可見(jiàn)光圖像和紅外圖像只保留了目標(biāo)及背景的二維平面信息,而對(duì)平面圖像信息進(jìn)行分割時(shí),需將整幅圖像分割成一定數(shù)量的區(qū)域,分割數(shù)量不同對(duì)應(yīng)的顯著性檢測(cè)結(jié)果也不同,且因?yàn)榉指顓^(qū)域內(nèi)所有位置具有相同的顯著值,使得檢測(cè)顯著圖中出現(xiàn)明顯的塊效應(yīng),尤其在目標(biāo)的可見(jiàn)光特征及紅外特征不突出、背景干擾較為復(fù)雜時(shí),圖像分割的效果不理想。

2 距離信息與排序模型融合的顯著性目標(biāo)檢測(cè)方法

考慮到上述基于平面二維圖像目標(biāo)檢測(cè)方法的局限性,通過(guò)在二維平面圖像探測(cè)系統(tǒng)中引入了三維形體成像探測(cè)體制,將目標(biāo)及背景場(chǎng)景距離信息和平面圖像信息進(jìn)行融合,實(shí)現(xiàn)了在復(fù)雜背景下可見(jiàn)光特征及紅外特征不突出時(shí)對(duì)目標(biāo)的精確檢測(cè)。

距離信息實(shí)質(zhì)上是目標(biāo)及背景場(chǎng)景中各點(diǎn)相對(duì)于探測(cè)裝置的距離圖像。針對(duì)彈載系統(tǒng)小型化、快速探測(cè)和快速信號(hào)處理的要求,采用激光探測(cè)裝置實(shí)施快速的立體簡(jiǎn)易成像探測(cè),獲取場(chǎng)景的立體圖像,利用圖像場(chǎng)景中距離信息的變化和可見(jiàn)光/紅外圖像信息融合,提高彈載成像系統(tǒng)在復(fù)雜背景中探測(cè)目標(biāo)的能力和抗干擾的能力。對(duì)現(xiàn)有圖像分割和多級(jí)深度融合顯著性目標(biāo)檢測(cè)方法的分析可以看出,在圖像預(yù)處理過(guò)程中,對(duì)原始圖像的分割一是采取均勻分割方法,二是依據(jù)圖像的亮度分布、灰度分布或者彩色可見(jiàn)圖像RGB的分布進(jìn)行圖像分割。對(duì)于相對(duì)單一的地面背景和亮度或顏色特征相對(duì)突出的目標(biāo),上述分割方法是可行的,但對(duì)于復(fù)雜的地面背景以及亮度和色彩特征不突出目標(biāo),圖像分割的效果較差。從可見(jiàn)光角度而言,如果地物背景構(gòu)成復(fù)雜,顏色豐富,則目標(biāo)的顏色和背景是難以區(qū)分的;在紅外圖像方面,當(dāng)背景的介質(zhì)構(gòu)成復(fù)雜,受陽(yáng)光照射等因素影響,目標(biāo)的紅外特征相對(duì)背景而言并不突出,則基于熱特征的紅外圖像分割方法精度也受到限制。

針對(duì)彈載探測(cè)系統(tǒng)對(duì)信息處理的需求,為了保證圖像信息處理的快速性,探測(cè)裝置中采用的激光三維成像探測(cè)裝置采用中低分辨率的圖像探測(cè)裝置,如在圖像跟蹤系統(tǒng)中采用64×64分辨率的三維圖像,在距離更近的圖像探測(cè)系統(tǒng)中選32×32或16×16分辨率的圖像,探測(cè)裝置的距離分辨率達(dá)到0.1 m時(shí)就能分辨出目標(biāo)的形體。

檢測(cè)圖像場(chǎng)景中是否存在感興趣目標(biāo)時(shí),利用激光三維成像數(shù)據(jù)對(duì)可見(jiàn)光圖像和紅外圖像進(jìn)行分割,分割出相對(duì)于地面背景有顯著距離變化特征的物體,可大幅度降低待處理的可見(jiàn)光或紅外圖像數(shù)據(jù)量,提高圖像處理的速度和對(duì)目標(biāo)檢測(cè)的準(zhǔn)確性。針對(duì)車輛等目標(biāo)相對(duì)地面在形體輪廓方面的特點(diǎn),采用不同位置距離產(chǎn)生的畸變量和距離尺度范圍對(duì)三維圖像信息進(jìn)行預(yù)處理,獲得目標(biāo)以及與目標(biāo)相似的背景,而將其余背景剔除,從而實(shí)現(xiàn)對(duì)可見(jiàn)光圖像通過(guò)三維距離圖像進(jìn)行分割。

三維立體圖像不僅包含背景和目標(biāo)相對(duì)于探測(cè)裝置的距離信息,同時(shí)不同像素單元距離的變化率能夠反映具有一定形體的目標(biāo)相對(duì)于背景在距離和結(jié)構(gòu)上的突出特征,為了能將目標(biāo)和背景分割開(kāi)來(lái),采用三維立體圖像像素所代表的距離信息變化對(duì)圖像進(jìn)行分割。采用的分割模型為:

D0=A1XN+A2XN-1-BDN-1

(1)

式中:D0為距離的初始檢測(cè)閾值;N為圖像的第N個(gè)像素;A1,A2為調(diào)整系數(shù),主要依據(jù)圖像探測(cè)裝置視場(chǎng)相對(duì)地面的角度而定,對(duì)彈載圖像制導(dǎo)系統(tǒng)而言,該系數(shù)與彈的落角有關(guān);XN為當(dāng)前像素代表的距離值;XN-1為前一個(gè)像素對(duì)應(yīng)的距離值;B為常數(shù),與距離探測(cè)裝置信噪比有關(guān);DN-1為前次距離檢測(cè)閾值。

基于距離信息與排序模型融合的顯著性目標(biāo)檢測(cè)算法需要考慮到從成像探測(cè)裝置的視角觀察目標(biāo)及其所在的環(huán)境背景。對(duì)于車輛、工事等目標(biāo),目標(biāo)表面相對(duì)于探測(cè)裝置的距離、背景與探測(cè)裝置的距離發(fā)生較大的躍變,即使從空中向下對(duì)地面垂直觀察,目標(biāo)相對(duì)于背景也有明顯的高度差。由式(1)通過(guò)檢測(cè)目標(biāo)相對(duì)于背景的距離變化來(lái)完成圖像的分割。

通過(guò)三維立體圖像相鄰像素的距離值的變化率檢測(cè)目標(biāo)圖像的外輪廓和距離特征的分布區(qū)域,對(duì)顯著性目標(biāo)做出判斷。

基于距離信息的顯著性目標(biāo)檢測(cè)形成一個(gè)與立體圖像分辨率一致的集合,記為D,將D與可見(jiàn)光圖像V和熱紅外圖像T聯(lián)合運(yùn)算,構(gòu)建多模態(tài)圖輸入圖像的階段圖GD=(VD,ED)和GV/T=(VV/T,EV/T),其中,V和E分別是圖G的節(jié)點(diǎn)集合和邊集合。GD和GV/T的所有連接邊的權(quán)值計(jì)算方法為:

(2)

對(duì)傳統(tǒng)的流型排序模型進(jìn)行改進(jìn),實(shí)現(xiàn)如下跨模態(tài)一致性的流型排序模型:

(3)

S,R=argminf(sk,rk)

(4)

對(duì)模型采用交替方向乘子法(ADMM)進(jìn)行反復(fù)迭代,當(dāng)式(3)的誤差小于預(yù)設(shè)值時(shí),即得到最優(yōu)解S。

利用式(3)及式(4)對(duì)融合了距離信息的可見(jiàn)光/紅外圖像進(jìn)行顯著性目標(biāo)檢測(cè),得到檢測(cè)結(jié)果的顯著圖,如圖1所示。

圖1 目標(biāo)距離成像及基于距離信息的圖像分割Fig.1 Target distance imaging and image segmentation based on distance information

3 算法仿真驗(yàn)證

采用可見(jiàn)光成像裝置和紅外圖像裝置獲取場(chǎng)景的可見(jiàn)光及紅外圖像,利用激光成像裝置獲取場(chǎng)景中樣點(diǎn)相對(duì)于激光成像裝置的距離,采用距離信息與排序模型融合的顯著性目標(biāo)檢測(cè)方法對(duì)圖像處理算法進(jìn)行仿真計(jì)算,以驗(yàn)證方法及算法的有效性。

獲取可見(jiàn)光、紅外以及距離圖像時(shí),3種機(jī)制的圖像信息應(yīng)在空間是配準(zhǔn)的,即圖像大小相同,景物空間位置一致。當(dāng)3種體制圖像的空間不匹配時(shí),首先對(duì)圖像進(jìn)行預(yù)處理,通過(guò)圖像像素差值等方法使可見(jiàn)光、紅外以及距離圖像相配準(zhǔn)。

采用PR(precision-recall)曲線對(duì)檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)。當(dāng)給定圖像后,對(duì)圖像進(jìn)行二值化操作后得到圖B,G是輸入圖像對(duì)應(yīng)的檢測(cè)真值圖。預(yù)測(cè)的準(zhǔn)確率RP被定義為:

(5)

預(yù)測(cè)的召回率RR被定義為:

(6)

為驗(yàn)證文中顯著性目標(biāo)檢測(cè)方法的有效性,實(shí)驗(yàn)中將該算法與傳統(tǒng)的基于圖的流形排序MR(manifold ranking)算法[15]進(jìn)行比較,對(duì)兩種算法在輸入為相同的可見(jiàn)光圖像和熱紅外圖像時(shí)的檢測(cè)性能進(jìn)行了定量分析。實(shí)驗(yàn)結(jié)果表明,融合了距離信息的顯著性目標(biāo)檢測(cè)方法擁有更高的準(zhǔn)確率和召回率,如圖2所示。

圖2 白天與黑夜條件下不同算法的準(zhǔn)確率和召回率對(duì)比圖Fig.2 Precision and recall of two algorithms under different light intensities

圖3顯示了PR曲線法定量實(shí)驗(yàn)分析結(jié)果?？梢钥闯?所建立的算法中包含距離信息和空間注意力機(jī)制時(shí)性能最好,說(shuō)明引入距離注意力機(jī)制相對(duì)于無(wú)距離注意力機(jī)制,對(duì)信息的過(guò)濾篩選能力更強(qiáng),更適用于圖像顯著性目標(biāo)檢測(cè)。

圖3 引入距離信息后的顯著性檢測(cè)效果Fig.3 Saliency detection result when introducing distance information

如果將人員視為干擾,將車輛作為感興趣目標(biāo),則可以通過(guò)陣列距離信息對(duì)目標(biāo)尺度進(jìn)行判別,從尺度特征鑒別感興趣目標(biāo)和非感興趣目標(biāo),從而將干擾目標(biāo)剔除。

圖4為未引入距離信息的排序模型目標(biāo)檢測(cè)結(jié)果,檢測(cè)算法認(rèn)為圖像場(chǎng)景中不存在感興趣目標(biāo),將長(zhǎng)時(shí)間停放后紅外熱特征降低并靠近建筑物的車輛漏檢。

圖4 傳統(tǒng)的排序模型顯著性目標(biāo)檢測(cè)結(jié)果Fig.4 Saliency detection result of traditional ranking model

圖5是基于距離信息與排序模型融合的顯著性目標(biāo)檢測(cè)結(jié)果,剔除了行人干擾,將距離輪廓符合車輛特征的目標(biāo)正確檢出。

在算法運(yùn)算量方面,基于距離信息與排序模型融合的顯著性目標(biāo)檢測(cè)算法與傳統(tǒng)的排序模型顯著性目標(biāo)檢測(cè)算法相比,雖然增加了三維距離圖像的數(shù)據(jù)處理過(guò)程,但由于算法采用的是簡(jiǎn)易成像陣列數(shù)據(jù),數(shù)據(jù)量較小,例如按32×32的像素分辨率,只有1k左右的數(shù)據(jù)量。在引入距離圖像信息后,對(duì)可見(jiàn)光圖像和熱紅外圖像的分辨率要求大幅度降低,其中可見(jiàn)光圖像的數(shù)據(jù)量可減少70萬(wàn)左右的數(shù)據(jù)點(diǎn),熱紅外圖像可減少20萬(wàn)左右數(shù)據(jù)點(diǎn),總數(shù)據(jù)處理量大幅度減少,因此在不降低圖像處理運(yùn)算速度的基礎(chǔ)上,該方法提高了對(duì)感興趣目標(biāo)的檢測(cè)正確性。

4 結(jié)論

在可見(jiàn)光與紅外復(fù)合圖像探測(cè)系統(tǒng)中,通過(guò)引入場(chǎng)景的三維距離信息,采用距離信息對(duì)圖像實(shí)施分割,采用流形排序模型的顯著性目標(biāo)檢測(cè)方法,克服了傳統(tǒng)的流形排序模型顯著性目標(biāo)檢測(cè)方法圖像分割單元多、運(yùn)算量大、對(duì)可見(jiàn)光及紅外圖像分辨率要求高、目標(biāo)顯著性特征不突出的問(wèn)題。實(shí)驗(yàn)結(jié)果表明,基于距離信息圖像分割與流形排序模型相融合的顯著性目標(biāo)檢測(cè)方法在保證圖像處理速度的前提下,提高了對(duì)圖像場(chǎng)景中目標(biāo)的檢測(cè)、識(shí)別準(zhǔn)確性,其中,白天條件下的目標(biāo)檢測(cè)準(zhǔn)確率達(dá)到87.7%,召回率達(dá)到91.6%;夜間條件下的檢測(cè)準(zhǔn)確率達(dá)到81.2%,召回率達(dá)到86.3%,相比傳統(tǒng)MR排序模型算法有了較大的提升。然而,該算法仍舊存在局限性,例如在對(duì)可見(jiàn)光或熱紅外圖像進(jìn)行單模態(tài)特征提取后,直接將兩個(gè)模態(tài)特征進(jìn)行融合操作,未考慮不同模態(tài)特征之間的干擾因素,可能對(duì)最終顯著性預(yù)測(cè)結(jié)果造成一定影響。后續(xù)可針對(duì)不同模態(tài)特征信息融合的過(guò)濾機(jī)制加以研究,進(jìn)一步增強(qiáng)特征融合對(duì)顯著性目標(biāo)的表達(dá)能力。